从懂事的那一刻起，年幼的罗杰斯就开始有了赚钱的决心，而母亲恩奈斯汀·巴巴拉·布瑞威尔(Ernestine Barbara Brewer Rogers)先后诞下的四个弟弟过早地终结了他被人呵护的无优岁月。还在罗杰斯两岁时，弟弟迪克(Richard Brewer Rogers,昵称迪克)的出生就注定了罗杰斯从此要担当起大兄长的责任。
一直盼望着能有个闺女的恩奈斯汀一共为夫家诞下了五小虎将，罗杰斯排行老大。大弟弟迪克在他两岁时出生，五岁时，他在外婆家听说了二弟马布瑞(ErnestMabry Rogers)的来临，次年11月，三弟布罗敦(Broughton Wilkinson Rogers)落地，到了罗杰斯就读亚拉巴马州德莫普利斯高中(Demopolis High School)时，幼弟史蒂文(BasilDougles Steven Rogers)来到了人间。
在孩子们的眼里，母亲恩奈斯汀精力充沛，好奇心强烈，新点子层出不穷，但面对着五个生龙活虎、永不言累的调皮鬼，这位在独生子女环境中长大的“掌上明珠，显然需要帮手，她采取了“放养’原则，或者直接将照看弟弟的繁重任务交给长子——小詹姆斯·彼兰德·罗杰斯(James B. Rogers Jr.),但周围人似乎更乐于叫他吉姆·罗杰斯。
思奈斯汀出生于美国南部的“石油之城”——得克萨斯州的博蒙特市。她的祖父母是早期德国移民，祖母与祖父在俄克拉何马州相识并成婚。作为美国最大的印第安原住民聚集地，版图像一口长柄锅的俄克拉何马取自印第安语，意为“红种人”(Red people)，19世纪30年代末，美国政府开始将土著居民逐步迁移至此地，俄克拉何马由此被称为“印第安领地”。1897年，当人们在俄克拉何马州南部小城巴特尔斯威尔首次发现石油后，俄克拉何马立刻成为炙手可热的“黑金之州”。
恩奈斯汀的父亲年幼时，祖父就丢下他年轻的祖母和他们三兄妹去世了。祖母含辛茹苦将三兄妹拉扯大。井供他们上了大学。思奈斯汀的祖毋后来嫁给了一位医生恩奈斯汀·马布瑞(Ernestine Mabry)，在得克萨斯州的博蒙特市定居。
思奈斯汀的父亲奥图·阿德法·布瑞威尔(Otto Adolph Brewer)，也就是吉姆的外公，这位被大家称做达奇(Dutch)的日耳曼人后裔毕业于俄克拉何马大学法律系，他聪明勤奋，一度是学校的风云人物。达奇是个体育迷，曾是校学生会主席和校橄榄球队队长。年轻的达奇最大的愿望是毕业后找一家好的律师行，成为一名受人尊敬的律师，回报母亲多年来抚养自己三兄妹的艰辛与不易，但这一梦想随着美国向德国宜战成为泡影。
1917年4月6日，美国正式向德国宜战，第一次世界大战西线战事全面展开!达奇很快奔赴欧洲战场，在美德两军交战中，达奇成为一名空军飞行员。战后回到美国的达奇终于如愿以偿成为一名律师。他与罗杰斯的外婆格拉迪斯·马布瑞(Gladys Mabry Brewer)偶遇并结婚，随后在俄克拉何马州一个偏僻的小镇雨果定居。达奇预侧战后雨果的经济会快速发展，打官司的人也会相应增多，他努力说服格拉迪斯不妨在雨果开一家律师事务所。遗憾的是，当时交通并不发达的偏僻小镇雨果井未出现“经济腾飞”，战后的萧条令他的小律师事务所难以为继，最终不得不以关门收场。达奇此后依然为镜上的人打官司，只是不再拥有自己的律师事务所，他也乐得清静，这样可以腾出更多的时间晚上去“泡吧”。
对达奇搬到这个偏远小镇的建议，吉姆的外婆格拉迪斯井不乐意，但她依然“夫唱妇随”跟着丈夫定居雨果。达奇在妻子的陪伴下离开了人世，终年70岁。达奇去世后，为了避免母亲触景生情，在女儿思奈斯汀的建议下，格拉迪斯搬到德莫普利斯与吉姆一家住在一起。
在罗杰斯的家族史上，外婆格拉迪斯是个传奇人物。20世纪四五十年代的美国仍是一个男权社会，闭塞的雨果小镇上，很多妇女都没有工作，她们的出路与中国早期妇女的命运并无两样—找个好婆家嫁了，相夫教子终了一生，绝少抛头露面。
吉姆的外婆格拉迪斯身高不足1.5米，性格倔强，身手敏捷，精力充沛。丈夫事业的失意和不思进取令满腹抱负的她心烦意乱，她原本就期望自己能生活在一个大城市，这样可以有更多机会。但在一个男权社会里，妇女有再大的才华，也没有合适的舞台供她施展。
现实与理想之间的巨大反差深汉地刺痛了格拉迪斯的心，原本个性率直的她变得有些暴躁易怒。大部分时候，她将这种痛苦深埋于心，只是通过忙碌暂时忘却这种郁郁不得志的懊恼。偶尔，这种在内心长久纠缠的郁闷会像突然爆发的火山一样不期而至，暴怒的指责像冰雹一样从天而降，砸在达奇身上。达奇对此并不介意，他把她当孩子一样宠着，认为她只不过是一时意气用事，过了风头就好了。暴风雨来得快，去得也快。不发脾气的格拉迪斯简直像天使，她侠管柔肠，热情开朗，常对周围需要帮助的人施以援手。
罗杰斯的母亲思奈斯汀干1919年出生于博蒙特市，她那做医生的继祖父亲自为她的外婆格拉迪斯接生。20世纪初期的美国，高昂的医疗费用依然让不少人选择在家里生孩子，人们通常是找位助产土或者跟产妇亲密的女性家属在家里为产妇接生，但助产士不能在产妇家中使用镇痛药物的规定也增加了分娩过程中的变数。
在达奇母亲的建议下，达奇夫妇来到博蒙特市待产，达奇的继父恩奈斯特·马布瑞(Ernest Mabry)是位全科大夫，有了他的帮助，格拉迪斯生产得非常顺利。当接生房里传出恩奈斯汀响亮的啼哭声时，等候室里的人都松了一口气。达奇的继父告诉他:“是个很健康的小公主!”为了纪念公公为自己接生，格拉迪斯以公公的名字给女儿命名思奈斯汀。
在雨果，格拉迪斯是个异类，她对事业的追求远比遵守相夫教子的“规矩”要强烈许多。因为只有一个孩子的缘故，格拉迪斯的最大乐趣是在雨果担任通讯社专栏记者，这一兴趣一直持续了三四十年。
她常常跑到警署和法庭去采访犯人，有时连被采访的杀人犯都吓了一跳:什么时候连女人也这样天不怕地不怕地跑到法庭里和杀人犯面对面?这个世界变化真是太快了!有时听说了有枪劫犯被抓，格拉迪斯会立刻跑到警署里追问劫匪到底都抢了些什么。有时她又在医院出现，看望那里的伤者，追问事发缘由。
她娇小的身影在当时巴掌大的雨果四处出没，很自然成为小镇人们议论的重心。在那个“男主外，女主内”封闭的男权社会里，像格拉迪斯这样喜欢抛头露面的妇女显得分外离经叛道!每一次她外出采访，总会有人在背地里议论她:“看，格拉迪斯又去法庭了!”对周围人的指指点点，格拉迪斯从不在意，依然我行我素地为自己的喜好奔忙。
年幼的吉姆常常被送到外婆家，受外婆不拘一格个性的影响颇深。他在之后的著作中也屡有提及，坦承他们家庭成员的火爆脾气多半有外婆的遗传。据吉姆的二弟马布瑞回忆，在吉姆的成长过程中，他受母亲家的影响较深。儿时兄弟几个常常在署假被送到外公外婆家，自然就与外婆要亲一些。
外婆从小就教育吉姆一定要努力工作挣钱，才能过好日子。他记得外婆总是反复叮嘱他和弟弟们:“千万不要跟人说你有多少钱!如果哪天我听说了你们在外面说自己有多少钱，我和你外公会立刻进坟墓的!”对于这样“恐吓”式的嘱咐，吉姆和弟弟们信以为真，一直谨遵外婆的家训。
至今，罗杰斯的大弟弟迪克依然记得，兄弟俩最快乐的时光莫过于外婆带着他们外出采访的时候。格拉迪斯总会带他们先去当地的杂货店给每人买一本连环画，当外婆的身影在监狱、法庭或者医院等场所分别闪现时，一旁一定坐着小兄弟俩，一边翻着小人书，一边做着“超人”梦等外婆。此时罗杰斯发挥的关键作用是:一边看漫画书，一边看着弟弟，以防他乱跑走丢了。
20世纪40年代至50年代初是美国漫画史上的黄金岁月，各路英雄豪杰粉墨登场，不同的连环漫画期刊主角成就了孩子们的偶像团队。兄弟俩喜欢的“超级英雄”有《超人》、《编蝠侠和罗宾》、《橡胶侠》、《绿灯侠》、《神奇上尉》、《神奇飞鼠》等，罗杰斯常常幻想自己成为蝙蝠侠，总是在关键时刻救人于危难之中。而迪克更想当身体可以伸缩成各种形状的橡胶侠，兄弟俩有时还会为哪个大侠功力深厚而争论一番。后来小兄弟俩的注意力又转移到《特种部队》上，能够成为特种部队的收死队队员，与眼镜蛇部队决一死战是那个时期男孩子们的热门话题。直到今天，罗杰斯依然对《超人》和《编蝠侠》印象深刻。
在孩子们眼里，整天忙碌的外婆格拉迪斯更像个晓勇善战的“神奇女侠”，当她快速果决地收集了所有的采访素材后，就会带着孩子们回家赶写报道。吉姆和迪克兄弟俩常常在家比照漫画书，反复切磋各路侠客的看家本领，幻想着自己有一天也能拥有和大侠一样刀枪不入的神功。有时候他们干脆跑到邻居家，向他们炫耀外婆新买的漫画书，在孩子们的喧闹声中，格拉迪斯完成一篇又一篇生动翔实的新闻报道，这似乎是最早的职业女性工作状态的原生态记录。在一个闭塞的男权社会里，一位女性能够项住舆论压力抛头露面，边看孩子边撰写出大谈的新闻报道，即便在今天看来也令人肃然起敬。