索罗斯忠告：
“投机事业需要坚韧的神经，随时准备承受打击和痛苦。”“我和基金融为一体；它因我而生，我和它生活在一起，睡在一起......它是我的情妇。这是我与妻子的主要分歧。”
“詹姆士·罗杰斯和我之间的最大分歧在于詹姆士认为：流行的观点总是有错的，我则认为：我们也可能有错。所谓‘华尔街智慧’其实就是所谓传统智慧、常理......我就比较不那么冥顽不化，我愿意接受从华尔街来的人。”
“失败以后的思考使我明白了，我不要成为事业的奴隶，我弄清楚我是主人，不是奴隶。”
索罗斯基金的辉煌无疑让索罗斯倍感欣慰，对于这个自己一手创建、风雨与共的实体，他不能不对其怀着一种慈父般的感情。
不惑之年的索罗斯，经过了几十年的努力，熬过了数不清的苦难，好不容易才盼来了如此的辉煌。他不会忘记在伦敦找不到工作的情景，也不会忘记当年到犹太人救济委员会申请救济时的可怜情景，更不会忘记被自己的同胞开设的金融公司当作可有可无之人的经历。现在有了这样的顺境，索罗斯怎么能不珍惜呢?正是由于珍惜这顺利的境况，所以，他把全部心血都投入到了对基金的管理和寻求最大利润中来。
这样的结果却是，他冷落了自己的家庭，他忘记了给自己的妻子和孩子留出一点共享天伦之乐的时间。他的家庭生活状况是，常常妻子见不到丈夫，儿子见不到父亲。用索罗斯自己的说，法是，他已经和公司溶为一体，公司成了他生命的一部分，公司是他的“情人”，他与公司的业务形影不离。他白天干的是工作，夜晚想的还是工作，没有休息，没有娱乐，分析情况、判断问题、思考投资、追求利润......这就是生活的全部内容。之所以这样，是因为，他害怕出现错误，害怕已经获得的胜利被自己的错误败坏，害怕回到过去那不堪回首的日子。正是由于这些担心，索罗斯才在一次次的成功后，更加全身心地投入工作。
受到冷落的妻子和儿女，对索罗斯表示了强烈的不满。他们要求索罗斯给予他们应该得到的爱。然而，索罗斯没有满足他们的要求。由此，家庭紧张关系开始出现。
索罗斯的家庭紧张关系在时间的延续中扩大。到了1977年，索罗斯和他的妻子分居。一年以后，索罗斯和第一个妻子的婚姻关系破裂，他们正式办理了离婚手续。就在他成为富翁的时候，妻子离他而去。
对索罗斯的婚姻及家庭，我们无从知道更多的内容，索岁斯的说法也充满矛盾。有时他埋怨工作的压力太大，“我和基金融为一体；它因我而生，我和它生活在一起，睡在一起......它是我的情妇。我怕赔钱，也烦恼着做错事，所以要极力避免。那样的方式很糟。”
有时，他又直接否认这与工作有关，而只是因为自已神经错乱。
“这其实是我当时精神错乱经历的一部分内容，但这和我的事业并无直接关系，原因是我太太非常支持我，也很能容忍我几乎把全部精力投入生意。但我改变了我的态度，我们的关系反而被打乱。于是我放纵了一段时期，又和我的合伙人散伙、和妻子分手......”
他这样描述那段心路历程：“当时我的事业很成功，我却坚决否认。我工作得很辛苦。我认为假如把我的不安全感抛诸脑后，我的成就就会出现危机。但我得到的报酬是什么?更多钱、更多责任、更多工作，还是更多痛楚?我说痛楚，原因是痛楚是我的决策工具之一。基金规模已经达到一一亿美元，我个人的财产大概也有二千五百万美元，但我已快要崩溃了，这种结果毫无意义，于是我决定面对我的成就，承认我的成功。即使为此不能持续成功也在所不惜。我这样说是因为我的成功来自自我否认、自我批评和自虐。若我不能以成功为乐，那什么是这一切痛苦和压力之下的意义?我必须开始享受我的成果，即使它意味着毁灭下金蛋的鹅。”
“我的成功定义与工作有关，但与我的生活方式沾不上边。一般而论，成功的好处之是我可以买得起我希望得到的东西，但我这个人没什么奢侈的作风，我有那么多钱，但相对而言，我的生活是相当简朴的。但这不是重点，真正的重点是我愿意接受多少痛苦、紧张和不安全感。”
感情的创伤稍事弥补后，索罗斯又回到他的事业中来，这时，索罗斯基金正在以前所未有的速度发展，业务扩大，资金增加，利润迅速提高。这正是一个拓展业务，使公司从小经营者向有影响的大公司发展的大好时机。
索罗斯从父亲那里继承来的雄心壮志，始终没有熄灭，他盼望着有这种良机。想发展业务，就需要增加人员，而且，索罗斯也不愿意长期被烦琐的事务困扰，他最喜欢的是分析情况、判断未来和作出决策，而最不喜欢的是处理日常繁琐的具体事务。因此，索罗斯期望的是公司增加人员，把自己从琐碎的事务中解脱出来，以便考虑重大决策问题。于是，他提出，公司的工作人员应该增加到12个人，还应该有一个精明强于的经理。来接替索罗斯的工作，以便由这样一个人来代替索罗斯向他的雇员们布置工作，交代任务。
索罗斯的这个意见遭到了他的合作者罗杰斯的坚决反对。罗杰斯喜欢的是一两个人的小公司，这样，既便于操作，又没有那么多繁杂的人事问题，一切事情都可以跟着感觉走，想怎么办，就怎么办。可是，如果招收的工作人员多了，就需要花一定的精力来对他们进行管理，不仅要考虑如何发挥他们的作用，甚至还得为如何捉升他们的工资，怎样安排他们的假期等问题而伤脑筋。
两人在对市场的看法很接近，对华尔街人士的看法也相似一差异在于程度不同，而致命的是，两人都坚持自已的论点。
“我们当时的立场是市场总是错的。事实上，詹姆士·罗杰斯和我之间的最大分歧在于詹姆上认为：流行的观点总是有错的，而我则认为：我们也可能有错。由于我们要和华尔街针锋相对，事实上我们与华尔街传统之间也有差异。所以怀着传统智慧到我们公司来的人根本无法适应我们的业务，所谓“华尔街智慧’其实就是所谓传统智慧、常理。詹姆士·罗杰斯对这一点非常坚持，我就比较不那么冥顽不化，我愿意接受从华尔街来的人，但碍于他的观点，而且业务由他一于包办，我只好听他的。”
显然，索罗斯和罗杰斯考虑的不一样。索罗斯是把基金当成事业来管理，希望它越大越好。而罗杰斯则不然，他不希望有太大的规模，更不喜欢有很多人来参与他的工作。
但是，索罗斯也是个有主见的人，他按照自己的意见扩大了公司员工的员额。他从华尔街以外找来一些人，这些新人都很聪明好学，进步很快，“但是当他们开始受训，并陆续向詹姆士提出反对意见时，詹姆上却无法忍受，他受不了下属对他的批评。他一向都很能接受我的批评，我批评他，他从来不觉得不愉快，但他不能接受他的门生批评他或和他意见相左。所以只要这些人逐渐上路，并且越来越能于以后，他总千方百计对付他们，使公司的气氛变得不愉快。为了这个缘故，我们总是留不住开始自立的人，于是公司出现了真空，我们生意越做越大，却还得事必躬亲。对我们来说，成功只给我们带来更多工作、更多责任，而这种情形发展下去，最后终于迫使我们散伙。”
同时，由于人手的增加，索罗斯就不得不抽出一部分精力来从事管理工作。而这既非索罗斯的长处，也非他自己所愿，同时，一个接一个的机会，也需要索罗斯把更多的精力投入到投资决策中来。于是，出于客观需要，他不得不培养一个接替他而管理公司业务的人。
当他就这个意见与罗杰斯商量时，得到的是坚决的否定。后者不赞成索罗斯提出的任何一个人选。理由很简单，他不愿意有这样一个人出现在索罗斯基金会。这时罗杰斯那自命不凡、目空一切的性格充分地发挥出来了。他工作中容不下任何人，更不允许有一个人出现在自己面前并且对他罗杰斯进行管理。罗杰斯坚决的态度使公司的人事问题陷入了僵局，也使两个合伙人的关系陷入了尴尬的境地。
怎么办?索罗斯也是一个个性极强的人，他认准了的事情是非干不可的，所以，他对罗杰斯说，不管他同意还是不同意，他是坚决要增加人，而且还要增加一个管理人员，也就是聘请个业务经理。
而罗杰斯也不甘示弱，他毫不含糊地表示，要么不再加人，要么公司散伙，二者由索罗斯选择。索罗斯仍然坚持，公司不能散，而且人员也需要聘。这下终于惹恼了罗杰斯他非常坚决地通知索罗斯，立即算帐，他马上终止与公司的一切联系，并撤走自己的全部股份、拿走自已应得的利润。
索罗斯比罗杰斯脑子还是要复杂些，也更聪明一些，他认为罗杰斯是个难得的人才，因此，不同意公司散伙，也不想让罗杰斯离去，然而，罗杰斯是说到做到的人，他发出的话是一定要兑现的。两个黄金拍档之间的合作，就这样结束了。
罗杰斯按照合同规定，从公司拿走了他该得到的1400万美元。
妻子的离去和朋友的分手使得索罗斯受到了不小的打击，他变得神情恍惚，仓促出招，发现有问题又忽然变卦，而有时又反应迟钝，坐失良机。长久以来，他和高层人士接触而受益无穷，但现在似乎找错了对象，至少批评他的人这么说。事实上他花了很多时间和政府官员在起，特别是当时美国联邦储备委员会(FED)主席伏克尔。基金经理人盖里曼诺洛维奇用索罗斯很久以前曾经说过的话来提醒他：如果你的投资建议来自政府人士，只会让自己沦落到贫民救济院里。”曼诺洛维奇后来加入索罗斯基金。
1981年夏，没人认为索罗斯基金会被送进贫民救济院。不过有些人真的很担心一切不会再那么美好。索罗斯的基金第一次成了“一列没有目的地的火车”。
不久，索罗斯投资美国债券市场搞得基金灰头土脸。
索罗斯投资美国债券市场出问题，始于1979年底，当时伏克尔决定抑制通货膨胀率，为此，他把银行利率从9%上调到21%，索罗斯肯定经济将因此受到伤害。这样的推断十分合理。那年夏初，债券价格激升，索罗斯开始买进。6月间，2011年到期的长期公债价格涨到109。可惜夏季刚过，价格便跌为93。
索罗斯本来以为短期利率会涨到长期利率之上；这会伤害到经济，迫使美联储降低利率，因此他的债券仓位会获利。但是经济维持强势的期间远比他预期的要长，结果利率不但没有降，反而涨得更高。
索罗斯以信用杠杆建立的债券仓位，如能维持“正值利率差”，一切就没问题。只要债券的值利率高于向经纪商融资的成本殖利率差就是正数，也就有利可图。索罗斯在利率为12%时建立仓位。但当他的债券殖利率为14%，而且一度升抵15%时，融资利率(成本)则攀升到20%，产生了“负殖利率差”，利润消失了，而且发生亏损。那一年，索罗斯持有的债券，损失三到五个百分点。据估计，他使他的客户亏损8，000万美元。
然而最糟糕的事情不是赔钱，而是客户的不忠诚。
1981年是基金经营最糟的一年。量子基金的受益凭证价格跌了22.9%，是第一次也是唯一的一次与前一年相比没有赚钱。某位人士说，索罗斯的投资人中，有许多是“心绪不定、唯绩效是问的欧洲人”。他们担心素罗斯失去了驾控能力，因此高达三分之一的投资人撤回资金。索罗斯后来坦承，不能怪他们，因为，他在他的对冲基金中的确运用了相当高的杠杆比率，客户听了开始觉得两脚发冷；几位重要的欧洲客户决定退出基金。
索罗斯的一位助理回忆说：“他有挫败感，觉得被迫在错误的时刻做出错误的决定。他老是说，除非你愿意忍受痛苦，否则不应待在市场里面。”他在感情上和心理上，都愿接受痛苦，但他的投资人不然。
他发觉，致命处在于这群不稳定的投资人。某位大客户“叛逃”的危险，似乎与日俱增。虽然索罗斯到欧洲去了很多趟，企图说服这位重要的瑞士投资人不要退出，但他还是掉头而去，其他人也跟着退出基金。那时候的一位助理说：“这是他第一次经验，碰到原本忠诚的客户、合伙人离他而去。”
投资者的大量退出基金，使得基金的价值近乎减半——成为1亿9330万美元。
“那年夏天，对于以前10年或15年内他曾为他们赚过很多钱的那些人，他曾十分气恼。赎回资金的过程，令他觉得十分脆弱，因此有一段很长很长的时间，他一直没积极揽取新资金加入。”遭受市场痛击，令他心烦意乱，赔钱总是叫人焦躁，但这种困扰比不上别人舍他而去带来的幻灭感。他举棋不定，不晓得该留在这一行，或者退出。
说来好笑，索罗斯预测经济会转坏，后来证明是对的——但却差上六到九个月。他预测高利率会导致经济衰退，后来果然成真，但经济衰退到1982年才出现，距他的债券仓位惨遭痛击已经很久。
事态继续发展，危机已成为事实，然而索罗斯毕竟是索罗斯，一旦找到症结所在，创伤就开始痊愈。
“基金输了，而我却赢了，因为最后我终于克服了我的问题。”
“我不要成为事业的奴隶，我弄清楚我是主人，不是奴隶。从许多方面来说，这是一个很重要的转变，因为我已经开始接受我是一个成功的人的事实。我一向担心只要我承认成功，就会遭到不幸，但我竟然克服了这种恐惧的心理。”