在亨利定期返回美国期间，没有任何迹象表明他有过什么怀疑。格洛丽亚曾想过这件事，可能是出于对乔提供一份好工作的感激，或者“是出于有教养的欧洲人的理智，愿意让这种事情自然发展，更特别的原因是这种事几乎从来不会导致结婚”。更有可能的原因是，亨利在巴黎有个情妇。

乔·肯尼迪的处境则要难得多。他脱口而出，说他一直会忠于格洛丽亚，他要设法避免与露丝同床共寝。他自豪地告诉格洛丽亚，那年他和露丝没有生孩子。55但是乔想让格洛丽亚给他生孩子。格洛丽亚坦率地说，如果他再多提几次这事，她就会打包返回加利福尼亚。“你不能掌控公众，约瑟夫。我明天肯定就会完蛋，”她坚决地说。56但随着时间的流逝，她推测电影人知道了他们的秘事，并视他们为“威廉·鲁道夫·赫斯特和玛丽恩·戴维斯的修改版”。“只是因为我们俩都已经结婚生子，才没有被抓住把柄，没有招来非议，而且完全不可能遭到大的指责。”57

就私生活方面，尽管因为乔很少考虑格洛丽亚的欲望或满意度，他们的性生活草草了事，乔和格洛丽亚还是彼此愉悦。但是，他们共同的业务却陷入了困境。《凯莉女王》(queenkelly)——一部乔成功强加给格洛丽亚的电影，以亏损80万美元的惨败收场。乔很愤怒和痛苦。“我的人生从未有过失败，”他狂怒道。58与此同时，格洛丽亚因《莎蒂·汤普森小姐》而获得奥斯卡提名，而这部电影他当初并不看好。

对格洛丽亚来说，《凯莉女王》是对感情、身体和金融机构的多重打击。当她意识到情况非常糟糕时，心急如焚，不得不住进医院。“因为拍电影欠了我一大笔钱，造成格洛丽亚这么大的个人反应，实在没有必要。但这实在是很不愉快。”乔给亨利的信中说道。他还提到，在他们的讨论中，他和格洛丽亚已面临“激烈的摊牌”59。

但乔通常是个深情款款的人，他时常关注格洛丽亚内心的宁静，但他又喜欢掌控一切。不明智的伦敦之旅就是最极端的例子。乔缠着格洛丽亚和他、露丝和他的妹妹坐相同的远洋邮轮旅行。“拜托啦，格洛丽亚，她(露丝)想见你，”他恳求道。60

他们的欧洲之行很成功，61尽管格洛丽亚从不确定露丝了解多少或者能猜到多少。乔所有的时间都和格洛丽亚在一起，然而露丝对她丈夫的情妇总是非常和善，显出慈母般的爱心。一次，当乔因为一名乘客呆呆看着格洛丽亚而勃然大怒时，露丝发声支持他。格洛丽亚对此无比惊讶：“她是个傻子，还是个圣人？”62

亨利参加了聚会，露丝为格洛丽亚非凡的丈夫所倾倒。亨利却为乔的占有欲而沮丧，但因害怕危及他高度重视的工作而避免与乔对抗。“亨利被乔雇用，我基本上被他占有，”格洛丽亚回忆道，“我整个人生都掌握在他的手中。我从来没有像信任乔那样信任过任何另外一个人。”63乔也让她着迷，尽管亨利是她心中的爱。

他们回到美国参加《侵犯者》(thetrespasser)在纽约的首映。她正确地预测了这部电影会获得乔的《凯莉女王》不曾获得的成功。此时，格洛丽亚收到一份召见，要她去饭店会见一个身份不明的客人。此人原来是波士顿红衣主教奥康奈尔，肯尼迪家族的朋友，他想讨论她与乔·肯尼迪的关系。格洛丽亚既吃惊又生气，她回答说他们只是商业伙伴。奥康奈尔没有为这个说法蒙骗。“我来是请你不要再见约瑟夫·肯尼迪，”他告诉她，“每次你见他，就给他带来罪恶的机会……约瑟夫·肯尼迪没有办法与他的信仰和平相处，也没有办法继续保持和你的关系。”格洛丽亚站起来要离开。“这是你应该与肯尼迪先生说的，”她坚决地说。她后来发现，乔对这次令人不安的谈话一无所知。是露丝或肯尼迪家族的朋友们逼迫红衣主教这么做的吗？格洛丽亚永远不知道。但是主教的干预符合天主教堂处理“不适当”关系的方式，通常都是责备女人并把责任加给她们。

这时乔已从《凯莉女王》失利的绝望中走了出来，他买下了另一个电影剧本，确信这会印证他作为电影大亨的地位。格洛丽亚持严重的保留态度，但却勇敢地同意在《好一个寡妇》(whatawidow)中担任主角。《好一个寡妇》是普利策奖获得者——西德尼·霍华德(sidneyhoward)起的名字，霍华德因此获得了乔·肯尼迪送给他的一辆卡迪拉克轿车。

就在实际拍摄前，亨利友好地结束了与格洛丽亚的婚姻。“大火烧毁了我们美丽的爱之神殿，”他写道，“燃烧的灰烬中什么都没有剩下。但是，让我们试着保持我们甜蜜的友谊，彼此的尊重和礼貌!……我们之间的桥梁断了，没有什么能够修补，我们双方都知道。”他结束了他悲伤的书信：“再见，亲爱的，现在一切都结束了。”64格洛丽亚·斯旺森与乔·肯尼迪的绯闻使格洛丽亚付出了婚姻的代价。亨利很快提起了离婚诉讼，这样他就能够与康斯坦斯·贝内特(constancebennett)——一个美丽的美国金发电影明星结婚。

之后不久，《好一个寡妇》被证明又是一场惨败。乔的丢人感更甚于《凯莉女王》之时，因为《好一个寡妇》在片头动画中突出了他的名字。一天，格洛丽亚的会计报告说，西德尼·霍华德的卡迪拉克记在了格洛丽亚的个人账户上。难道它不应该记入电影预算中吗？当然应该，格洛丽亚回答说。在乔的房间吃晚饭时，她提到他的办公室出现了记账错误，她开玩笑地说：“你给西德尼·霍华德买了车，我没有买。他感谢你而不是我。所以我认为你来付账才是公平的。”65

格洛丽亚看见乔很震惊，怒视无言，接着被食物噎着了。在恢复自我控制后，他站了起来，默默离开了餐厅。半小时后，当格洛丽亚等着他再次出现时，一名司机机智地提出开车送她回家。

几天后，在等待道歉电话或便条始终无果后，格洛丽亚明白乔·肯尼迪中断了和她的关系，她不再是他的情妇了。接下来的一个月，他正式撤销了他们的业务合作关系，包括她和他签署的授权委托书。

乔·肯尼迪一时间就像从格洛丽亚的生活中蒸发了。各种流言蜚语和报纸报道说他出卖公司资产后挣了500万美元，并计划撤出电影业务，集中精力从政。“我又完全靠自己了，”格洛丽亚回忆道，“没有爱情，没有安全感。”66

格洛丽亚也发现，尽管她有少数房产和大量财产，但只有很少的现金。这究竟是怎么回事？在生活中，她一直信任乔，而乔却让她的生活伤痕累累，东倒西歪。她打听到——怀着令人震惊的痛苦——除了卡迪拉克，乔还把他送给她的一件裘皮上衣和为她所建的电影小屋记入格洛丽亚制片公司的账下。此外，账目一塌糊涂，肯尼迪的办公室拒绝提供任何帮助或澄清。

阿曼达·史密斯(amandasmith)，编辑过《命运的人质：约瑟夫·p.肯尼迪的书信》(hostagetofortune：thelettersofjosephdy)一书，他读过格洛丽亚的回忆录，对乔为什么将如此明显的私人礼品记入格洛丽亚制片公司的账中提供了稍微不同的看法。肯尼迪手上的文件包括，“斯旺森签署的干巴巴的合同和法律文件，阐述了她对他和其相关实体的义务——一份偿还的保证……是关于急切需要注入的现金的(按当前的利率)；一份给予报酬的协议……是关于为斯旺森这样的大明星提供的豪华更衣室的”67。显然，乔从来没有太被其美艳情妇迷住以致忘记了自己是一个商人。他甚至让她为他惊人的判断错误承担法律责任。当他送她礼物接受她的感谢时，他从未提醒是她而不是他在付账，尽管他肯定心知肚明她并不理解他让她签署的许多文件的性质。

与乔彻底和突然分手后，格洛丽亚竭力想保持情绪和财务上的平衡。一段时间她健康欠佳，体重陡然减轻，身体机能失调。但是，作为一个单身母亲的责任，要享受奢华的生活方式和不能让事业停顿的念头很快促使她从床上爬起来，再一次走向世界。

格洛丽亚又结婚了，糟糕的是，她又生了一个孩子。她离婚，再结婚，再一次糟糕地离婚。这些短暂和不幸的婚姻并未让她制作电影的脚步停下来。但到了1942年，她已是囊中羞涩，不得不大幅度削减自己的支出，寻找不同的谋生方式。她尝试演电视，然后重回电影。1949年她50岁时拍摄的《日落大道》(sunsetboulevard)是她复出后获得非常成功的一部影片，讲述的是好莱坞一个年轻男人与一个年老女人的浪漫故事。复出后，她继续演出，包括在百老汇的演出，直到她转向雕塑，在此方面她也获得了成功。她的第六次也是最后一次婚姻是与比尔·达夫蒂，那时她将近77岁，而比尔60岁。他们的婚姻是幸福的。

在突然抛弃格洛丽亚一年半后，乔·肯尼迪打电话给格洛丽亚，他说他和美国下一任总统富兰克林·d.罗斯福在一起。格洛丽亚对他的厚颜无耻感到很愤怒，砰地挂断了电话。随后，她被劝和乔达成了非正式的和解。从那时起直到去世，乔都会向人吹嘘跟她的关系。当他中风跌倒时，她发了一封署名为“凯莉”的慰问电报。很难相信，她选择这个他最失败的电影的名字，没有一丁点报复的意味。

在成为乔·肯尼迪情妇50年后，格洛丽亚撰写了她的回忆录。时间的流逝、她自己惊人的事业复出、她非常健康的身体、个人幸福和超常自然的美丽，这一切都改变了她对他们关系的评价——70多岁时，在“卡罗尔·巴内特秀”(thecarolburnettshow)节目中，她穿着暴露的服装跳舞，展示了可能属于30岁女人的性感诱人的身体。形成对比的是，乔不仅完蛋了，而且在严重的中风后忍受了多年的孤独痛苦。格洛丽亚·斯旺森能够宽容他。但是，半个世纪的时间也不能抹去这个男人带给她的痛苦，他曾承诺要救她，却反倒使她的生活陷入混乱。她一直心甘情愿做他的花瓶，允许他在所有他想炫耀的人——包括他妻子——面前炫耀她。她一直是他欺骗行为的共谋，为了捧红她，他不惜愚弄自己的亲朋和不知名的公众，而她也热切地参与其中。最终，格洛丽亚·斯旺森多半后悔她做了这笔糟糕的交易。