当时的廖文慈倒是落得清闲，关注着不平衡的两边，时不时出来做好人帮一帮葛氏。
她很聪明，如此一来，葛氏感激她的屡屡出手，虞博鸿也感谢她。没多久，反而孙老太成了被排挤的那个。
虞博鸿越发不满母亲的出手，而廖文慈不争不抢的性子和事事挑不出错的行事确实大气，不到半年，将军府大权便渐渐全转移到了廖文慈手上。
于是当虞博鸿迎来了圣上第一次给的任务出征时，他便将葛氏的安全交到了廖文慈手上。而虞博鸿不在的时候，府中的矛盾也在一点点激化。
尤其是虞小妹有一次回娘家时鼻青脸肿，哭诉因为她与友人看戏回家晚了便遭了丈夫毒打后，直接去找葛氏大闹，骂她是祸患，是灾星。
孙氏很快赶到，哭哭啼啼后又是一番鸡飞狗跳，母女俩闹得不可开交，说要一道悬梁。
廖文慈姗姗来迟，赶到时葛氏屋中都被砸得稀巴烂了，好不容易才将两人劝回。
然而虞小妹却在将军府住下了，她丈夫每日来闹，而虞小妹则每日跑葛氏那儿闹事。整个府里乌烟瘴气。挺着大肚的葛氏苦不堪言，只得寻了婆婆相谈。
孙氏直言不想在府中见她，只要她在一日，自己便不会舒坦，只要她在一日，便没法正视儿子和她未出生的孩子，只要她在一日，府里便不会太平。孙氏明言，一定不会退步。因为终有一日，儿子还是会在母亲和妾室之间做出选择。
心力交瘁的葛氏当时便已生出了离府心思。
荣安出生后，屡屡出些怪事。时而出疹，时而呕个不停，日夜啼哭，总是难安。大夫诊断查不出个所以然，等过个几日，莫名病就好了。再过几日，又会犯病……反反复复，折磨着小小的荣安，同样也让葛氏痛苦不堪。而葛氏的体弱，也是因为月子里的种种，在那段时期便留下了病根……
葛氏娘家嫂子郭氏前来照看她时，曾暗暗提出，会否是她婆婆孙氏对孩子下手？
葛氏懂事后都长在边境，那里的日子相对简单，她虽听说过后宅手段层出不穷，但从小到大却从未经历过。一时间，她更是几分无措。
而孙氏也确实叫人失望，二孙女出生后，连个正眼都没给，只让嬷嬷送了个金锁，而荣华那里却完全相反，大张旗鼓办这个那个，一日三趟亲自去看去抱……其态度由不得让人想入非非。
相对廖文慈，则更显主母风范，不但帮着葛氏打点，还尤其心疼荣安，每天都会亲自过问荣安的种种。见荣安总不好，便拉着葛氏暗示会否是碰上了脏东西。之后，廖文慈帮忙，请了个老道上门，帮着看了那院的风水，还好一番的除秽。老道表示，府中戾气略重，不利于孩儿成长。
而这一点，更是加重了葛氏想要离府之心。
虞博鸿回京后，见瘦弱的葛氏和病恹恹的荣安，打听到了不在时的种种，更将所有不满都对准了孙氏。他可不信什么污邪之说，思量下，他觉得能做这事的，还是只有亲娘。
孙氏见儿子德行也是不满，指着儿子鼻子狠狠一番斥责，更连死去的老将军也一道骂了进去。虞博鸿一向视父亲为榜样，自是没法忍，当时便撂下狠话，再有如此诋毁父亲之语出现，便别怪他不念母子情分。
同时，虞博鸿下了令，除非过年过中秋和祭拜先祖，又或是府里有邀请，其他时候都不允许小妹回府。