可村子里的长舌妇人议论不断，觉得他是贪图潘氏丰厚的嫁妆。加上王氏家族中的族老时不时在谈到潘氏这个异族媳妇和两个混血孩子，连孩子的名字都是外祖取的。
潘氏也确实是对大周的民俗风情了解不深，有些在村民看来是常识的人情事儿上她常会范些错误，不时的被村民议论言行举止，时间一长，王守仁也开始觉得自己娶了个异族人面上无光。
当村民们习惯并开始理解接受了潘氏时，王守仁却还在钻牛角尖，慢慢的将当初的情爱消磨殆尽。
潘氏将王守仁的态度看在眼里，失望之余将想将儿女送到苏州的娘家。王守仁万般不愿也不得不承认自己这个走遍南北、交友无数的岳父比自己更会教导孩子，孩子在岳父家更能长见识、有学问。
几番争执之后，龙凤胎中的姐姐王雁留了下来，弟弟王耀则送到了苏州。至此，王守仁与潘氏这对夫妇的关系更是冷淡。
这夫妻不睦就极易让外人插足。原配刘氏有一群弟弟妹妹，正巧最小的妹妹小刘氏丧夫。小刘氏打小就爱娇爱俏，又是姐妹几个里相貌最好的，爱与女孩们攀比。她原是嫁得好，现在丈夫没了，又不甘心起来，自己不过二十出头又无儿无女，难道就这样守寡一辈子。