这段时间，袁世凯还在天津城里藏了个外室，叫柳玉茹。柳玉茹原是苏州人，长得白净，弹得一手好琵琶，后来被卖到天津的“清吟小班”，成了班里的头牌。袁世凯常以“商议军务”为由，夜里去柳玉茹的住处——那是间四合院，院里种了棵桂花树，秋天时满院飘香。
柳玉茹会给袁世凯弹琵琶，唱苏州评弹，听得袁世凯心里舒坦。他还为柳玉茹赎了身，给她买了首饰和衣裳，说要把她接回府里。可这事被杨氏的眼线知道了——杨氏在府里安插了不少眼线，袁世凯的一举一动，她都能知道。
杨氏没像于氏那样忍气吞声，而是直接找了袁世凯。她坐在袁世凯身边，给他倒了杯茶，笑着说：“老爷在外头辛苦，身边有个体贴的人也好，我没意见。只是那柳姑娘毕竟是风尘女子，传出去对老爷的名声不好。要是老爷实在喜欢，不如接回府里，让我好好照料她，也省得老爷在外头奔波。”
袁世凯没想到杨氏这么“大度”，反倒有些不好意思。他知道要是把柳玉茹接回府，杨氏肯定会跟她斗，到时候府里不得安宁，还会影响自己的名声。他叹了口气：“还是你想得周到，我知道了，这事我会处理。”
没过几天，袁世凯就给了柳玉茹一笔银子，让她回了苏州。柳玉茹哭着问他为什么，袁世凯说：“我府里事多，实在没法照顾你，你拿着银子回苏州，找个好人家嫁了，好好过日子。”柳玉茹捏着那包沉甸甸的银子，手指都在抖，眼泪砸在银子上，溅起细小的水花。她知道袁世凯这话是托词，却也没敢再纠缠——她不过是个从苏州来的风尘女子，哪有资格跟袁府的姨太们争？最终只能咬着唇，收拾了简单的行李，登上了回苏州的船。船开那天，袁世凯没去送，只让随从递了盒桂花糕，说是“路上吃”。柳玉茹拿着那盒糕点，在船舷边坐了一路，直到看见苏州的城门，才把糕点扔进了
