霖園集團持有玉山金控股權一成多，在股權相當分散的玉山金控中，算是持股最大的股東。但玉山金無意接納霖園，如今霖園逐步釋股淡出玉山。霖園集團高層表示，與玉山金的關係「玩完了」。 霖園集團二、三年前開始投資玉山銀行，後玉山銀轉型為玉山金控。霖園當初這項投資，主要著眼玉山金經營基本面表現不錯，加上玉山銀前任董事長林鐘雄的大力推介，雙方一度有意為未來合併鋪路，於是展開策略性投資布局；後因玉山金控董事長黃永仁堅持走自主獨立路線，雙方合作沒有實現。 霖園集團高層對這種情形頗感無力。玉山金將霖園投資視為強勢入侵，不願合作，以致雙方在業務上，遲遲沒有展開合作。 在金控業不斷謀求壯大勢力之際，黃永仁執意要走「小而美」路線，迴避與霖園集團發展投資以外的合作關係，找尋外國金融機構洽談策略聯盟時，也未告知持有三席董事席次的霖園集團，讓霖園集團策略性投資的算盤落空。 近期萬達投資率先申報賣出持股，顯露霖園不願在玉山金只扮演股東的角色，決定撤資。 玉山金的黃永仁近年很怕別人問「玉山金控何時要與國泰金控合併」，過去常以「這是個沒營養的問題」，回應媒體詢問，現在霖園持股鬆動，黃永仁慣有的笑容應該會輕鬆一點了。