|
為了籌備參加第十八屆東京奧運會，楊森為便利照顧選手集訓，找一個適當的辦公處所，正好坐落在台北市長安東路二段一五三巷三號台北美國學校，藉該校搬到士林的新校舍，於是將舊校舍借給體育協會使用，並於五十三年八月十六日遷入，體育協會從此不再遷徙，有了一個安定的家。
這個台北美國學校原址，佔地兩千四百多坪，土地屬於國有財產局，地上的木造房是美國學校蓋的臨時建築，五十三年租約到期，因為臨時建築不需要申請建築執照，租期滿後，全部房舍變成了違章建築。
為了使各全國性運動委員會集中一起辦公，聯繫方便，楊森特別允許沒有會所的幾個運動委員會遷入一起辦公，並將環境整理，頗具規模，但是國有財產經常派人來要求體協會搬走，台北市政府工務局也以拆除違章建築為由，要來拆除房舍。
楊森認為國家財產，依法處理，並無不合，但是體育協會也是為國家辦事，並非任何人私有，祇要有關當局指定一個適合搬遷的處所，隨時可搬。後來經教育部、
國民黨中央黨部與國有財產局等有關單位多次協調，適合的處所一直都沒有覓妥。
楊森的理想是籌募經費，將政府這塊地買下來，改建一座十層以上的現代化體育大樓，集中全國性運動團體在這座大樓辦公。可是這一理想，牽涉問題甚廣，又因籌措不易，致未能成功。
五十七年十一月十六日，參加奧林匹克運動會回來不久，突然發生一場火災，把體協會辦公室、陳列室及許多寶貴的資料燒毀，楊森理事長祇好與職員及工友們擠在一間小房子裏辦公。
五十八年體協會更是多災多難，艾爾西與芙勞西颱風分別來襲，把辦公室的屋項吹垮，到處漏水，更見淒涼。可是八十七歲的楊森理事長仍是充滿活力，興趣不減，經過一陣呼籲張羅，工商界人士自動捐款，依照政府規定，在違章建築不可以加大的原則下，將原來燒掉的房子，用水泥改建成平頂房屋，繼續辦公。
楊森擔任體育協會理事長十二年三個月又兩星期，是政府自三十八年播遷來台繼代理事長郝更生、理事長周至柔、鄧傳楷後，任職最久的理事長，也是遭遇問題最多、經費最困難，工作最辛苦的一位，不過老將軍有氣壯山河的滿腔鬥志，全力支撐，為體育協會打下了一個堅實的基礎。由於中華全國體育協會與中華民國奧林匹克委員會是兩位一體，所以楊森擔任中華全國體育協會理事長，又兼任中華民國奧林匹克委員會主席，在他主持的十六年時間，我國曾參加了兩次亞洲運動會，三次奧林匹克運動會。
值得一提的是一九五二年蘇俄插足奧運會以來，一直我國困擾的正名問題，於民國五十七年參加第十九屆墨西哥奧運會時，獲得成功，國際奧會決定自一九六八年十一月一日起，將過去稱我為『台灣』的名稱，改為合法的中華民國。在這次奧運會上，我國田徑女傑紀政，參加八十公尺跨欄，以十秒四打破了奧運會紀錄，並贏得銅牌，為我國女選手在奧運會中開創了奪獎牌的紀錄。
六十二年六月七日中華全國體育協進會改選，由黎玉璽將軍出任理事長，楊森為名譽理事長，體育協會原有個人會員與團體會員，則一律改為團體會員，以會員代表大會為最高權力機構，原來總幹事的名稱改為秘書長，由常務理事會通過，聘周中勛擔任，自本屆起，『中華全國體育協進會』更名為『中華民國體育協進會』原本合而為一的『中華民國奧林匹克委員會』，則另外單獨設立，由徐亨擔任主席。
同時，中華全國各種運動委員會，也一律更名為中華民國某某運動協會。當時有全國各種運動協會三十五個，另加台灣省體育會、台北市體育會、國軍體育總會、金門體育會及中華民國全國大專院校體育總會，體育協會共有四十個團體會員。
黎玉璽將軍領導中華體育協會八年，因為政府補助經費較過去為多，依據法令規章所作計畫與工作，主要的有『推展全民體育運動簡報』、『全民體育十年發展計畫大綱』、『國軍訓練優秀運動役男方案』等。對於加強體育活動，增加運動人口，努力向下紮根，提高運動紀錄水準，都有長足的進步與具體的收穫。
|
