一九四九年二月，胡琏被南京国防部任命为第二编练司令部司令，负责收集从长江以北溃败逃至江南的官兵，并补充新兵。第二编练司令部设在江西南城，得到当时的江西省主席方天的许多帮助。不久，便成立、重建和督练第十八军和第十军，由高魁元、刘廉一分别任军长。是年四月，解放军渡江战役打响后，代总统李宗仁要胡琏率部进驻大庾岭，胡对李的命令阳奉阴违，按兵不动，暗中却接受蒋介石的遥控指挥；五月中旬，南城解放，第二编练司令部改编为第十二兵团，胡琏任司令。
一九四九年七月，***第十二兵团根据胡琏总司令“纵深防御、移动防御”的战略原则开始进行大规模的战略转移，分兵两路南下，成功摆脱了南下大军围歼第十二兵团的战略企图，于七月十四日从江西进入广东兴宁，在石马镇稍事休整，接着进入梅县；在石马休整期间，兵团总司令胡琏曾在辛亥革命元老、同盟会嘉应州主盟人——“何子渊故居”光裕庐坐镇指挥部队达五天五夜，后因电话线路多次遭游击队破坏，而匆忙撤离石马。（七月十四日亦是***关于围歼胡琏命令电报发出的第一天。）
九月初，胡琏兵团撤往广东潮汕地区，期间在潮汕、普宁地区大量抓捕青壮年男子（抓壮丁）以补充死伤溃散的所部军队，旋从海上驻防金门。十月二十五日，胡琏第十二兵团与李良荣第二十二兵团，在金门西北角的古宁头村，成功阻挠解放军登陆金门，并取得金门战役的胜利。同年冬，胡琏被委任为福建省主席兼第十二兵团司令。一九五零年初，第十二兵团改为金门防卫军，胡琏任金门防卫军司令兼福建省主席及福建人民***救***总指挥。
一九五一年，胡琏在金门成立“福建省游击队”，后改名为“福建省***救***”，他任总指挥。胡琏曾派遣小股特务潜入福建省，试图进入戴云山区进行***游击活动。但不到一个星期，大陆军民便将这些特务一网打尽。
一九五二年十月，胡琏加授陆军上将衔。同时，被选为中国***“第七届中央委员”；此后，他连任第八、九、十、十一届中央委员。
一九五四年六月，胡琏奉调回台北任第一野战军团司令。一九五七年又奉调去金门，再次出任金门防卫司令，一九五七年七月升任二级陆军上将。一九五八年八月二十三日，福建前线人民解放军炮轰金门，次日，胡令所部向大磴岛进行炮击。金门炮战持续了四十六天，九月任金门防卫司令部司令兼金门战地政务委员会主任。
一九五八年冬，金门防卫司令由刘安祺接任。胡琏擢升为陆军总司令部副总司令。一九六一年十二月入国防研究院受训。一九***年，胡琏出任“驻越南(南越)大使馆大使”，在职八年。一九七二年胡琏被免职回台北，任“总统府”战略顾问，并晋升为一级陆军上将。他晚年爱好文学和历史，研读典籍，喜读古书，一九七四年附读台湾大学历史研究所，研究宋史和现代史。著《古宁头作战经过》、《泛述古宁头之战》、《金门忆旧》和《越南见闻》等书。一九七七年六月二十二日，胡琏因患心脏病在台北逝世。
胡琏将军的遗体，后以海葬形式安葬在澎湖列岛海域，实现了其“魂护台澎”的遗愿。
遍览台湾近年之军史著述，不光竭力贬低刘伯承、陈毅、粟裕等大陆将领，而且将张灵甫、李仙洲、邱清泉、黄百韬，黄维等***败军之将也说得愚蠢之至粪土一般，唯胡琏超智超勇鹤立鸡群乃千古难觅之良将，似乎蒋公介石如早早委此君以大任，则定能扭转乾坤、挽狂澜于既倒。