刘伯温为了免遭朝廷官场斗争的不测之祸，随即上书明太祖，要求辞仕过隐居生活。原因有二：一是青少年立下的报国志得以实现，位至开国功臣之列。二是他生就这豪爽刚正、嫉恶如仇的思想性格，在为朱元璋出谋划策时曾得罪过不少人，像宰相李善长、胡惟庸等人，就是对明太祖朱元璋，他也常常直谏不讳。因此，他想尽早从官场的旋涡中抽出身来，激流勇退。
洪武四年二月，刘伯温回到浙江青田南田山（今浙江省文成县）故里，在乡间每日读书吟诗，饮酒奔棋，谢绝同一切官府来往，静心修养，乐哉快哉。说刘伯温上书请求辞职含有被迫原因，还可以从他后来被朱元璋剥夺俸禄一事加以佐证。
公元1373年，胡惟庸当上了丞相，他对刘伯温曾经在明太祖面前不同意自己担任丞相一事，怀恨在心，故诬陷刘伯温在故里谋占有王气之地为自己墓地，图谋不轨。朱元璋因疑心极重，遂于第二年下旨剥夺了刘伯温的俸禄。刘伯温被迫忍气吞声进京说明真情，不想在京积忧成疾，公元1375年3月他重病不起，被送回乡里，一月后逝世。
如果刘伯温在朱元璋登基称帝的前夕，不待封官列侯即隐退故里或山中寺院，恐怕也不至于后来遭到剥夺俸禄的冤屈。
