1925年，冷少农告别母亲妻儿，此时其子仅有5个月。他只身赴广州投身革命，被安排在黄埔军校政治部工作。当时该校政治部主任是周恩来，冷少农在周恩来的直接领导下开始了革命生涯。

在黄埔军校期间，冷少农秘密加入中国共产党。从1928年起，冷少农在中共中央军委的直接领导下，他长期潜伏在南京国民政府高层，是中共中央军委派驻南京地下党军事情报中心的负责人。在血雨腥风的白色恐怖环境中，他为党智取许多机密情报，助力红军三次“反围剿”的胜利。