中华人民共和国成立前，中国人民解放军曾两次拟议实行军衔制度，但由于受当时环境的制约，两次拟订的军衔制度都未能实行。

　　建国后，为加强我军的正规化、现代化建设，实行军衔制的问题被重新提上议事日程。１９５２年冬便着手研究军衔制的问题。１９５２年１１月２６日，总干部部在向毛泽东主席并军委的报告中，对实行军衔制度准备工作等问题，拟制了初步计划。１９５５年我军正式实行军衔制度。

　　这次军衔等级设置是在中国传统军衔等级体系的基础上，参照了前苏联、朝鲜等国的军衔制而设定的。军官军衔设４等１４级，即中华人民共和国大元帅、中华人民共和国元帅（大元帅实际未授予）；大将、上将、中将、少将；大校、上校、中校、少校；大尉、上尉、中尉、少尉。１９５５年９月２７日，全国人大常委会第二十二次会议通过了授予中华人民共和国元帅军衔的决议。同日，中华人民共和国主席毛泽东向朱德、彭德怀、林彪、刘伯承、贺龙、陈毅、罗荣桓、徐向前、聂荣臻、叶剑英１０人授予中华人民共和国元帅军衔。国务院总理周恩来发布命令，授予粟裕、黄克诚、谭政、肖劲光、王树声、陈赓、罗瑞卿、许光达、徐海东、张云逸１０人中国人民解放军大将军衔，授予５５人上将军衔，授予１７５人中将军衔，授予８０１人少将军衔。以后，从１９５６年至１９６４年间，又陆续晋升了一批将军。到１９６５年，共授予将官以上军衔１６１４人。

　　１９６５年５月２２日，第三届全国人大常委会第九次会议通过了《关于取消中国人民解放军军衔制的决定》，１９６５年６月１日开始实施。

　　１９８０年３月，中央军委主席邓小平提出要搞军衔制。１９８４年５月３１日第六届全国人民代表大会第二次会议通过的《中华人民共和国兵役法》规定：“中国人民解放军实行军衔制度”。１９８５年６月，中央军委召开扩大会议，果断地提出割断１９６５年以前的军衔体制，“实行新的军衔制”。１９８８年７月１日，七届全国人大常委会第二次会议通过了《中国人民解放军军官军衔条例》。

　　士兵军衔制度同时立法。

　　新公布的军衔制度不设元帅、大将和大尉，而以一级上将为最高军衔。军官军衔设３等１１级，即一级上将、上将、中将、少将；大校、上校、中校、少校；上尉、中尉、少尉。海军、空军军官在军衔前分别冠以“海军”、“空军”。专业技术军官，在军衔前冠以“专业技术”。中央军委领导邓小平、杨尚昆主动提出自己不受军衔，因此，一级上将空缺。

　　１９９３年１０月１日起，士官分别佩带共有４个军衔等级的标志。士兵军衔按等级分为：士官：军士长、专业军士；军士：上士、中士、下士；兵：上等兵、列兵。

　　１９９４年５月１２日，第八届全国人大常委会第七次会议通过了关于修改《中国人民解放军军官军衔条例》的决定。修改后的军衔条例设３等１０级，即上将、中将、少将；大校、上校、中校、少校；上尉、中尉、少尉。

　　１９９５年９月１０日，八届全国人大常委会通过《中华人民共和国预备役军官法》，规定预备役军官军衔设３等８级，即少将；大校、上校、中校、少校；上尉、中尉、少尉。