该词源自古斯拉夫文“旗”，1649年俄国军队首次称旗手为准尉。旗手通常是从最勇敢、最健壮、经过战斗考验的军人中挑选任命的。彼得一世建立正规军时，于1712年正式设立了准尉军衔，作为步兵和骑兵中的最低官衔。在 1722年的《官级表》中，将准尉分为两个等级，“下级准尉”列入军士的等级，准尉列入尉官行列。

　　准尉是一个特殊的等级，准尉制度在国际上很不统一，表现在以下三个方面：一是有的国家设置，有的国家不设，两者的比例大体是 4：6；二是设置准尉的国家，对准尉的地位规定不一，有的列入尉官等次，有的列入军士级别，有的则将其列为军官与军士之间的一个非官非士的独立等级；三是对准尉有的国家分级，有的国家不分，分级者所分数量多少不一，阿尔及利亚分两级，印度分三级，美国分四级，玻利维亚分五级，原捷克斯洛伐克分六级。

　　军衔传人中国后，清朝政府规定设准尉衔，称之为“额外军官”；辛亥革命后，中华民国历届政府也规定设置该衔，孙中山南京临时政府沿用清朝名称，北洋政府改称“准尉官”，国民政府称“准尉”和“准佐”，明文规定“不列入官等”。中国人民解放军50年代一60年代首次实行军衔制期间，立法文件没有规定设置准尉，但实际上授有准尉军衔，全军最多时拥有十一万余人。当时准尉为副排级人员，算干部但不算军官，在军队内部称之为“预备军官”。1988年人民解放军重新实行军衔制，准尉没有列入军衔等级体系，五六十年代由准尉担任的工作分别由少尉、军士长或文职人员担任。