1977年9月，杨勇任中国人民解放军副总参谋长、中央军委列席常委，协助兼任总参谋长的邓小平主持总参日常工作。
到总参上任后，杨勇用很大精力推动总参机关的“揭批查”工作，以解决总参的作风及纪律问题。经过总参党委研究，下发了《关于“三查三整”的通知》。杨勇积极推动工作，搞清问题，平反大量冤假错案，为以张爱萍、李达、彭绍辉等为代表的400多名在“文化大革命”中受审查、受批判人员平反昭雪，落实政策。
由于邓小平身兼党和国家的多个重要职务，总参的日常工作由杨勇负责，因而杨勇成了实际上的总参当家人。然而在对外交往中，由于外军不了解中国军界的这一特殊情况，导致出现了一些不大不小的问题。1978年6月，杨勇率中国军事友好代表团访问南斯拉夫。然而，南斯拉夫总统铁托却没有出面会见，原因是南方认为杨勇是中国军队的副总参谋长，地位不够，故只由南斯拉夫人民军总参谋部对等接待。同年9月，南斯拉夫人民军总参谋长斯塔查·波托查尔上将率团回访中国，邓小平会见了代表团一行，杨勇则负责日常接待。在访问过程中，斯塔查·波托查尔上将了解到了杨勇在中国军队中的实际地位后，饱含歉意地对杨勇说：“我明白了你在中国军队的身份，我接待你的规格不够啊！”
1979年底，中央军委决定对解放军三总部和各�