Медаль «За отличие в воинской службе» учреждена Указом Президиума Верховного Совета СССР от 28 октября 1974 г. Этим же Указом утверждены Положение о медали и ее описание. В Положение о медали внесено изменение Указом Президиума Верховного Совета СССР от 18 июля 1980 г.
     В Положении о медали говорится;
     «1. Медалью «За отличие в воинской службе» награждаются военнослужащие Советской Армии, Военно-Морского Флота, пограничных и внутренних войск:
     за отличные показатели в боевой и политической подготовке;

     за особые отличия на учениях и маневрах, при несении боевой службы и боевого дежурства;

     за отвагу, самоотверженность и другие заслуги, проявленные в период прохождения воинской службы.

     2. Награждение медалью «За отличие в воинской службе» производится от имени Президиума Верховного Совета СССР

     Министром обороны СССР, Министром внутренних дел СССР,
     Председателем Комитета государственной безопасности СССР.

     3.Медаль «За отличие в воинской службе» состоит из двух степеней:
     медаль «За отличие в воинской службе» I степени,

     медаль «За отличие в воинской службе» II степени.

     Высшей степенью медали является I степень».

     Первым награжденным медалью «За отличие в воинской службе» I степени стал рядовой Спирин Анатолий Васильевич. Приказом Министра обороны СССР от 24 марта 1975 г. он был удостоен этой награды за мужество и отвагу, проявленные при задержании вооруженных преступников. Приказом Министра обороны СССР от 3 марта 1976 г. медалью «За отличие в воинской службе» I степени награжден рядовой Айглов Петр Савельевич за мужество и самоотверженность, проявленные при спасении государственных материальных ценностей от пожара.

    Первые награждения медалью «За отличие в воинской службе» II степени были произведены в канун празднования Дня Советской Армии в 1975 г.
     Всего к началу 1981 г. медалью «За отличие в воинской службе» I степени награждено более 3 тысяч военнослужащих; II степени — около 25 тысяч.
     Медаль «За отличие в воинской службе» I степени изготавливается из латуни и имеет форму выпуклой пятиконечной звезды, в промежутках между концами которой расположены пять щитов с эмблемами основных родов войск. В центре медали— профильное изображение солдата, матроса и летчика, обрамленное кольцом с надписью «За отличие в воинской службе» и двумя лавровыми ветвями внизу. Все изображения и надпись на медали выпуклые. Оборотная сторона медали изображений не имеет. Размеры медали между противолежащими концами звезды 38 мм. Медаль при помощи ушка и кольца соединяется с латунной колодочкой, покрытой шелковой муаровой лентой красного цвета с двумя продольными зелеными полосками по краям. Ширина ленты 24 мм, полосок — 3 мм, расстояние полоски от края — 3 мм. В центре колодочки на ленте—латунная пятиконечная звездочка. Колодочка имеет на оборотной стороне нарезной штифт с гайкой для крепления медали к одежде. Медаль «За отличие в воинской службе» II степени, ее колодочка и звездочка на ленте изготавливаются из мельхиора.