Малый Рогожский переулок (как и Большой Рогожский переулок) существует с XIX века, название которого было связано с его расположением в Рогожской ямской слободе.
В 1967 году к нему присоединена Пролетарская улица (до 1919 года 4-я Рогожская улица), что было вызвано необходимостью уменьшения засилья пролетарских названий в городе.