Для лучшей развески локомотива реверс-редуктор перенесен в переднюю часть гидропередачи, что позволило снять балласт весом 4 т, применяющийся на тепловозе ТГМ-1.
Тепловоз ТГМ-20-001 был несколько изменен и получил наименование ТГМ-21. На нем был установлен дизель 1Д12-400, развивающий мощность 350 л. с. В окончательном виде передача вращающего момента от дизеля к отбойному валу осуществлена точно по такой же схеме, как и у тепловозов ТГМ-1 с гидропередачей Муромского завода.
1960 году Муромский тепловозостроительный завод построил трехосный тепловоз ТГМ23-001, имеющий много конструктивных отличий от тепловозов ТГМ-1. У нового тепловоза сохранены кузов капотного типа, листовая рама. На тепловозе установлен 12-цилиндровый дизель 1Д12Н-500 с газотурбинным наддувом, развивающий 500 л. с при 1500 об/мин. Управление дизелем осуществляется из кабины с помощью пневмопривода, как и на тепловозах ТГМ1. Тепловоз ТГМ23 в служебном состоянии весит с балластом - 48 т. Максимальная сила тяги 13000 кГ, конструктивная скорость 60 км/ч. Кузов тепловоза выполнен в виде двух капотов и расположенной между ними кабиной машиниста. Отбойный вал в отличие от тепловозов ТГМ-1 расположен между первой и второй колесными парами. Рама тепловоза изготовлена из стальных листов толщиной 25 мм, листы связаны концевыми стяжными ящиками и поперечными креплениями. Буксы имеют по два конических роликовых подшипника. Рама опирается через десятилистовые рессоры; рессорное подвешивание индивидуальное (нет имеющихся у тепловозов ТГМ-1 балансиров). Колесные пары бандажного типа с противовесами и пальцами для спарников. Диаметр новых колес 1050 мм. Вращающий момент от дизеля передается отбойному валу через унифицированную гидропередачу УГП-350-500 и реверс-режимный редуктор. Гидропередача имеет гидротрансформатор и две гидромуфты. Вал дизеля связан с главным валом гидропередачи повышающим редуктором. Длина тепловоза по осям автосцепок 8920 мм, общая колесная база 3600 мм.