Окончил Полтавское сельскохозяйственное училище, затем Херсонскую земскую фельдшерскую школу. В 1918 г. поступил в Саратовский медицинский институт, и в этом же году был призван в Красную Армию. Совмещал работу в военном госпитале с учебой в институте, который окончил в 1921 г.
С 1921 по 1941 гг. работал в органах практического здравоохранения, вел активную научную и преподавательскую деятельность. В 1939 – 1940 гг. заведовал кафедрой организации здравоохранения в Казанском институте усовершенствования врачей. В 1940 г. защитил докторскую диссертацию и получил звание профессора. 
После войны продолжил работу на прежнем месте в должности заведующего кафедрой общественного здоровья и здравоохранения Казанского института усовершенствования врачей.
В июле 1956 г. Б.С. Гинзбург был назначен на должность заведующего курсом, впоследствии, с ноября 1956 г., кафедрой организации здравоохранения и истории медицины Читинского медицинского института. Б.С. Гинзбург много сделал для методического обеспечения процесса преподавания, занимался вопросами организации общевузовской производственной практики студентов в медицинских учреждениях города и области, активно участвовал в организации научно-практических конференций, способствовал организации помощи преподавателями вуза практическому здравоохранению.
Автор более 50 работ, посвященных вопросам охраны материнства и детства, ранней детской смертности, организации лечебно-профилактической помощи детям, организации работы медсестер и акушерок, организации работы военных эвакогоспиталей в годы Великой Отечественной войне, реформам медицинского образования в СССР, вопросам повышения квалификации медицинских кадров.

В 1941 г. мобилизован в РККА. Служил в 226-м головном полевом эвакуационном госпитале, затем эвакуационном госпитале 1668, полевом эвакуационном пункте 220 4-й ударной армии 2-го Прибалтийского фронта. В декабре 1943 г. был тяжело ранен, после лечения в госпитале вновь вернулся на службу. Высшая из должностей, занимаемых в годы Великой Отечественной войны, – начальник госпиталя.

Награжден двумя орденами Отечественной войны I степени, медалью «За победу над Германией в Великой Отечественной войне 1941–1945 гг.»