Окончил Полтавское сельскохозяйственное училище, затем Херсонскую земскую фельдшерскую школу. В 1918 г. поступил в Саратовский медицинский институт, и в этом же году был призван в Красную Армию. Совмещал работу в военном госпитале с учебой в институте, который окончил в 1921 г.
С 1921 по 1941 гг. работал в органах практического здравоохранения, вел активную научную и преподавательскую деятельность. В 1939 – 1940 гг. заведовал кафедрой организации здравоохранения в Казанском институте усовершенствования врачей. В 1940 г. защитил докторскую диссертацию и получил звание профессора.
После войны продолжил работу на прежнем месте в должности заведующего кафедрой общественного здоровья и здравоохранения Казанского института усовершенствования врачей.
В июле 1956 г. Б.С. Гинзбург был назначен на должность заведующего курсом, впоследствии, с ноября 1956 г., кафедрой организации здравоохранения и истории медицины Читинского медицинского института. Б.С. Гинзбург много сделал для методического обеспечения процесса преподавания, занимался вопросами организации общевузовской производственной практики студентов в медицинских учреждениях города и области, активно участвовал в организации научно-практических конференций, способствовал организации помощи преподавателями вуза практическому здравоохранению.
Автор более 50 работ, посвященных вопросам охраны материнства и детства, ранней детской смертности, организации лечебно-профилактической помощи детям, организации работы медсестер и акушерок, организации работы военных эвакогоспиталей в годы Великой Отечественной войне, реформам медицинского образования в СССР, вопросам повышения квалификации медицинских кадров.