二代真清水蔵六門下で作陶修行をした後、昭和初期から古陶磁研究を志し、東洋陶磁研究所研究員となり、定窯等の中国古窯址、六古窯をはじめとする日本各地の古窯址の調査・研究で数々の業績を遺した。戦後は古陶磁研究の中心的存在であり、陶芸家としても活躍した。
とくに、それまで古美術鑑賞の延長の色合いが濃かった古陶磁研究に、歴史学・考古学・化学などの諸分野の方法論を取り入れ、科学的・実証的な研究方法を重視し、主導したことは最大の功績であり、また、1973年に創立された東洋陶磁学会の初代常任委員長として、学会運営や海外学術交流にも尽力し、後進に大きな影響を与えている。
1900年生。岡山県出身。東京商科大学(現、一橋大学)中退。
二代真清水蔵六門下で作陶を修行。のち東洋陶磁研究所研究員、日本陶磁協会理事、文化財保護審議会専門委員、財団法人出光美術館理事、東洋陶磁学会常任委員長などを歴任。
『宋磁』(1943)、『支那青磁史稿』(1943)をはじめとする厖大な著作の主要なものは、『小山冨士夫著作集』上・中・下(朝日新聞社、1977~79)で見ることができる。蒐集陶片の一部が出光美術館陶片室に、定窯採集白磁片の大部分は根津美術館(東京)に収蔵されている。