Joe Yabuki era un huérfano desde el nacimiento. Pasó toda su infancia moviéndose de un orfanato a otro. Un día se escapó y comenzó a deambular. Un día, se encontró en un pobre vecindario de Tokio, donde conoció a un ex entrenador de boxeo, Danpei Tange. Danpei vio el potencial de Joe como boxeador y lo invitó a tomar el deporte.