１４歳のとき、出漁中に嵐に遭い、遥か南の無人島に流された。
半年後、通りかかった米国捕鯨船にたすけられた。そのまま米国本国につれて帰られ、米国で学校教育を受けることになり、期せずして留学生第１号となった。万次郎は十年に及ぶ国外生活で英語、航海術、測量術、捕鯨術を習得した。２４歳になって意を決して日本に戻るが、当時の日本は異国の驚異に晒されており、万次郎の知識は貴重なものであった。万次郎はたちまち幕臣に取り立てられ、苗字帯刀を許された。
咸臨丸の太平洋横断にも万次郎の技術が活用されたと言われる。明治二年には、開成学校（のちの東京大学）の教授に任じられたが、その後健康を損ねた為、公的な活動から引退。明治３１年（１８９８）７１歳で病没。
坂本龍馬にも多大な影響を与えたといわれ、大河ドラマ「龍馬伝」にも登場。
