Anh sinh năm 1924, quê ở thôn Dược Khê, xã Nông Trường, huyện Nông Cống (nay thuộc huyện Triệu Sơn), tỉnh Thanh Hóa.
Năm 1946, quân viễn chinh của thực dân Pháp tái chiếm Đông Dương. Tô Vĩnh Diện tham gia chỉ huy dân quân ở địa phương. Năm 1950, tại Thanh Hóa nổ ra một vụ bạo loạn, khiến nhiều dân quân (trong đó có Tô Vĩnh Diện) bị bắt giữ. Chính quyền Việt Nam Dân chủ Cộng hòa phải cử một đơn vị bộ đội xuống giải cứu. Từ đó, Tô Vĩnh Diện chính thức gia nhập quân đội Nhân dân Việt Nam.
Sau 8 tháng huấn luyện ở Trung Quốc, tháng 12/1953, Tô Vĩnh Diện cùng đơn vị về nước và ngay lập tức hành quân lên Điện Biên Phủ để chuẩn bị tham chiến. Anh được điều về đại đội 827 làm trung đội phó của trung đội 2, trực tiếp phụ trách khẩu đội 3 thay khẩu đội trưởng bị thương. Khẩu đội Tô Vĩnh Diện được giao sử dụng khẩu pháo cao xạ 37mm số hiệu 510681, thuộc loại pháo phòng không 37mm 1 nòng mẫu 61-K kiểu M1939 có gắn lá chắn đạn với 2 cửa ngắm dành cho 2 pháo thủ, do Liên Xô sản xuất và viện trợ cho Việt Nam Dân chủ Cộng hòa.
Để giữ bí mật chiến lược, các đơn vị cao xạ đều phải vận chuyển hai loại pháo lựu 105mm và cao xạ 37mm (lần đầu tiên xuất hiện trên chiến trường) vào ban đêm, liên tục trong các ngày 13, 14 và 15 tháng 1 năm 1954, từ Tuần Giáo vào tập kết ở km 63 đường 42. Sau đó, từ vị trí tập kết, bộ đội phải kéo pháo bằng sức người trên đường quân sự mới mở, có chỗ phải vượt qua núi cao 1450m để vào trận địa cách xa vị trí tập kết 15 km. Từ trưa ngày 16/1, được sự trợ giúp của bộ binh và công binh, các đơn vị bắt đầu kéo pháo, đến ngày 24/1 mới đưa được pháo vào trận địa.
Tuy nhiên trận đánh đã không diễn ra như dự kiến. Ngày 26 tháng 1, tổng tư lệnh Võ Nguyên Giáp quyết định đổi phương án tác chiến từ "đánh nhanh thắng nhanh" sang "đánh chắc tiến chắc". Các đơn vị pháo binh nhận lệnh phối hợp với các đơn vị bộ binh kéo pháo trở ra. Đơn vị của Tô Vĩnh Diện được lệnh kéo pháo ra điểm tập kết tại Bắng Hôm để ăn tết Giáp Ngọ và chờ lệnh mới.
Ngày 1/2/1954, đơn vị của Tô Vĩnh Diện (đại đội 827) trên đường kéo pháo ra, đến một con dốc cao và hẹp ở gần Bản Chuối. Anh cùng pháo thủ Nguyễn Văn Chi phụ trách điều khiển càng pháo để chỉnh hướng cho một đơn vị bộ đội kéo dây tời giữ pháo, ngoài ra còn có 2 chiến sĩ phụ trách chèn bánh pháo. Quân Pháp bất ngờ bắn pháo từ Mường Thanh lên, buộc đơn vị kéo giữ pháo nằm rạp xuống, đúng lúc dây tời bị đứt. Lực giữ pháo yếu đi, cả trăm bộ đội vẫn không đủ sức níu lại, khẩu pháo dần tuột xuống dốc. Pháo thủ Nguyễn Văn Chi lái càng phía ngoài bị càng pháo hất xuống vực và pháo trôi dần về phía vực sâu. Tô Vĩnh Diện lập tức bỏ càng pháo phía trong, chuyển sang ghì người vào càng pháo phía ngoài, lấy một chân đạp vào một gốc cây, cố gắng đẩy hướng càng pháo đâm vào vách núi. Tuy cản được pháo lăn xuống vực, nhưng anh cũng bị bánh xe của khẩu pháo nặng hơn 2 tấn đè lên người trọng thương. Chính trị viên tiểu đoàn Phạm Đăng Ty chạy tới cấp cứu, nhưng đã quá muộn. Trước lúc ra đi, anh vẫn còn hỏi "Pháo có việc gì không anh em?".
Sau khi ông được truy tặng danh hiệu Anh hùng, do thiếu thông tin cũng như những ghi nhớ sai sót trong quá trình kể truyền miệng của nhiều người, một số tài liệu đã mô tả lại câu chuyện về hành động dũng cảm Tô Vĩnh Diện với những thông tin không chính xác. Nhầm lẫn phổ biến nhất là việc cho rằng Tô Vĩnh Diện đã cứu khẩu đại bác cỡ 105mm, thực ra khẩu pháo mà Tô Vĩnh Diện cứu được là pháo cao xạ 37mm. Một nhầm lẫn khác cũng rất phổ biến là cho rằng "Tô Vĩnh Diện lấy thân chèn bánh pháo" để ngăn pháo lao xuống dốc, thực ra Tô Vĩnh Diện đã lấy thân chèn vào càng pháo chứ không phải bánh pháo.