Sau khi những khẩu pháo 105mm và 37mm được kéo vào chiếm lĩnh trận địa chờ thời cơ nổ súng, để đảm bảo cho chiến dịch Điện Biên Phủ được chắc thắng, Bộ Chỉ huy chiến dịch đã phải thay đổi phương án tác chiến từ “Đánh nhanh, thắng nhanh” sang phương án “Đánh chắc, tiến chắc”. Bộ đội ta được lệnh kéo pháo ra vị trí tập kết ban đầu để đảm bảo an toàn cho pháo. Trên đường kéo pháo ra, qua dốc Chuối, địa hình nơi đây vô cùng hiểm trở, đường hẹp cua cong gấp, lúc này đồng chí Tô Vĩnh Diện cùng đồng chí Ty lái pháo, các đồng chí khác dùng dây tời và gỗ chèn pháo. Đường dốc nguy hiểm, khẩu pháo nặng nhích dần từng cm. Quá trình di chuyển pháo hai lần dây tời bị đứt, khẩu pháo đang đà lao nhanh xuống vực. Đồng chí Ty lái pháo bị hất xuống suối. Tình thế lúc này ngàn cân treo sợi tóc, anh Tô Vĩnh Diện hô anh em “thà hy sinh quyết bảo vệ pháo” và ngay lập tức anh lao tới để cứu pháo, khẩu pháo khựng lại, nhưng hàng tấn sắt thép ấy đã đè lên người anh và anh đã hy sinh.
Ngày 01/02/1954, anh Tô Vĩnh Diện đã hi sinh tại rừng Pá Có, sườn phía tây Pha Sung, thuộc xã Nà Nhạn, huyện Điện Biên, tỉnh Điện Biên. Tấm gương hy sinh vô cùng anh dũng của đồng chí Tô Vĩnh Diện đã cổ vũ mạnh mẽ toàn đơn vị vươn lên hoàn thành tốt nhiệm vụ. Ngày 7/5/1955, Tô Vĩnh Diện được Chủ tịch nước Việt Nam Dân chủ Cộng hoà trao tặng Huân chương Quân công hạng Nhì, Huân chương chiến công hạng Nhất và được truy tặng danh hiệu Anh hùng lực lượng vũ trang nhân dân. Anh đã trở thành anh hùng Pháo cao xạ đầu tiên của quân đội ta ngã xuống trên mặt trận Điện Biên Phủ, sự hi sinh của anh đã đi vào lịch sử như một huyền thoại - quên mình cứu pháo.