Năm 1927, trước yêu cầu của cách mạng, đồng chí bí mật sang Long Châu, Trung Quốc tham dự các lớp huấn luyện của Hội Việt Nam Thanh niên Cách mạng. Ngày 19 tháng 6 năm 1928, đồng chí được kết nạp vào Hội Việt Nam Thanh niên Cách mạng tại cơ sở Long Châu. Sau khi được huấn luyện, nhiều đồng chí được cử về Cao Bằng tuyên truyền vận động, tổ chức các cơ sở của Hội. Nhờ đó, cuối năm 1928, các cơ sở Hội ở Thị xã Cao Bằng, mỏ thiếc Tĩnh Túc đã được thành lập. Đây là những cơ sở Hội Việt Nam Thanh niên Cách mạng đầu tiên, tạo tiền đề cho phong trào cách mạng ở Cao Bằng phát triển mạnh mẽ.
Tháng 12 năm 1929, đồng chí Hoàng Đình Giong cùng với các đồng chí Hoàng Văn Thụ, Hoàng Văn Nọn được kết nạp vào Đông Dương Cộng sản Đảng. Đồng chí Hoàng Đình Giong được bầu làm Bí thư Chi bộ hải ngoại ở Long Châu, Trung Quốc. Với cương vị này, đồng chí đã chỉ đạo việc tổ chức, gây dựng và phát triển phong trào cách mạng ở Cao Bằng và Lạng Sơn.
Sau khi Đảng Cộng sản Việt Nam được thành lập, Chi bộ Hải ngoại Long Châu do đồng chí Hoàng Đình Giong làm Bí thư chính thức trở thành chi bộ của Đảng Cộng sản Việt Nam. Dưới sự chỉ đạo trực tiếp của đồng chí, cơ sở Đảng, phong trào cách mạng ở Cao Bằng tiếp tục phát triển. Từ một chi bộ Đảng năm 1930 đến năm 1935 đã có 10 chi bộ hoạt động ở 5 huyện (Hòa An, Hà Quảng, Quảng Uyên, Thạch An, Nguyên Bình) và mỏ thiếc Tĩnh Túc, với số lượng trên 70 đảng viên. Tháng 7 năm 1933, Ban Chấp hành Đảng bộ tỉnh Cao Bằng do đồng chí Hoàng Đình Giong làm Bí thư được Đảng Cộng sản Đông Dương công nhận. Cùng với việc xây dựng tổ chức Đảng, đồng chí Hoàng Đình Giong luôn quan tâm chỉ đạo thành lập các tổ chức quần chúng cách mạng ở Cao Bằng (Công hội đỏ, Cộng sản Đoàn, Nông hội đỏ) và trực tiếp chỉ đạo Đảng bộ Cao Bằng xuất bản tờ báo Cờ Đỏ, tuyên truyền cách mạng, giác ngộ quần chúng. Nhờ các hoạt động tích cực của đồng chí Hoàng Đình Giong mà Đảng bộ Cao Bằng thành một trong những cơ sở vững chắc để chắp nối liên lạc giữa Ban Chỉ huy ở ngoài nước của Đảng với bộ phận lãnh đạo Trung ương đang hoạt động trong nước.
Cùng với chỉ đạo các tổ chức Đảng và phong trào cách mạng ở Cao Bằng, đồng chí Hoàng Đình Giong còn chỉ đạo các tổ chức và phong trào cách mạng ở Hải Phòng, Quảng Ninh những năm 1933 - 1936. Sau cao trào cách mạng 1930 - 1931, phong trào cách mạng bị thực dân Pháp khủng bố khốc liệt. Đảng bộ Hải Phòng và Hòn Gai (nay là Quảng Ninh) gặp vô cùng khó khăn, hệ thống tổ chức Đảng suy yếu, số đảng viên còn lại rất ít. Đầu năm 1933, với cương vị là Ủy viên Xứ ủy Bắc Kỳ, đồng chí Hoàng Đình Giong được giao nhiệm vụ kiểm tra, uốn nắn và chỉ đạo xây dựng, củng cố lại tổ chức Đảng và tổ chức quần chúng ở Hải Phòng và Hòn Gai, đồng thời chắp nối liên lạc giữa hai Đảng bộ Hải Phòng và Hòn Gai với Xứ ủy Bắc Kỳ. Bất chấp sự khủng bố gắt gao của địch, đồng chí Hoàng Đình Giong đã tích cực chỉ đạo, xây dựng, củng cố tổ chức Đảng và tổ chức quần chúng. Nhờ đó, các chi bộ Đảng tại Hải Phòng dần được tái lập và trở thành hạt nhân lãnh đạo và chỉ đạo phong trào đấu tranh của công nhân và nông dân Hải Phòng, đặc biệt là khu vực Cảng, nhà máy Xi măng, nhà máy Tơ, nhà máy Carông, làng Lạc Viên, khu Hàng Kênh, vùng nông thôn Kiến An. Tại vùng mỏ Hòn Gai, Cẩm Phả, đồng chí đã chỉ đạo trực tiếp khôi phục một số chi bộ Đảng như: Chi bộ Uông Bí - Vàng Danh, Chi bộ nhà máy kẽm Quảng Yên.
Trong những năm 1932 - 1935, đồng chí Hoàng Đình Giong hoạt động thường xuyên, liên tục ở trong nước và ngoài nước. Đồng chí vừa trực tiếp lãnh đạo, chỉ đạo khôi phục tổ chức Đảng ở các địa phương Cao Bằng, Hải Phòng, Quảng Ninh vừa tích cực xây dựng, chắp nối đường dây liên lạc với các cơ sở Đảng ở Bắc Kỳ, góp phần quan trọng vào việc khôi phục phong trào cách mạng những năm 1933 - 1935.
Tháng 3 năm 1935, đồng chí được cử làm Trưởng đoàn đại biểu Xứ ủy Bắc Kỳ dự Đại hội lần thứ nhất của Đảng tại Ma Cao, Trung Quốc và được bầu vào Ban Thường vụ Trung ương Đảng Cộng sản Đông Dương, phụ trách Xứ ủy Bắc Kỳ.
Đầu năm 1936, thực hiện sự phân công của Trung ương, đồng chí Hoàng Đình Giong trở lại vùng Duyên Hải (Hải Phòng, Quảng Ninh) hoạt động nhằm tăng cường, củng cố đường dây liên lạc từ nước ngoài về nước chỉ đạo phong trào đấu tranh cách mạng.
Ngày 4 tháng 2 năm 1936, đồng chí bị thực dân Pháp bắt giam và đày đi các nhà tù ở: Cao Bằng, Hà Nội, Sơn La, Hà Giang, rồi bị đày biệt xứ đi Madagascar (Châu Phi). Là người có kinh nghiệm đấu tranh trong nhà tù của đế quốc, đồng chí Hoàng Đình Giong đã có sách lược khôn khéo, tranh thủ lực lượng Đồng minh và cùng các bạn tù chính trị trở về Tổ quốc an toàn. Năm 1943, trở về nước lần thứ nhất, đồng chí được giao nhiệm vụ đưa yêu sách nhờ Đảng Cộng sản Ấn Độ tạo áp lực dư luận đòi quân Tưởng thả lãnh tụ Hồ Chí Minh. Tháng 10 năm 1944, sau khi thoát khỏi nhà tù đế quốc, đồng chí trở về nước, nhảy dù xuống Cao Bằng, bắt liên lạc với tổ chức.
Trở về nước, đồng chí Hoàng Đình Giong được đồng chí Vũ Anh (tức Trịnh Đông Hải) - Ủy viên Trung ương Đảng giao nhiệm vụ cùng Đảng bộ Cao Bằng chuẩn bị khởi nghĩa giành chính quyền. Đồng chí đã tích cực, khẩn trương củng cố lực lượng vũ trang, phối hợp với phong trào cách mạng của quần chúng tại căn cứ địa Cao Bằng, chuẩn bị đón thời cơ giành chính quyền trong cả nước. Sau ngày Nhật đảo chính Pháp (9/3/1945), đồng chí Hoàng Đình Giong cùng Tỉnh ủy Cao Bằng lãnh đạo nhân dân nổi dậy khởi nghĩa, xóa bỏ chính quyền cũ, thành lập chính quyền nhân dân ở hầu hết các nơi trong tỉnh, đồng thời trấn áp bọn phản động và thổ phỉ. Đồng chí đã chỉ huy đánh bọn thổ phỉ ở Háng Tháng (Thông Nông) vào tháng 6 năm 1945, tiêu diệt và bắt gọn cả toán phỉ trên 300 tên, thu 135 khẩu súng các loại.
Trong cuộc Tổng khởi nghĩa Tháng Tám năm 1945, Đảng bộ Cao Bằng cử ra Ủy ban khởi nghĩa, đồng chí Hoàng Đình Giong được giao nhiệm vụ là Trưởng ban, tổ chức lãnh đạo lực lượng vũ trang phối hợp với sự nổi dậy của quần chúng đánh chiếm các vị trí chiếm đóng của quân Nhật, đối phó với quân Tưởng, bảo vệ tính mạng, tài sản của nhân dân, giành chính quyền cách mạng ở tỉnh Cao Bằng từ ngày 20 đến 22 tháng Tám năm 1945. Ngoài việc lãnh đạo chung, đồng chí đã trực tiếp chỉ đạo khởi nghĩa tại Nước Hai, châu lỵ Hòa An.
Cách mạng Tháng Tám vừa thành công, thực dân Pháp gây hấn trở lại hòng xâm lược nước ta một lần nữa, Nam Bộ đứng lên kháng chiến. Ngày 11 tháng 10 năm 1945, đồng chí Hoàng Đình Giong được Đảng và Bác Hồ giao nhiệm vụ làm Chỉ huy trưởng Đội quân Nam tiến với bí danh là Võ Văn Đức. Tháng 11 năm 1945, Hội nghị quân sự Nam Bộ tại An Phú Xá (Gia Định) cử đồng chí Nguyễn Bình làm Tư lệnh, đồng chí Võ Văn Đức (lúc này được đổi tên thành Vũ Đức) được cử làm Chủ nhiệm Chính trị Bộ (Chính ủy) Quân Giải phóng Nam Bộ. Ngày 10 tháng 12 năm 1945, Xứ ủy Nam Bộ triệu tập Hội nghị mở rộng, đồng chí được Trung ương cử làm Khu Bộ trưởng (Tư lệnh) đầu tiên của Khu IX. Ngay sau Hội nghị, Khu Bộ trưởng Vũ Đức đã cùng một đơn vị tiếp tục Nam tiến đến tận Cà Mau.
Tại Chiến khu IX, đồng chí cùng với Liên Tỉnh ủy và Bộ Chỉ huy Chiến khu đề ra những chủ trương đúng đắn, phù hợp với đặc điểm tình hình và thực tiễn chiến trường Nam Bộ, chỉ huy các mặt trận chiến đấu, tiêu diệt địch. Đồng chí đã thể hiện vai trò của Khu Bộ trưởng trong việc xây dựng, phát triển lực lượng kháng chiến, thống nhất các lực lượng vũ trang Nam Bộ, xây dựng căn cứ địa U Minh, giải quyết vấn đề đại đoàn kết dân tộc, nhất là với đồng bào Khơ me, đoàn kết tôn giáo, phối hợp xây dựng lực lượng ở các nước Campuchia, Lào, Thái Lan chiến đấu chống thực dân Pháp xâm lược.
Cuối tháng 11 năm 1946, Khu Bộ trưởng Vũ Đức lên đường ra Bắc nhận nhiệm vụ. Khi đến tỉnh Ninh Thuận, đồng chí được Trung ương phân công ở lại làm Khu Bộ trưởng Khu VI. Tại đây, đồng chí đã có nhiều đóng góp to lớn trong việc chỉ đạo xây dựng, củng cố Trung đoàn 81 (Ninh Thuận), Trung đoàn 82 (Bình Thuận), huấn luyện tác chiến và bồi dưỡng chiến tranh du kích cho lực lượng vũ trang Khu VI, giúp đỡ Đảng bộ Ninh Thuận, Bình Thuận lãnh đạo, chỉ đạo tiến hành chiến tranh du kích, vận động đồng bào các dân tộc tham gia kháng chiến.
Sáng 17 tháng 3 năm 1947, đồng chí Vũ Đức đang biên soạn tài liệu huấn luyện dân quân du kích thì một toán quân Pháp từ phía Đà Lạt vượt đỉnh núi Thiên Thai đánh vào sau lưng Chiến khu. Giặc ập đến quá nhanh, Khu Bộ trưởng Vũ Đức ra lệnh cho những người bên cạnh đi hủy tài liệu, còn mình trực tiếp cầm súng ngăn chặn địch. Đồng chí đã chiến đấu đến hơi thở cuối cùng và đã hy sinh anh dũng.
Đồng chí Hoàng Đình Giong là một nhà lãnh đạo xuất sắc của giai cấp công nhân và nhân dân lao động Việt Nam, một vị tướng cầm quân văn võ song toàn. Cố Đại tướng Võ Nguyên Giáp đã viết: Đồng chí Hoàng Đình Giong là một người cộng sản trung kiên, một người con tiêu biểu của đồng bào các dân tộc quê hương cách mạng Cao Bằng. Đồng chí đã chiến đấu kiên cường, cống hiến trọn đời cho sự nghiệp giải phóng dân tộc và lý tưởng cộng sản cao đẹp.
Với công lao và cống hiến to lớn cho sự nghiệp cách mạng Việt Nam, đồng chí Hoàng Đình Giong đã được Đảng, Nhà nước truy tặng nhiều phần thưởng cao quý: Huân chương Hồ Chí Minh (năm 1998); Danh hiệu Anh hùng lực lượng vũ trang Nhân dân (năm 2009); Lãnh đạo tiền bối tiêu biểu của Đảng và cách mạng Việt Nam (năm 2018). Để tưởng nhớ và ghi tạc công lao to lớn của đồng chí, tỉnh Cao Bằng đã xây dựng Khu di tích lưu niệm Hoàng Đình Giong ở làng Nà Toàn, phường Đề Thám (quê nội của đồng chí). Tên của Đồng chí đã được đặt cho Trường Chính trị tỉnh Cao Bằng và một con đường ở phường Hợp Giang, Thành phố Cao Bằng.