Xã có địa hình trải dài chia làm 2 khu vực, vùng đồng chiêm trũng và vùng đồi núi bán sơn địa. Phía Bắc giáp 02 xã Liên sơn, Phúc Hòa. Phía Nam giáp xã Việt Lập. Phía Đông giáp 02 xã Hợp Đức, Liên Chung. Phía Tây giáp thị trấn Cao Thượng.
Trước năm 1945, xã Cao Thượng gồm 3 xã của tổng Mục sơn, phủ Yên Thế, tỉnh Bắc Giang (bao gồm xã Đạm phong, xã Mục Sơn và xã Cao Thượng). Sau Cách mạng tháng 8, xã Cao Thượng đổi tên thành xã Cương Lập.
Cuối năm 1955, xã Cương Lập tách ra làm 2 xã Liên Sơn và Cương Lập. Đến năm 1971 xã Cương Lập đổi tên thành xã Cao Thượng. Đến 1997 xã Cao Thượng tách ra làm 2 đơn vị hành chính đó là thị trấn Cao Thượng và xã Cao Thượng. Xã Cao Thượng hiện nay gồm 13 thôn (Hòa Sơn, Chám, Trong CaoThượng, Đình, Bậu, Bùi, Hợp Tiến, Tân Lập, Tân Tiến, Chùa, Trong Hạ, Ngoài Hạ, Phố Bùi).
Năm 2000 xã Cao Thượng được phong tặng danh hiệu xã Anh hùng lực lượng vũ trang nhân dân.