Theo các bia ký và nghiên cứu khảo cổ, tháp Bánh Ít được xây dựng vào khoảng cuối thế kỷ XI, đầu thế kỷ XII. Cụm tháp tọa lạc trên ngọn đồi cao 75m, quay về hướng Đông. Những dấu tích nền móng để lại cho thấy, xưa kia đây từng là một quần thể hoành tráng nhưng nay chỉ còn 4 tháp. Dẫu vậy, đây là di tích đền tháp Chăm Pa còn lại nhiều nhất ở Bình Định.

Theo nguyên tắc xây dựng đền tháp Chăm Pa, tháp đầu tiên, thấp nhất là tháp Cổng (Gopura), nằm ở phía đông, cao khoảng 13m và chỉ có một lối đi qua hai cửa thông nhau theo hướng đông - tây. Khung cửa được xây dựng theo lối kiến trúc Gopura đặc trưng với vòm cửa hình mũi giáo xếp lớp hướng dần lên trên. Ở lưng chừng đồi, bên trái là tháp Bia (Posah) có bình đồ hình vuông, trang trí nhiều lọ hình quả bầu ở tầng trên với các khối cong nhịp nhàng, làm mềm mại và hài hòa với những đường nét kỷ hà ở tầng dưới. Trên đỉnh đồi là hai ngôi tháp đứng cạnh nhau. Tháp Chính (Kalan) nằm thẳng trục với tháp Cổng. Tháp Chính cũng là đền thờ và là khối kiến trúc lớn nhất trong quần thể tháp Bánh Ít với độ cao 29,6m; được xây theo một khối hình vuông cùng vòm mái hình mũi nhọn hướng lên trời. Bên trong đền là nơi thờ tượng thần Shiva. Bên trái tháp Chính (theo hướng nhìn từ ngoài vào) là tháp Hỏa (Kosagrha) cao 10m, có chức năng như một nhà kho chứa đồ tế lễ của người Chăm xưa.

Như những tháp Chăm khác, vật liệu xây dựng tháp Bánh Ít là gạch đất nung được xây khít mạch, kết hợp với một số chi tiết, phù điêu, tượng bằng đá. Tháp Bánh Ít có phong cách chuyển tiếp từ phong cách Mỹ Sơn A1 và phong cách Bình Định. Trên các tháp có trang trí nhiều hoa văn, những nhân vật, điển tích của Ấn Độ giáo, được thể hiện tỉ mỉ và công phu, sống động, giàu mỹ cảm. Mặc dù đã bị hư hại nhiều bởi thời gian và chiến tranh, nhưng những ngọn tháp vẫn đứng sừng sững ngót 10 thế kỷ.