ตึกแดงเป็นอาคารชั้นเดียวก่ออิฐถือปูน กว้าง 7 ม. ยาว 32 ม. ทาสีแดงชาด ภายในแบ่งเป็น 5 ห้อง มีประตูเปิดถึงกันหมดมีระเบียงสองด้านตามแนวยาว
ของตัวตึก

ฝรั่งเศสได้รื้ออิฐจากตัวป้อมมาสร้างตึกแดงเพื่อใช้เป็นที่พักนายทหารและกองรักษาการณ์ปากน้ำแหลมสิงห์ ตึกแดงได้รับการบูรณะเมื่อปี พ.ศ. 2527 และใช้เป็นอาคารห้องสมุดและศูนย์การศึกษานอกโรงเรียนของ อ.แหลมสิงห์ ต่อมาเลิกใช้และเปิดให้นักท่องเที่ยวเข้าชม