Hradby, na něž je nejpěknější pohled od Podměstského rybníka, jsou zmiňovány již v roce 1278. Byly budovány podle vzoru hradeb nedalekého Kolína. Měly 28 převážně okrouhlých a 5 polygonálních bašt. Koncem 18. století byly zrušeny městské brány a zachovala se jen tzv. Otakarova bašta jako pozůstatek bývalé Brodské brány. Dnes je čáslavské hradební pásmo jednou z mála dochovaných ukázek středověké městské fortifikace.