Єдина збережена оборонна споруда часів литовського панування — вежа Вітовта біля сіл Козацьке і Веселе. Збудований наприкінці 14 століття, а напикінці ХІХ ст. відреставровано власником місцевої садиби Трубецьким.
Історія свідчить, що в той час південно-західна частина сучасної України перебувала під владою Великого князя Литовського Вітовта, і займала весь правобережний бік Дніпра, по якому проходив кордон. Відповідно існували митниці, одна з них перебувала в районі між Бериславом та Каховкою на острові Тавань, нині затопленому Каховським водосховищем, а поруч, на правому березі, знаходилась дозорна вежа, яка контролювала південну частину острова. В подальшому ці території перейшли у володіння Кримського ханства, при цьому були побудовані три фортеці: Кази-Кермен, в 1484 році, на місці сучасного Берислава; Іслам-Кермен (Шагін-Гірей), в 1492 році, на місці сучасної Каховки; і Хан - Бурун на острові Тавань. Між фортецями були натягнуті ланцюги через Дніпро, які перешкоджали сплаву козаків на човнах. У 1695 році фортеці були зруйновані козаками Мазепи. Дозорна вежа, перебуваючи в стороні, пережила всі ці події. У 80-ті роки XIX ст. добудовано четвертий ярус зі стрільчастими вікнами в псевдоготичному стилі. Тоді ж вежа була переобладнана князем Петром Трубецьким, у водонапірну вежу, він налагодив у XIX столітті в напівдиких степах Херсонщини широкомасштабне виробництво якісного, як на ті часи вина, відомого нам як «Оксамит України» і «Перлина степу». Швидше за все вежа використовувалася як водонапірка до 1950-х років, до того як була побудована Каховська ГЕС, після чого з неї був демонтований бак для води і вежа була покинута.