Более шести веков прошло после того, когда возник на холме Олесский замок. Произошло это во время распада Киевской Руси и захвата территории врагами.
В тысяча двести двадцать третьем году войском Чингисхана были разгромлены дружины на реке Калке. Данное событие стало символом того, что завершился период могущества Киевской Руси. В тысяча двести сорок первом году отрядами Батыя был уничтожен город плисненск, который расположен в десяти километрах от Олеська. Вероятно именно плестненскими беглецами был о заложено на возвышении городище, на месте которого позже появилась крепость.
После татаро-монгол на эти земли пришли другие варвары. В середине четырнадцатого века литовскими феодалами были захвачены чернигово–северские земли. Под властью Польши оказались Западная Волынь, и Галитчина, Боковину захватили молдавы, а Закарпатье ушло венгам. Именно в это время и появился Олесский замок, который в настоящее время представляет собой ценный памятник архитектуры.