Eens had Harderwijk maar liefst vijf stadspoorten. De Vischpoort is de enig overgebleven stadspoort van deze vijf, maar ook van de Smeepoort is een klein deel bewaard gebleven. Alleen de voetgangerspoort en de buitenmuur zijn nog origineel. Oorspronkelijk was de Smeepoort een grote en imposante stadspoort met een ophaalbrug, maar de Fransen bliezen het bouwwerk in 1673 op. Bijna 300 jaar later, in 1970, werd de poort gereconstrueerd. Je kunt de kijkgaten in de muur nog zien zitten en aan de binnenkant is een houten wachtlokaal gebouwd.