Le château installé sur le côteau au dessus d'un bras de Loire est probablement de forme pentagonale, des tours circulaires positionnées aux angles sont reliées par une haute muraille.
Le vieux château-fort devient une résidence d'agrément pour le roi, de petite taille certes, mais doté de toutes les commodités, et à proximité de la forêt des Loges.
Le duc d'Orléans, ambitieux, lance de grands travaux pour réhabiliter le château. Il le rend plus confortable mais aussi mieux défendu de ses ennemis Bourguignons.
Le domaine de Châteauneuf connaît une période d’abandon aux 15e et 16e siècles, période marquée par la guerre de Cent ans (1337-1453) et les guerres de religions (1562-1598).
Michel Particelli rachète et rénove le château de Châteauneuf en 1646. Un nouveau logis de forme classique surplombe une terrasse et de grands jardins à la française.
Louis Phélypeaux de la Vrillière et son fils Balthazar terminent l'aménagement du château et des jardins. Louis III, puis Louis IV héritent au 18e siècle d'un domaine qui a sa forme définitive.
Saisi à la Révolution, le château est vendu en 1798 à Benoist Lebrun, ancien architecte du Roi. Le grand corps de logis et le grand escalier sont démontés pierre par pierre.
La ville achète le château et une partie du parc le 16 octobre 1925. Le nouvel hôtel de ville est inauguré le 5 juin 1927. En 1934 le département du Loiret achète une partie du parc.
