Pieksämäen maisemille luonteenomaisia ovat korkeat moreeniharjanteet, joilla on ollut kiinteää asutusta jo 1400-1500-luvuilta alkaen. Uusimmat tutkimukset osoittavat täällä olleen yhtäjaksoista asustushistoriaa yli 5000 vuoden ajalta.

Pieksämäen kirkkopitäjä syntyi vuosina 1573-1575. Vanha Pieksämäki oli alueellisesti laaja. Nykyisen kaupungin lisäksi se käsitti lähes kokonaan entisen Haukivuoren sekä pääosan Kangasniemestä ja Suonenjoesta. Voidaan sanoa, että Pieksämäki on ollut Sisä-Savon äiti, joka synnytti seitsemän lasta. 

Vuonna 1889 valmistunut Savon rata toi seudulle uutta ilmettä, jota täydensi 1918 käyttöönotettu poikittaisrata. Uudet liikenneyhteydet muokkasivat Pieksämäen kahtia.  Aseman seudun ja kirkonkylän taajama-asutus vahvistettiin kauppalaksi 1930. Kaupungiksi Pieksämäki tuli 1962.

Pieksämäki on hyvin suunniteltu kaupunki, jonka asemakaavan laati Otto-Iivari Meurman. Kaupunkirakenne vaihtelee: on ruutuja, kaarikatuja, puistoja ja puistokatuja. Maamerkkinä harjulla kohoaa vesitorni. Puistot ja viheralueet hallitsevat kaupunkikuvaa. Pieksäjärvi rantapolkuineen muodostaa asukkaille viihtyisän asuinympäristön.