Schau mal in den Ordner
Benutzer/Appdata/Roaming/Microsoft/Windows/Themes
Dort liegt eine Datei mit Namen TranscodedWallpaper
Das ist dein aktuelles Hintergrundbild und nur das aktuelle wird jeweils gespeichert und mit einem Neuem dann überschrieben. Also musst du da gar nichts löschen.