Tranqui. No pasará absolutamente nada que John Mu (Googler) ha dicho aquí que puedes borrar URLs del sitemap XML sin miedo a que eso afecte al posicionamiento o rankings.
We use Sitemap files for discovering new URLs and recognizing when existing ones have changed; we don’t remove URLs from the index that aren’t in a Sitemap file.
La parte verdaderamente interesante es donde dice que lo usan para reconocer cuando las existentes han cambiado. O sea que quizás se pueda utilizar los sitemaps para algo útil y forzar a que G. detecte cambios en determinadas páginas de difícil acceso. No lo he probado.
Ojo, no confundas el sitemap (mapaweb) HTML que tienes como directorio o índice de contenidos de tu site y que sirve principalmente para los usuarios (aunque los robots lo visitan también) con el XML sitemap que es exclusivamente para las arañas.
*Disclaimer: lo que hagas, bajo tu responsabilidad. Yo solo me hago eco. Léete el hilo original que enlazo arriba y saca tus propias conclusiones.