Das liegt in diesem Fall eher am Displacement und seiner hohen Unterteilung, welche ja massiv mehr Polygone erzeugt.
Du kannst aber immer noch eine Bilderserie von Astros rausrendern und dann diese als 2D-Sprites verwenden, um den Großteil eines Astro-Feldes zu erstellen, und nur höher detaillierte Modelle im Nahbereich einsetzen. So hättest du nur einmal eine lange Renderzeit, um die Vorlagen/Sprites zu rendern, die du später schneller rendern kannst, weils schon fertige Texturen/Sprites sind.
Müsstest halt nur schauen, das du eine Farbe verwendest, die du gut auf diverse Lichtsituationen abwandeln kannst.