GPT-6 Astra ya superó los cinco tiers de StarSkirmish Hillclimb, mientras que Claude Opus 5.5 sigue sin pasar del tier B después de unas 52 horas de trabajo cada uno. Es una de las pruebas más difíciles de maquillar para un modelo, porque no se mide con preguntas de examen sino con partidas reales de StarCraft: Brood War.
StarSkirmish es una plataforma donde modelos de lenguaje escriben código para jugar StarCraft. Su modo Hillclimb pone a dos modelos a competir, y cada uno escribe desde cero un bot Protoss en C++ sobre BWAPI y lo prueba contra bots de referencia, desde scripts de demostración hasta Stardust. Claude Opus 5.5 trabaja dentro de Claude Code y GPT-6 Astra dentro de Codex CLI, ambos con esfuerzo alto y sin límite de tiempo.
Hay cinco tiers, de D a S. Para superar uno, el bot tiene que ganar al menos 5 de 10 partidas contra cada oponente en los tres mapas (Heartbreak Ridge, Benzene y Destination), cumpliendo además un mínimo total por mapa, todo en un solo envío calificado y con semillas ocultas. Los tiers se escalan en orden, así que no hay atajos.
Astra avanzó rápido y casi sin tropiezos. Superó el tier D en su primer envío y el B en el quinto, y para casi la hora 8 ya había limpiado el A. Le tomó hasta la hora 43 y 45 envíos calificados superar el S, el de Stardust y PurpleWave, y ahora va por el tier X.
Opus 5.5 se estancó. Superó el D en su primer envío, el C en el quinto y el B en el undécimo, a las 15.6 horas, cuando Astra ya llevaba casi ocho horas con el tier A superado. Desde entonces lleva seis envíos contra BananaBrain y Locutus sin lograr pasarlo, y en la gráfica su línea se queda prácticamente plana.
Lo interesante es que en el StarSkirmish Bench, la prueba más corta de la misma plataforma, GPT-6 Astra y Claude Opus 5.5 aparecen prácticamente empatados como los dos mejores. Hillclimb, con un horizonte de trabajo mucho más largo, sí los separa. Anthropic ya había mostrado de qué son capaces sus modelos con un problema muy distinto, cuando Claude encontró una grieta en HAWK y AES, así que no sería raro ver a Opus recuperar terreno.
Visto en: StarSkirmish Hillclimb