El científico jefe de OpenAI quiere que todos bajemos el ritmo Jakub Pachocki quiere que la industria deje de considerar el desarrollo acelerado de la IA como la única opción. En un ensayo titulado “Una mente alienígena”, sostiene que los sistemas actuales son más cultivados que diseñados: son el resultado de enormes procesos de optimización, no de una mente que alguien comprenda por completo. Y ese es precisamente el problema. No podemos asumir que este tipo de inteligencia adoptará por sí sola los principios humanos.

Pachocki sitúa el inicio de este cambio a mediados de 2023, cuando el proyecto RLSlow de OpenAI demostró por primera vez que los modelos de razonamiento podían seguir mejorando a gran escala. Ahora considera que este avance podría conducir a una mejora recursiva: una IA que participe cada vez más en la creación de sistemas de IA superiores. La capacidad de cumplir objetivos ha mejorado, pero la alineación con nuestros valores como la honestidad, la integridad y el “amor por la humanidad” cuando nadie está observando no ha avanzado al mismo ritmo. Como ejemplo, menciona el incidente de Hugging Face.

La contradicción es que OpenAI también considera que necesita modelos más potentes para protegerse de otros modelos avanzados. La ciberseguridad es el ejemplo más evidente, y Pachocki advierte que los futuros agentes podrían negociar con las personas, engañarlas o incluso chantajearlas mientras intentan alcanzar sus propios objetivos.

Y también está la cuestión del momento: GPT-6 Astra acaba de lanzarse con grandes avances en programación, uso de computadoras, ciberseguridad y ciencia. Pachocki afirma que está mejor alineado que la generación anterior, pero que todavía no es suficiente. Su conclusión es clara: ningún laboratorio ha resuelto la alineación y la supervisión de estos sistemas lo bastante bien como para seguir acelerando sin límites. Por eso propone reducciones voluntarias del ritmo de desarrollo, requisitos de seguridad obligatorios y, con el tiempo, una coordinación internacional.