— A fondo · Modelos
Un laboratorio entrena modelos de lenguaje sin retropropagación y sale bien
Q Labs publica Dust, un método que entrena modelos de lenguaje sin la clásica retropropagación, el cálculo hacia atrás con el que aprende casi toda la IA actual. En su lugar añade ruido a las señales internas de la red y premia las que bajan el error. Dicen que es el primer método de este tipo que compite con la retropropagación al preentrenar modelos de lenguaje, y que cuanto más grande es el modelo, mejor le sienta el truco. El código y el artículo son abiertos.
