Computer Science > Machine Learning

Titre: Learning to (Learn at Test Time): RNNs with Expressive Hidden States

Résumé: Dans cet article, les auteurs proposent une nouvelle classe de couches de modélisation de séquences avec une complexité linéaire et un état caché expressif, appelées couches d’entraînement en temps réel (TTT). Ces couches, TTT-Linear et TTT-MLP, surpassent les baselines existantes et offrent des perspectives prometteuses pour la recherche future.

light: Apprentissage en temps réel 🧠

Source de l’article