Model Card for NuminaMath 7B TIR

NuminaMath est une série de modèles linguistiques entraînés pour résoudre des problèmes mathématiques en utilisant un raisonnement intégré à l’outil (TIR). NuminaMath 7B TIR a remporté le premier prix de progrès du , avec un score de 29/50 sur les ensembles de tests publics et privés.

Ce modèle est une version fine-tunée de avec deux étapes de fine-tuning supervisé :

• Étape 1 : affiner le modèle de base sur un grand ensemble de données diversifié de problèmes et solutions mathématiques en langage naturel, où chaque solution est modélisée avec Chain of Thought (CoT) pour faciliter le raisonnement.

• Étape 2 : affiner le modèle de l’Étape 1 sur un ensemble de données synthétique de raisonnement intégré à l’outil, où chaque problème mathématique est décomposé en une séquence de justifications, de programmes Python et de leurs sorties. Ici, nous avons suivi et incité GPT-4 à produire des solutions au format ToRA avec des retours d’exécution de code. Le fine-tuning sur ces données produit un agent de raisonnement capable de résoudre des problèmes mathématiques via un mélange de raisonnement en langage naturel et de l’utilisation du REPL Python pour calculer des résultats intermédiaires.

Description du modèle

• Type de modèle : Un LLM mathématique à 7B de paramètres fine-tuné en deux étapes de fine-tuning supervisé, d’abord sur un ensemble de données avec des paires problème-solution mathématiques, puis sur un ensemble de données synthétique avec des exemples de générations multi-étapes utilisant un raisonnement intégré à l’outil.

• Langue(s) (NLP) : Principalement l’anglais

• Licence : Apache 2.0

• Fine-tuning à partir du modèle :

Sources du modèle

• Dépôt : Bientôt disponible !

• Démo :

Utilisations prévues et limitations

Voici comment vous pouvez exécuter le modèle en utilisant la fonction de 🤗 Transformers :

Le ci-dessus exécute une étape unique de code Python - pour des problèmes plus complexes, vous voudrez exécuter la logique pour plusieurs étapes pour obtenir la solution finale.

Biais, Risques et Limitations

NuminaMath 7B TIR a été créé pour résoudre des problèmes dans le domaine étroit des mathématiques de niveau de compétition. Par conséquent, le modèle ne doit pas être utilisé pour des applications de chat général. Avec un décodage glouton, nous constatons que le modèle est capable de résoudre des problèmes au niveau de , mais a souvent du mal à générer une solution valide sur des problèmes plus difficiles au niveau AIME et Math Olympiad. Le modèle a également du mal à résoudre des problèmes de géométrie, probablement en raison de sa capacité limitée et du manque d’autres modalités comme la vision.

Procédure de formation

Hyperparamètres d’entraînement

Les hyperparamètres suivants ont été utilisés lors de l’entraînement :

• learning_rate : 2e-05
• train_batch_size : 4
• eval_batch_size : 8
• seed : 42
• distributed_type : multi-GPU
• num_devices : 8
• total_train_batch_size : 32
• total_eval_batch_size : 64
• optimizer : Adam avec betas=(0.9,0.999) et epsilon=1e-08
• lr_scheduler_type : cosine
• lr_scheduler_warmup_ratio : 0.1
• num_epochs : 4.0

Versions des frameworks

• Transformers 4.40.1
• Pytorch 2.3.1
• Datasets 2.18.0
• Tokenizers 0.19.1

Citation

Si vous trouvez NuminaMath 7B TIR utile dans votre travail, veuillez le citer avec :

Source de l’article