論文の概要: Ministral 3

• arxiv url: http://arxiv.org/abs/2601.08584v1
• Date: Tue, 13 Jan 2026 14:06:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-14 18:27:19.228789
• Title: Ministral 3
• Title（参考訳）: ミニストラル3
• Authors: Alexander H. Liu, Kartik Khandelwal, Sandeep Subramanian, Victor Jouault, Abhinav Rastogi, Adrien Sadé, Alan Jeffares, Albert Jiang, Alexandre Cahill, Alexandre Gavaudan, Alexandre Sablayrolles, Amélie Héliou, Amos You, Andy Ehrenberg, Andy Lo, Anton Eliseev, Antonia Calvi, Avinash Sooriyarachchi, Baptiste Bout, Baptiste Rozière, Baudouin De Monicault, Clémence Lanfranchi, Corentin Barreau, Cyprien Courtot, Daniele Grattarola, Darius Dabert, Diego de las Casas, Elliot Chane-Sane, Faruk Ahmed, Gabrielle Berrada, Gaëtan Ecrepont, Gauthier Guinet, Georgii Novikov, Guillaume Kunsch, Guillaume Lample, Guillaume Martin, Gunshi Gupta, Jan Ludziejewski, Jason Rute, Joachim Studnia, Jonas Amar, Joséphine Delas, Josselin Somerville Roberts, Karmesh Yadav, Khyathi Chandu, Kush Jain, Laurence Aitchison, Laurent Fainsin, Léonard Blier, Lingxiao Zhao, Louis Martin, Lucile Saulnier, Luyu Gao, Maarten Buyl, Margaret Jennings, Marie Pellat, Mark Prins, Mathieu Poirée, Mathilde Guillaumin, Matthieu Dinot, Matthieu Futeral, Maxime Darrin, Maximilian Augustin, Mia Chiquier, Michel Schimpf, Nathan Grinsztajn, Neha Gupta, Nikhil Raghuraman, Olivier Bousquet, Olivier Duchenne, Patricia Wang, Patrick von Platen, Paul Jacob, Paul Wambergue, Paula Kurylowicz, Pavankumar Reddy Muddireddy, Philomène Chagniot, Pierre Stock, Pravesh Agrawal, Quentin Torroba, Romain Sauvestre, Roman Soletskyi, Rupert Menneer, Sagar Vaze, Samuel Barry, Sanchit Gandhi, Siddhant Waghjale, Siddharth Gandhi, Soham Ghosh, Srijan Mishra, Sumukh Aithal, Szymon Antoniak, Teven Le Scao, Théo Cachet, Theo Simon Sorg, Thibaut Lavril, Thiziri Nait Saada, Thomas Chabal, Thomas Foubert, Thomas Robert, Thomas Wang, Tim Lawson, Tom Bewley, Tom Bewley, Tom Edwards, Umar Jamil, Umberto Tomasini, Valeriia Nemychnikova, Van Phung, Vincent Maladière, Virgile Richard, Wassim Bouaziz, Wen-Ding Li, William Marshall, Xinghui Li, Xinyu Yang, Yassine El Ouahidi, Yihan Wang, Yunhao Tang, Zaccharie Ramzi,
• Abstract要約: Ministral 3は、計算およびメモリ制約のあるアプリケーションのためのパラメータ効率の高い高密度言語モデルのファミリーである。 汎用目的のための事前訓練されたベースモデル、微調整された命令モデル、複雑な問題解決のための推論モデルである。 各モデルはイメージ理解機能を備えており、すべてApache 2.0ライセンスで提供されている。
• 参考スコア（独自算出の注目度）: 159.00690794690678
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce the Ministral 3 series, a family of parameter-efficient dense language models designed for compute and memory constrained applications, available in three model sizes: 3B, 8B, and 14B parameters. For each model size, we release three variants: a pretrained base model for general-purpose use, an instruction finetuned, and a reasoning model for complex problem-solving. In addition, we present our recipe to derive the Ministral 3 models through Cascade Distillation, an iterative pruning and continued training with distillation technique. Each model comes with image understanding capabilities, all under the Apache 2.0 license.
• Abstract（参考訳）: 計算・メモリ制約型アプリケーション用に設計されたパラメータ効率の高い高密度言語モデルであるMinistral 3 シリーズを,3B,8B,14B の3つのモデルサイズで導入する。 各モデルサイズに対して、汎用目的のための事前訓練ベースモデル、微調整命令、複雑な問題解決のための推論モデルという3つのバリエーションをリリースする。 さらに, キャッケード蒸留によるミニストラール3モデルの導出法について述べる。 各モデルはイメージ理解機能を備えており、すべてApache 2.0ライセンスで提供されている。

関連論文リスト

• GPTailor: Large Language Model Pruning Through Layer Cutting and Stitching [41.96482857947199]
  大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。 LLMは通常、相当なモデルサイズを持ち、デプロイメントと推論において大きな課題をもたらします。 そこで我々は, モデルモデルから層を戦略的に組み合わせたり, マージしたりすることで, モデルを圧縮するための新しい戦略を開発した。
  論文  参考訳（メタデータ） (2025-06-25T14:24:59Z)
• Efficient Construction of Model Family through Progressive Training Using Model Expansion [35.743595710122506]
  本稿では,進行学習によるモデルファミリの効率的な構築法を提案する。 本手法は,独立に訓練されたモデルに匹敵する性能を維持しつつ,計算コストを約25%削減する。
  論文  参考訳（メタデータ） (2025-04-01T10:21:52Z)
• The Llama 3 Herd of Models [356.6353861669039]
  本稿ではLlama 3と呼ばれる新しい基礎モデルについて述べる。 Llama 3は、多言語性、コーディング、推論、ツール使用をサポートする言語モデルの群れである。 Llama 3は、GPT-4のような主要な言語モデルに匹敵する品質を多くのタスクで提供しています。
  論文  参考訳（メタデータ） (2024-07-31T17:54:27Z)
• Compact Language Models via Pruning and Knowledge Distillation [61.56557874432008]
  ミニトロンモデルでは、スクラッチからのトレーニングに比べてMMLUスコアが最大16%改善している。 すでにトレーニング済みの15Bモデルから8Bと4Bモデルを抽出するには、スクラッチからトレーニングするよりも、モデル毎のトレーニングトークンを最大40倍少なくする必要があります。
  論文  参考訳（メタデータ） (2024-07-19T21:47:57Z)
• Composing Ensembles of Pre-trained Models via Iterative Consensus [95.10641301155232]
  本稿では,異なる事前学習モデルのアンサンブルを構成するための統一的なフレームワークを提案する。 事前学習したモデルを「ジェネレータ」あるいは「スコーラ」として使用し、クローズドループ反復コンセンサス最適化により構成する。 スコアラーのアンサンブルによって達成されたコンセンサスは、シングルスコアラーのフィードバックよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-10-20T18:46:31Z)
• Deformation-Aware 3D Model Embedding and Retrieval [37.538109895618156]
  与えられたクエリ形状に変形可能な3Dモデルを取得するという新しい問題を導入する。 位置依存型自我中心距離場を利用して非対称な関係を学習する新しいディープ埋め込み手法を提案する。
  論文  参考訳（メタデータ） (2020-04-02T19:10:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。