論文の概要: Think Twice: The Metis-1.6 Technical Report
- arxiv url: http://arxiv.org/abs/2610.37903v1
- Date: Tue, 27 Oct 2026 19:44:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-31 05:25:12.323221
- Title: Think Twice: The Metis-1.6 Technical Report
- Title（参考訳）: Think Twice: Metis-1.6テクニカルレポート
- Abstract要約: Metis-1.6は1人の研究者によってスクラッチから作られた2つの言語モデルである。
ログの平均は52.93であり、比較セットでは17モデル中7モデルであり、Qwen3-4Bの範囲内である。
数学では30モデル中2位、AIME 2025では67.50%、HMMT 2026では63.64%である。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Metis is a bet that better data, better training methods and new architectures can buy what a bigger parameter count cannot, at a fraction of the cost. Metis-1.6 is its latest step: two language models built from scratch by a single researcher, Praxis (2.94B parameters, 0.46B active per pass) and Logos (10.23B parameters, 1.18B active per pass). Both run a hybrid Mamba-2 and attention mixture-of-experts stack twice for every token, so each token gets a second look. Each was trained on 1.02T tokens in total: 804.76B of pretraining, 18B of context extension to 131,072 tokens, and 200B of supervised fine-tuning. Metis-1.6 was never meant to challenge frontier models, and across 40 post-trained benchmarks it mostly does not: Logos averages 52.93, seventh of 17 models in its comparison set and within a point of Qwen3-4B. But it gets there on roughly a twelfth of the median training data of the comparators that disclose it, and with fewer active parameters per token than any model that beats it, which puts it on the Pareto frontier for both. In mathematics it ranks second of 30 models, with 67.50% on AIME 2025 and 63.64% on HMMT February 2026. It is weak at code, instruction following and long context. The rest of the report is the part I found most valuable: what went wrong. The optimizer I configured never ran, and attention trained with AdamW for all of pretraining. A 1.77B-parameter n-gram memory learned to switch itself off. Five fine-tuning choices cost capability. And a length reward under group-mean normalization punished correct solutions for being long once a group's pass rate passed 2/3, a sign inversion I prove and fix with a one-line clamp. I close with the 10B-token ablations behind MoRE (Mixture of Recursive Experts), the looped architecture of Metis-1.7.
- Abstract（参考訳）: Metisは、より良いデータ、より良いトレーニング方法、そして新しいアーキテクチャが、より大きなパラメータ数でできないものを、ほんの少しのコストで購入できるという賭けである。
Metis-1.6は、単一の研究者によってスクラッチから構築された2つの言語モデル、Prax(2.94Bパラメータ、1パス当たり0.46Bアクティブ)とLogos(10.23Bパラメータ、1パス当たり1.18Bアクティブ)である。
どちらもハイブリッドのMamba-2とアテンション・オブ・エキスパートのスタックをトークン毎に2回実行します。
それぞれが1.02Tトークンでトレーニングされ、事前トレーニングの804.76B、コンテキスト拡張の18B、131,072トークン、教師付き微調整の200Bである。
Metis-1.6はフロンティアモデルに挑戦する意図はなく、40のポストトレーニングされたベンチマークではそうはならなかった: ログの平均は52.93であり、比較セットでは17モデル中7モデルであり、Qwen3-4Bの範囲内である。
しかし、それを開示するコンパレータのトレーニングデータの約12分の1に到達し、トークン当たりのアクティブパラメータは、それを上回るどのモデルよりも少ないため、どちらもParetoフロンティアにある。
数学では30モデル中2位、AIME 2025では67.50%、HMMT 2026では63.64%である。
コード、命令従順、長いコンテキストでは弱い。
レポートの残りの部分は、私が最も価値があると感じた部分です。
私が設定したオプティマイザは実行されず、事前トレーニングはすべてAdamWでトレーニングされました。
1.77Bパラメータのn-gramメモリは、自分自身をオフにすることを学習した。
微調整の選択肢は5つ。
また,群平均正規化による長さ報酬は,群通過率が2/3を超えると長い解を罰した。
I close with 10B-token ablations behind MoRE (Mixture of Recursive Experts), the looped architecture of Metis-1.7。
関連論文リスト
- Priming Base Models for Agentic Post-Training: An Open Midtraining Recipe [51.99132479434351]
エージェント・ポストトレーニングのための基本モデルを素数化するオープン・ミッドトレーニング・レシピを提案する。
異なる大きさの2つのネモトロンモデルに対して、その効果を示す。
論文 参考訳（メタデータ） (2026-10-15T14:58:21Z) - Breaking the Token Ceiling: Distilling Smaller, Stronger Byte Models [67.72077328700088]
本稿では,2次元の異なるデコーダのみの高密度変圧器モデルについて検討した。
Token-1B モデルは低FLOP 方式ではバイトモデル (End-Of-Token-1B と Bytes-1B) より優れていたが、最終的には高原となる。
100Kトークンの順序ではなく256バイトの小さな語彙で操作することで、ログダンピング時にトップクランケーションの必要性を回避することができる。
論文 参考訳（メタデータ） (2026-09-11T00:17:22Z) - Manacá-1B: An Open, Reproducible Brazilian-Portuguese Language Model and a Tokenizer-Aware, Paired Evaluation [0.0]
Manac-1Bはブラジルのポルトガル語でトレーニングされた12億のパラメータからなるオープンデコーダのみのモデルです。
1つのハーネスでポルトガルの4つのベンチマークで9つのオープンベースラインに対してモデルを評価した。
論文 参考訳（メタデータ） (2026-08-31T01:00:14Z) - Daedalus-150M: A Convolution-Attention Hybrid Designed for CPU Inference [0.0]
小さな言語モデルは通常、大きなもののように構築され、その後CPUに圧縮される。
ターゲットを最初に修正し、ユーザを1人、トークンを1度に1人、重みを4ビット、通常のCPUで、それに合うようにアーキテクチャを選択しました。
このモデルはトレーニング開始前に修正された42.20のバーに対して5タスクのベンチマークで47.31得点した。
GPT-2 124M、Pythia-160M、OPT-125M、GPT-neo-125Mの3倍から6倍のデータで訓練され、MobileLLM-125Mを超える。
論文 参考訳（メタデータ） (2026-08-20T16:09:43Z) - L20-Edu-135M: An Auditable Single-GPU Study of Data-Efficient Small Language Modeling [6.901585308625979]
小型の言語モデルは安価で、ローカルハードウェアで利用できる。
強いパブリックな135Mクラスのシステムは、数十億から数兆のトークンで訓練されている。
論文 参考訳（メタデータ） (2026-06-20T18:42:37Z) - Mellum2 Technical Report [1.1239988514721222]
Mellum 2は、ソフトウェア工学に特化した汎用言語モデルである。
完成中心の4B高密度メルロンモデルの後継である。
Mellum 2 は 4B-14B の範囲でオープンウェイトベースラインと競合し、2.5B の高密度モデルのトーケン毎の計算で実行される。
論文 参考訳（メタデータ） (2026-05-29T13:01:11Z) - ZAYA1-8B Technical Report [14.894881882111605]
700Mのアクティブパラメータと8Bの合計パラメータを混合したMoEモデルであるZAYA1-8Bを提案する。
ZAYA1-8BはDeepSeek-R1-0528といくつかの挑戦的な数学とコーディングのベンチマークで一致または超える。
ポストトレーニングでは、数学とパズルのウォームアップを推論する4段階のRLカスケード、400タスクのRLVE-Gymカリキュラム、テストタイムの計算トレースと合成コード環境を備えた数学とコードRLを使用する。
論文 参考訳（メタデータ） (2026-05-06T18:44:08Z) - MiMo: Unlocking the Reasoning Potential of Language Model -- From Pretraining to Posttraining [60.02032710118597]
提案するMiMo-7Bは,学習前の段階と学習後の段階にまたがって最適化された,推論タスクのための大規模言語モデルである。
MiMo-7B-Baseは25兆のトークンで事前訓練されており、性能の向上と推論速度の高速化を目標としている。
最後のRLチューニングモデルであるMiMo-7B-RLは、OpenAI o1-miniの性能を上回り、数学、コード、一般的な推論タスクにおいて優れたパフォーマンスを達成する。
論文 参考訳（メタデータ） (2025-05-12T14:30:11Z) - Language models scale reliably with over-training and on downstream tasks [121.69867718185125]
スケーリング法則は、高価なトレーニング実行を引き出すための有用なガイドである。
しかし、現在の研究と言語モデルがどのように訓練されているかには差がある。
対照的に、スケーリング法則は主に推論における損失を予測するが、モデルは通常下流のタスクのパフォーマンスで比較される。
論文 参考訳（メタデータ） (2024-03-13T13:54:00Z) - Mixtral of Experts [57.411379935325435]
Mixtral 8x7Bはスパース・ミックス・オブ・エキスパートズ(SMOE)言語モデルである。
Mixtralは数学、コード生成、多言語ベンチマークでLlama 270Bをはるかに上回っている。
また、GPT-3.5 Turbo、Claude-2.1、Gemini Pro、Llama 2 70Bを超越したMixtral 8x7B - Instructという命令に従うように微調整されたモデルも提供する。
論文 参考訳（メタデータ） (2024-01-08T18:47:34Z) - Unifying Language Learning Paradigms [96.35981503087567]
データセットやセットアップ全体にわたって普遍的に有効である事前学習モデルのための統一的なフレームワークを提案する。
本研究では, 事前学習対象を相互に配置し, 異なる対象間の補間を効果的に行う方法を示す。
また,テキスト内学習において,ゼロショットSuperGLUEで175B GPT-3,ワンショット要約でT5-XXLの性能を3倍に向上させた。
論文 参考訳（メタデータ） (2022-05-10T19:32:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。