論文の概要: Mellum2 Technical Report
- arxiv url: http://arxiv.org/abs/2605.31268v1
- Date: Fri, 29 May 2026 13:01:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-01 20:56:50.620855
- Title: Mellum2 Technical Report
- Title（参考訳）: Mellum2テクニカルレポート
- Abstract要約: Mellum 2は、ソフトウェア工学に特化した汎用言語モデルである。
完成中心の4B高密度メルロンモデルの後継である。
Mellum 2 は 4B-14B の範囲でオープンウェイトベースラインと競合し、2.5B の高密度モデルのトーケン毎の計算で実行される。
- 参考スコア（独自算出の注目度）: 1.1239988514721222
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present Mellum 2, an open-weight 12B-parameter Mixture-of-Experts (MoE) language model with 2.5B active parameters per token. Mellum 2 is a general-purpose language model specialized in software engineering, spanning code generation and editing, debugging, multi-step reasoning, tool use and function calling, agentic coding, and conversational programming assistance, and it is the successor to the completion-focused 4B dense Mellum model. The architecture builds on the Mixture-of-Experts (64 experts, 8 active) and combines Grouped-Query Attention with 4 KV heads, Sliding Window Attention on three of every four layers, and a single Multi-Token Prediction head that doubles as both an auxiliary pre-training objective and a built-in draft model for speculative decoding; each choice was validated by ablation with inference efficiency on commodity GPUs as a design constraint. Pre-training spans approximately 10.6 trillion tokens through a three-phase curriculum that progressively shifts the mixture from diverse web data toward curated code and mathematical content, optimized with Muon under FP8 hybrid precision and a Warmup-Hold-Decay schedule with linear decay to zero. The pre-trained base is extended to a 128K context window via a layer-selective YaRN and then post-trained in two stages (supervised fine-tuning followed by RLVR), yielding two released variants: an Instruct model that answers directly and a Thinking model that emits an explicit reasoning trace before its final answer. Across code generation, math and reasoning, tool use, knowledge, and safety benchmarks, Mellum 2 is competitive with open-weight baselines in the 4B-14B range while running at the per-token compute of a 2.5B dense model. We release the base, instruct, and thinking checkpoints, together with this report on the architecture decisions, data pipeline, and training recipe behind them, under the Apache 2.0 license.
- Abstract（参考訳）: トークンあたり2.5Bのアクティブパラメータを持つオープンウェイト12Bパラメータ混合(MoE)言語モデルであるMelum 2を提案する。
Mellum 2は、ソフトウェアエンジニアリングに特化した汎用言語モデルであり、コード生成と編集、デバッグ、多段階推論、ツール使用と関数呼び出し、エージェントコーディング、および会話型プログラミングアシストにまたがる。
アーキテクチャはMixture-of-Experts(64人のエキスパート、8人のアクティブ)に基づいて構築され、Grouped-Query Attentionと4つのKVヘッド、Sliding Window Attentionを4つのレイヤのうち3つのレイヤに配置する。
事前トレーニングは、様々なWebデータからキュレートされたコードと数学的内容へと段階的に移行する3段階のカリキュラムを通じて約10.6兆のトークンにまたがっており、FP8ハイブリッド精度でMuonで最適化され、線形減衰をゼロにするウォームアップ・ホールド・デカイスケジュールで最適化されている。
事前トレーニングされたベースは、層選択YaRNを介して128Kコンテキストウィンドウに拡張され、2つのステージ(教師付き微調整とRLVRが続く)で後トレーニングされ、直接答えるインストラクションモデルと、最終回答の前に明確な推論トレースを出力するシンキングモデルという2つのバージョンが生成される。
コード生成、数学と推論、ツールの使用、知識、安全性ベンチマークなど、Melum 2は4B-14Bの範囲でオープンウェイトなベースラインと競合し、2.5Bの高密度モデルのトーケン計算で実行される。
ベース、インストラクション、思考チェックポイントを、Apache 2.0ライセンスの下で、アーキテクチャ決定、データパイプライン、トレーニングレシピに関するレポートとともにリリースしています。
関連論文リスト
- ZGCM-1: A Fully Open and Extremely Efficient Foundation Model for Math and Agentic Search [54.43696074323815]
ZGCM-1は、極端なデータ、システム、アルゴリズムの効率でゼロから訓練された、完全にオープンな7Bファンデーションモデルである。
エージェントがクラスタ操作を自律的に管理する、AIネイティブなR&Dワークフローを確立します。
ZGCM-1-7Bは一般的なベンチマークで7Bモデルファミリ間で競合する。
論文 参考訳（メタデータ） (2026-09-11T17:18:04Z) - Verification-Aware Training for Speculative Decoding [57.84976863792784]
VAT(Verification-Aware Training)は、トレーニングステップ毎に検証をシミュレートし、その結果の受け入れパターンと拒否パターンを監督するプラグインフレームワークである。
VATはトレーニング対象のみを変更するため、ドラフトアーキテクチャやターゲットモデル、推論手順を変更することなく、既存のメソッドの上にレイヤー化することができる。
VATは平均受理期間を最大11.4%改善し、ウォールクロックのスピードアップを最大8.7%向上させ、数学、コード、チャットベンチマークで一貫した利益を得ている。
論文 参考訳（メタデータ） (2026-08-31T01:42:10Z) - Joint Optimization of Tool Creation and Use for Large Language Model Agents [69.07066297088187]
SMITH (-grounded Multi-task Iterative Tool Honing) は、単一のポリシー内でツールの作成とツールの使用を訓練する。
SMITHで訓練された4B Qwen3は、正確に検証された13の手続き的推論タスクで、保持されたタスクで平均79.8のマクロ平均精度に達する。
また、TabMWP-Hardでは40.4、ドメイン外のGQAでは42.6に到達している。
論文 参考訳（メタデータ） (2026-08-25T13:59:34Z) - Motif 3: Technical Report [26.937626894426916]
トークン毎に合計314億のパラメータと132億のアクティベートを持つデコーダのみのMixture-of-Experts言語モデルを導入する。
MoEレイヤには384のルーティング専門家が含まれており、トークン毎に8つの選択がある。
我々は、Webドキュメント、STEM、コード、数学、多言語コンテンツ、ドメイン特化コーパスにまたがる約12.5兆のトークンでMotif 3を事前訓練する。
論文 参考訳（メタデータ） (2026-08-10T04:53:05Z) - Function-Aware Fill-in-the-Middle as Mid-Training for Coding Agent Foundation Models [49.259951930558]
コーディングエージェントは、継続的な推論に外部ツールリターンを統合する必要がある。
我々は,中等教育における機能意識の充足を通じてこれを活用する。
論文 参考訳（メタデータ） (2026-07-14T07:44:26Z) - Teaching LLMs Program Semantics via Symbolic Execution Traces [0.7046782561282057]
SV-COMP 2025上に構築された500 C 検証タスクの評価フレームワークを提案する。
6家族の14モデルを評価し,総合的精度の高いマスクが致命的な弱点であることを確認した。
わずか$sim$3,000のバグトレースと、推論時の連鎖推論を組み合わせることで、違反検出を17ポイント以上改善する。
論文 参考訳（メタデータ） (2026-05-07T13:01:06Z) - ZAYA1-8B Technical Report [14.894881882111605]
700Mのアクティブパラメータと8Bの合計パラメータを混合したMoEモデルであるZAYA1-8Bを提案する。
ZAYA1-8BはDeepSeek-R1-0528といくつかの挑戦的な数学とコーディングのベンチマークで一致または超える。
ポストトレーニングでは、数学とパズルのウォームアップを推論する4段階のRLカスケード、400タスクのRLVE-Gymカリキュラム、テストタイムの計算トレースと合成コード環境を備えた数学とコードRLを使用する。
論文 参考訳（メタデータ） (2026-05-06T18:44:08Z) - Lifecycle-Aware code generation: Leveraging Software Engineering Phases in LLMs [12.70863561286374]
トレーニング段階と推論段階の両方に中間アーティファクトを組み込んだライフサイクル対応フレームワークを導入する。
実験によると、ライフサイクルレベルの微調整は、微調整の前に同じモデルで最大75%の精度でコードの正しさを向上させる。
オープンソース LLM は、かつて私たちのフレームワークの下で微調整され、コードで事前訓練されたモデルにマッチするか、わずかに優れています。
論文 参考訳（メタデータ） (2025-10-28T02:54:02Z) - David vs. Goliath: A comparative study of different-sized LLMs for code generation in the domain of automotive scenario generation [1.6752458252726459]
大きな言語モデル(LLM)を持つNL-to-Scenic生成は、少ないデータ、限られたメトリクスに悩まされる。
NL2Scenicは146組のNL/Scenicペアを持つオープンデータセットとフレームワークであり、難易度の高い30ケースのテスト分割とサンプルレトリバーを紹介する。
4つのプロプライエタリ(GPT-4o, GPT-5, Claude-Sonnet-4, Gemini-2.5-pro)と9つのオープンソースコードモデル(Qwen2.5Coder 0.5B-32B; CodeLlama 7B/13B/34B)を評価した。
論文 参考訳（メタデータ） (2025-10-15T21:37:02Z) - K2-Think: A Parameter-Efficient Reasoning System [80.62468969966133]
K2-Thinkは32Bパラメータモデルを用いて最先端のパフォーマンスを実現する推論システムである。
本システムでは, 先進的なポストトレーニング技術とテストタイム技術を組み合わせることで, より小型のモデルが最上位で競争できることを示す。
K2-Thinkはk2think.aiで無料で利用可能で、クラス内の最高の推論速度はリクエスト1秒あたり2000トークン以上である。
論文 参考訳（メタデータ） (2025-09-09T11:25:55Z) - Datarus-R1: An Adaptive Multi-Step Reasoning LLM for Automated Data Analysis [0.0]
本稿では,Qwen 2.5-14B-Instructの言語モデルであるDatarus-R1-14Bを提案する。
Datarusは、独立した問合せペアではなく、推論ステップ、コード実行、エラートレース、自己補正、最終的な結論を含む完全な分析トラジェクトリに基づいて訓練されている。
論文 参考訳（メタデータ） (2025-08-18T21:58:18Z) - Pretraining Language Models to Ponder in Continuous Space [50.52734567589996]
単一のトークン生成ステップ内で,前処理を繰り返し呼び出すことによって,この思考プロセスを言語モデルに導入する。
人間のアノテーションを使わずに、自己教師付き学習を通じて、この方法でモデルを学習できることが示される。
論文 参考訳（メタデータ） (2025-05-27T03:47:33Z) - CodeGen2: Lessons for Training LLMs on Programming and Natural Languages [116.74407069443895]
我々はエンコーダとデコーダベースのモデルを単一のプレフィックスLMに統一する。
学習方法は,「フリーランチ」仮説の主張を考察する。
データ配信においては,混合分布と多言語学習がモデル性能に及ぼす影響について検討した。
論文 参考訳（メタデータ） (2023-05-03T17:55:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。