Fugu-MT 論文翻訳(概要): MiMo-V2-Flash Technical Report

論文の概要: MiMo-V2-Flash Technical Report

arxiv url: http://arxiv.org/abs/2601.02780v1
Date: Tue, 06 Jan 2026 07:31:47 GMT
ステータス: 翻訳完了
システム内更新日: 2026-01-07 17:02:12.847265
Title: MiMo-V2-Flash Technical Report
Title（参考訳）: MiMo-V2-Flash技術報告
Abstract要約: 我々は309Bの総パラメータと15Bのアクティブパラメータを持つMixture-of-Experts(MoE)モデルであるMiMo-V2-Flashを提案する。 MiMo-V2-Flashは、スライディングウインドウ・アテンション(SWA)をインターリーブするハイブリッドアテンションアーキテクチャを採用している。このモデルは、Multi-Token Prediction (MTP)で27兆トークンで事前トレーニングされ、ネイティブ32kコンテキスト長を使用し、256kまで拡張された。
参考スコア（独自算出の注目度）: 101.35892351783706
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We present MiMo-V2-Flash, a Mixture-of-Experts (MoE) model with 309B total parameters and 15B active parameters, designed for fast, strong reasoning and agentic capabilities. MiMo-V2-Flash adopts a hybrid attention architecture that interleaves Sliding Window Attention (SWA) with global attention, with a 128-token sliding window under a 5:1 hybrid ratio. The model is pre-trained on 27 trillion tokens with Multi-Token Prediction (MTP), employing a native 32k context length and subsequently extended to 256k. To efficiently scale post-training compute, MiMo-V2-Flash introduces a novel Multi-Teacher On-Policy Distillation (MOPD) paradigm. In this framework, domain-specialized teachers (e.g., trained via large-scale reinforcement learning) provide dense and token-level reward, enabling the student model to perfectly master teacher expertise. MiMo-V2-Flash rivals top-tier open-weight models such as DeepSeek-V3.2 and Kimi-K2, despite using only 1/2 and 1/3 of their total parameters, respectively. During inference, by repurposing MTP as a draft model for speculative decoding, MiMo-V2-Flash achieves up to 3.6 acceptance length and 2.6x decoding speedup with three MTP layers. We open-source both the model weights and the three-layer MTP weights to foster open research and community collaboration.
Abstract（参考訳）: 我々は,309Bの総パラメータと15Bのアクティブパラメータを持つMixture-of-Experts(MoE)モデルであるMiMo-V2-Flashを提案する。 MiMo-V2-Flashは、スライディングウインドウ・アテンション(SWA)をインターリーブするハイブリッドアテンションアーキテクチャを採用しており、128トンのスライディングウインドウを5:1のハイブリッド比で採用している。このモデルは、Multi-Token Prediction (MTP)で27兆トークンで事前トレーニングされ、ネイティブ32kコンテキスト長を使用し、256kまで拡張された。 MiMo-V2-Flashは、トレーニング後の計算を効率的にスケールするために、新しいMOPD(Multi-Teacher On-Policy Distillation)パラダイムを導入している。このフレームワークでは、ドメイン特化教師(例えば、大規模強化学習を通じて訓練される)は、密集したトークンレベルの報酬を提供し、学生モデルが教師の専門知識を完全に習得することを可能にする。 MiMo-V2-FlashはDeepSeek-V3.2やKim-K2といった最上位のオープンウェイトモデルと競合するが、合計パラメータの1/2と1/3しか使用していない。推論中、MTPを投機的復号化のためのドラフトモデルとして再利用することで、MiMo-V2-Flashは最大3.6の受け入れ長と2.6倍の復号スピードアップを達成する。オープンリサーチとコミュニティコラボレーションを促進するために,モデルウェイトと3層MPPウェイトの両方をオープンソースにしています。

関連論文リスト

Instella-MoE Technical Report [22.767094992305257]
Instella-MoEはMixture-of-Experts(MoE)言語モデルで、16億の総パラメータと280億のアクティブパラメータを持つ。 Instella-MoEはAMD Instinct MI300XとMI325Xのグラフィックカードで完全にスクラッチから訓練されている。
論文参考訳（メタデータ） (2026-09-01T06:38:17Z)
DeaMoE: Efficient MoE Structure for Fast Small-Batch Decoding [6.518553233393689]
DeaMoEはデコード効率のよいMoEアーキテクチャで、専門家を複数の部門に分けて構成する。バニラのMoEと比較して、DeaMoEはステップごとのロード重量を最大50.9%削減し、最大1.33のエンドツーエンドTPOTスピードアップを達成する。
論文参考訳（メタデータ） (2026-08-14T15:25:32Z)
Nemotron 3 Super: Open, Efficient Mixture-of-Experts Hybrid Mamba-Transformer Model for Agentic Reasoning [262.0414794728708]
ネモトロン3スーパーの事前学習、後学習、量子化について述べる。 Nemotron 3 Superは1200億(アクティブ120億)のパラメータハイブリッドMamba-Attention Mixture-of-Expertsモデルである。
論文参考訳（メタデータ） (2026-04-14T07:02:32Z)
LFM2 Technical Report [87.58431408281973]
LFM2は、デバイス上での効率的なデプロイと強力なタスク機能を実現するために設計された、Liquid Foundation Modelsのファミリーである。 LFM2ファミリーは350M-8.3Bパラメータをカバーしており、密度の高いモデル(350M, 700M, 1.2B, 2.6B)と試験用混合物(合計8.3B, 1.5B)を含んでいる。視覚遅延タスクのためのLFM2-VL,音声のためのLFM2-Audio,検索のためのLFM2-ColBERTを構築した。
論文参考訳（メタデータ） (2025-11-28T17:56:35Z)
HierMoE: Accelerating MoE Training with Hierarchical Token Deduplication and Expert Swap [17.1806530983927]
大規模言語モデル(LLM)のトレーニングを2つのトポロジ対応技術で高速化するためにHierMoEを導入する。プロトタイプのHierMoEは、1.55times$から3.32times$高速通信を実現し、1.18times$から1.27times$高速エンドツーエンドトレーニングを実現しています。
論文参考訳（メタデータ） (2025-08-13T08:16:31Z)
SlimMoE: Structured Compression of Large MoE Models via Expert Slimming and Distillation [82.53411922988039]
SlimMoEは、大規模なMoEモデルをより小さく効率的な変種に変換するための多段階圧縮フレームワークである。このフレームワークを用いて、Phi 3.5-MoE (41.9Bトータル/6.6Bアクティベートパラメータ)を圧縮し、Phi-mini-MoE (7.6Bトータル/2.4Bアクティベートパラメータ)とPhi-tiny-MoE (3.8Bトータル/1.1Bアクティベートパラメータ)を生成する。実験により、圧縮されたモデルが他のモデルと同等の大きさのモデルよりも優れ、より大きなモデルと競合し続けていることが示された。
論文参考訳（メタデータ） (2025-06-23T07:15:59Z)
2 OLMo 2 Furious [154.15728448754854]
我々は、私たちの完全にオープンな言語の次世代モデルであるOLMo 2を紹介します。 OLMo 2は、7B、13B、32Bスケールの高密度な自己回帰言語モデルを含む。修正されたモデルアーキテクチャとトレーニングレシピについて説明する。
論文参考訳（メタデータ） (2024-12-31T21:55:10Z)
MobileMamba: Lightweight Multi-Receptive Visual Mamba Network [51.33486891724516]
従来の軽量モデルの研究は、主にCNNとTransformerベースの設計に重点を置いてきた。効率と性能のバランスをとるMobileMambaフレームワークを提案する。 MobileMambaはTop-1で83.6%を達成し、既存の最先端の手法を上回っている。
論文参考訳（メタデータ） (2024-11-24T18:01:05Z)
Mixture-of-Modules: Reinventing Transformers as Dynamic Assemblies of Modules [96.21649779507831]
そこで我々は,Mix-of-modules (MoM) と呼ばれる新しいアーキテクチャを提案する。 MoMは、任意の層がその位置に関係なくトークンを計算することができるという直感によって動機付けられている。 MoMはトランスフォーマーのための統一されたフレームワークを提供するだけでなく、冗長性を減らすための柔軟で学習可能なアプローチを提供する。
論文参考訳（メタデータ） (2024-07-09T08:50:18Z)
MoESys: A Distributed and Efficient Mixture-of-Experts Training and Inference System for Internet Services [32.278096820269816]
大規模トレーニングと推論の両方において効率を高める新しいMoESysを提案する。具体的には、トレーニング手順において、提案されたMoESysは、階層ストレージ上の2Dプリフェッチとフュージョン通信を備えたElastic MoEトレーニング戦略を採用する。単一ノードでのスケーラブルな推論のために、MoESysはCPU-GPUメモリを、モデルをロードするセクションのリングに共同で構築し、効率的な推論のためにラウンドロビン方式でメモリセクション全体で計算タスクを実行する。
論文参考訳（メタデータ） (2022-05-20T09:09:27Z)
Beyond Distillation: Task-level Mixture-of-Experts for Efficient Inference [17.97893143555333]
Sparse Mixture-of-Experts (MoE) は、トレーニング計算の比例的な増加を伴わずに、多言語翻訳モデルを数十億のパラメータに拡張する手法として成功している。本研究では, 蒸留をバイパスするためのMoEモデルにおいて, 異なる粒度(トークン, 文, タスク)でのルーティング戦略について検討する。 WMTとWebスケールのデータセットの実験から、タスクレベルのルーティング(task-MoE)によって、大規模なスパースモデルからより小さく、準備の整ったサブネットワークを抽出できることが示唆された。
論文参考訳（メタデータ） (2021-09-24T20:42:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。