Fugu-MT 論文翻訳(概要): X-MoD: Practical Scaling Laws for Sparse-Depth Routing Beyond Mixture-of-Depths

論文の概要: X-MoD: Practical Scaling Laws for Sparse-Depth Routing Beyond Mixture-of-Depths

arxiv url: http://arxiv.org/abs/2609.34212v1
Date: Mon, 28 Sep 2026 03:18:08 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-03 22:56:53.132887
Title: X-MoD: Practical Scaling Laws for Sparse-Depth Routing Beyond Mixture-of-Depths
Title（参考訳）: X-MoD: 混合深度を超えるスパース深さルーティングの実践的スケーリング法則
Abstract要約: Mixture-of-Depths (MoD)は、トークンのサブセットだけを選択層にルーティングすることで、Transformerの深さを越えた条件計算を可能にする。我々は,トークンの間隔をアンカーストライドから切り離すスケーラブルなスパース深さアーキテクチャであるX-MoDを紹介する。 FLOP整合密度ベースラインに対してX-MoDを適合させることにより,実用的なスケーリング法枠組を構築した。
参考スコア（独自算出の注目度）: 27.180097216006164
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Mixture-of-Depths (MoD) enables conditional computation across Transformer depth by routing only a subset of tokens through selected layers, but its original one-sparse--one-dense alternation tightly couples total capacity to active capacity and limits sparse-depth scaling. We introduce X-MoD, a scalable sparse-depth architecture that decouples token sparsity from anchor stride, allowing total parameter count to grow while keeping active-equivalent capacity nearly fixed. To make deep sparse routing trainable, X-MoD combines dense anchors with variance-scaled layer-wise gating and depth-wise token balancing. To make this regime analyzable and usable, we formulate sparse-depth routing as a conditional architecture-design problem: given compute, context length, and active-equivalent backbone size, how should the routing configuration be chosen? We develop a practical scaling-law framework by fitting X-MoD relative to FLOP-matched dense baselines, yielding an interpretable law that decomposes performance into sparse-capacity gain, sparse-context correction, and anchor-stride interaction. The law predicts validation loss across routing configurations and reveals how context length, model scale, and anchor stride shape sparse-depth performance. We validate the architecture and law through pretraining sweeps, held-out scaling-law prediction, ablations, downstream evaluations, and comparisons with Dense, MoD, and representative MoE baselines.
Abstract（参考訳）: 混合深度(Mixture-of-Depths、MD)は、Transformerの深さをまたいだ条件計算を可能にし、選択された層を通してトークンのサブセットだけをルーティングするが、元の1次元変更は、全容量をアクティブキャパシティに密に結合し、スパース深度スケーリングを制限する。我々は,トークンの間隔をアンカーストライドから切り離すスケーラブルなスパース深さアーキテクチャであるX-MoDを導入する。ディープスパースルーティングをトレーニング可能にするため、X-MoDは高密度アンカーと分散スケールのレイヤーワイドゲーティングとディープワイドトークンバランシングを組み合わせた。この構造を解析可能で使いやすくするために、我々はスパース深度ルーティングを条件付きアーキテクチャ設計問題として定式化する: 与えられた計算、コンテキスト長、アクティブな等価なバックボーンサイズ、ルーティング構成をどのように選ぶべきか? FLOPに整合した高密度ベースラインに対してX-MoDを固定し,性能をスパース・コンテクストの補正,アンカー・ストライドの相互作用に分解する解釈可能な法則を導出した。この法則は、ルーティング構成間のバリデーション損失を予測し、コンテキスト長、モデルスケール、アンカーストライド形状のスパース深度パフォーマンスについて明らかにする。 Dense, MoD, 代表的 MoE ベースラインと比較し, 事前学習, スケーリング法則予測, 改善, 下流評価, およびアーキテクチャと法則を検証した。

関連論文リスト

HERO-MoE: Historical Expert Routing with Scale-Preserving Fusion [51.439927979778965]
歴史的ルーティング先をMoEルータに注入するルーティングフレームワークであるHERO-MoE, Historical Expert ROuting with Scale-Preserving Fusionを提案する。 HERO-MoEはオリジナルのトークン条件のルーティングブランチを保存し、標準ディスパッチの前に残る履歴ルーティングのコントリビューションを追加する。実験の結果、HERO-MoE は最終損失を 1.6393 から 1.6184 に減らし、ピークメモリと FLOP はそれぞれ 0.44% と 0.64% に増加した。
論文参考訳（メタデータ） (2026-09-26T12:55:50Z)
CRISP: Cliff-awaRe Input-adaptive Sparse Prefilling with Structural-Mass-Motivated Routing [90.63350360476294]
本稿ではCRISP(Cliff-awaRe Input-adaptive Sparse Prefilling)を提案する。ルーティング決定は、プロキシアテンションマップの構造から直接読み取ることができることを示す。ソフトマックス後の質量崖を定式化し、厳密な累積被覆閾値が長い文脈でO(n)バックグラウンドノイズを蓄積することを理論的に示す。
論文参考訳（メタデータ） (2026-09-01T22:49:46Z)
EntropyMoE: Entropy-Aware Sparse Expert Routing for Tokenizer-Free LLMs [7.854557330862945]
動的バイトパッチ用に設計されたMixture-of-Experts (MoE)アーキテクチャであるEntropyMoEを紹介する。 MoEはGlobal patch Transformerの高密度フィードフォワードモジュールをTop-K専門家層に置き換える。実験の結果,EntropyMoEは密度と疎度で一致したベースラインの中で,1バイト当たりの保持ビット数が最少であることが確認された。
論文参考訳（メタデータ） (2026-07-31T15:50:08Z)
Adaptive Depth Sparse Framework: Similarity-Driven Resource Allocation for Pre-Trained LLMs [18.457250148137494]
本稿では,既設の大規模言語モデルから深度スパースモデルへの変換を行う適応深度スパースフレームワーク(AdaDSF)を提案する。 GPT-NeoX と Qwen2.5 では、言語モデリングとコモンセンス推論について、AdaDSF は高密度の性能を保ちながら、推論FLOP を大幅に削減する。
論文参考訳（メタデータ） (2026-07-23T13:13:04Z)
Hidden Decoding at Scale: Latent Computation Scaling for Large Language Models [75.80275843320511]
トランスフォーマーのバックボーンを固定したまま、各トークンにより多くの計算を割り当てることで、既存のバックボーンが改善を続けることができるかどうかを検討する。継続事前学習中に適用されたシーケンス長スケーリング手法であるHidden Decodingを提案する。
論文参考訳（メタデータ） (2026-07-09T07:37:59Z)
cMoLLM at Scale: Horizontal Scaling Laws for Mixture-of-LLMs [3.50654760771471]
cMoLLMは、完全に微分可能な動的畳み込みを通じて、エンドツーエンドのストリームをルーティングする、畳み込みでゲートされたLLMの混合である。 FineWebでトレーニングされたGPT-2スタイルのモデルでは、cMoLLMは言語モデリングの難易度と下流GLUEとSQuADの精度を改善している。
論文参考訳（メタデータ） (2026-06-06T13:51:15Z)
Generalization and Scaling Laws for Mixture-of-Experts Transformers [0.0]
我々は,Mixture-of-Experts (MoE) 変換器の一般化とスケーリングの理論を開発する。本手法は, アクティブパラメータの予算で計量エントロピーがスケールする超ノルム被覆数界を導出し, MoE 固有のルーティングオーバヘッドを発生させる。我々は,MoE アーキテクチャの構成的近似定理を証明し,近似構成の下では,アクティブキャパシティのスケーリングや専門家数の増加によって誤差が減少することを示した。
論文参考訳（メタデータ） (2026-04-10T09:59:48Z)
Mixture of Universal Experts: Scaling Virtual Width via Depth-Width Transformation [49.44855760291454]
Mixture-of-Experts (MoE) は、モデルのキャパシティをトーケン毎の計算から切り離す。 MoEの一般化は、新しいスケーリングディメンションであるVirtual Widthを導入している。 MoEは継続的にMoEベースラインに匹敵する性能を1.3%まで上回っている。
論文参考訳（メタデータ） (2026-03-05T09:07:45Z)
PT$^2$-LLM: Post-Training Ternarization for Large Language Models [52.4629647715623]
大きな言語モデル(LLM)は、様々なタスクにまたがる印象的な機能を示しているが、その大きなメモリと計算能力は、デプロイメントを妨げている。 PT$2$-LLMを提案する。その中核は2段精製パイプラインを備えた非対称3次量子化器である。
論文参考訳（メタデータ） (2025-09-27T03:01:48Z)
Sparse Backpropagation for MoE Training [118.31785160874024]
バックプロパゲーションとスパースエキスパートルーティングのギャップを埋めるスケーラブルな勾配推定器であるSparseMixerを紹介する。 SparseMixerは数値的なODEフレームワークを基盤として、2階のODEソルバであるミドルポイント法を利用して正確な勾配近似を行う。事前トレーニングと機械翻訳の両方にSparseMixerをSwitch Transformerに適用すると、SparseMixerのパフォーマンスは大幅に向上する。
論文参考訳（メタデータ） (2023-10-01T22:43:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。