論文の概要: LatentLoop: Scaling Looped MoE Models with Asymmetric Compute Allocation

• arxiv url: http://arxiv.org/abs/2610.19975v1
• Date: Wed, 14 Oct 2026 10:57:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:16.109197
• Title: LatentLoop: Scaling Looped MoE Models with Asymmetric Compute Allocation
• Title（参考訳）: LatentLoop:非対称な計算アロケーションを持つループ型MoEモデルのスケーリング
• Abstract要約: Looped Mixture-of-Experts (MoE)モデルはパラメータ再利用とスパース計算を組み合わせて、一致した予算下でのパフォーマンスを改善する。 パラメータを共有しても、異なるループ訪問が異なる役割を果たせることを示す。 我々は,第1訪問列を圧縮し,第2訪問列に全解像度を保持するtextbfLatentLoopを提案する。
• 参考スコア（独自算出の注目度）: 27.519239655255152
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Looped Mixture-of-Experts (MoE) models combine parameter reuse with sparse computation to improve performance under matched budgets. Prior work demonstrates that different loop visits can play different roles even when they share parameters. To probe the contributions of different loop visits, we learn separate residual coefficients in a model that applies a shared block twice, observing a smaller scale in the first visit. Fixed coefficient experiments show that reducing the first visit's scale preserves or improves performance, whereas the same reductions to the second hurt it. This asymmetry motivates us to explore asymmetric compute allocation. We propose \textbf{LatentLoop}, which compresses the first visit's sequence, retains full resolution in the second, and reallocates saved computation to increase the hidden size. We further learn how strongly the first visit updates the full sequence, and share MoE weights across visits while using separate attention parameters to accommodate their different sequence resolutions. Across 15 configurations spanning 1.3B--7B parameters, with the largest budget exceeding $10^{21}$ FLOPs, LatentLoop consistently lowers validation NLL. At a fitted NLL of 1.988, predicted compute savings are 19.0\% and 7.9\% relative to vanilla MoE and the looped baseline. It also improves average scores on nine benchmarks at all sizes in 0-shot and 5-shot settings. These results suggest asymmetric compute allocation is a promising direction for looped MoE models.
• Abstract（参考訳）: Looped Mixture-of-Experts (MoE)モデルはパラメータ再利用とスパース計算を組み合わせて、一致した予算下でのパフォーマンスを改善する。 以前の研究では、パラメータを共有した場合でも、異なるループ訪問が異なる役割を演じることが示されている。 異なるループ訪問のコントリビューションを探索するために,共有ブロックを2回適用したモデルにおいて,各ループ訪問の残差係数を別々に学習し,最初の訪問でより小さなスケールを観察する。 固定係数実験により、第1訪問スケールの縮小は性能を保ち、改善する一方、第2訪問スケールの縮小は第2訪問スケールの低下を損なうことが示された。 この非対称性は、非対称な計算割り当てを探求する動機となる。 本稿では,第1訪問列を圧縮し,第2訪問列の完全解像度を保ち,保存した計算を再配置することで,隠れたサイズを増大させる方法を提案する。 さらに、最初のビジターがフルシーケンスをどれだけ強く更新するかを学び、異なるアテンションパラメータを使用して各ビジター間でMoE重みを共有する。 1.3B--7Bパラメータにまたがる15の構成で、最大の予算は10^{21}$ FLOPsを超え、LatentLoopは一貫して検証NLLを下げる。 装着されたNLL 1.988では、予測計算の節約率は19.0\%と7.9\%であり、バニラMoEとループベースラインとの比である。 また、0ショットと5ショットの設定で、すべてのサイズで9つのベンチマークの平均スコアを改善する。 これらの結果は、非対称な計算割り当てがループ型MoEモデルにとって有望な方向であることを示唆している。

関連論文リスト

• Scaling Laws for Looped Mixture of Experts [30.777075170729983]
  ループトランスとMixture-of-Experts (MoE)は、効率的なスケーリングのための補完ルートを提供する。 ループスケーリング法則(Loop Scaling Laws)は、モデルのサイズとデータとともに、繰り返しとスパーシを共同でモデル化する最初のスケーリング法則である。
  論文  参考訳（メタデータ） (2026-09-30T17:53:47Z)
• SMELT: Scaling Laws for Compute-Matched MoE Looped Transformers [50.00050394179417]
  ループ変換器はレイヤの共有ブロックを繰り返すことで効果的な深さを増大させるが、ほとんどの評価は固定モデルサイズと比較される。 混合演算変換器のループ化について検討し, トーケン毎のFLOP, 総非埋め込みパラメータ, およびKVキャッシュを密にマッチングする。 一連のアブリケーションを通じて、私たちはSMELTと呼ばれるレシピに到達します。これは3つの予算のすべてで未ループのBaselineにマッチしながら、レイヤの中央半分を2回ループします。
  論文  参考訳（メタデータ） (2026-09-01T14:52:57Z)
• Scaling Laws for Behavioral Foundation Models over User Event Sequences [2.924581427482972]
  本稿では、共通の2部分の振る舞いモデルアーキテクチャ、特徴ベースのイベント埋め込み、デコーダのみの変換器について検討する。 約600回にわたって、実際のインタラクションデータで動作し、トレーニング用FLOPは1015ドルから1019ドルの範囲で、デプロイ関連軸が4つあります。 計算最適トレーニングは低計算時のテキストと比較してデータ量が多いが、計算量が増加するにつれて、そのD/N$比はチンチラに向かう。
  論文  参考訳（メタデータ） (2026-06-03T15:59:25Z)
• LoopMoE: Unifying Iterative Computation with Mixture-of-Experts for Language Modeling [36.7482623230111]
  スパースルーティングと反復重み付き計算を統合したループ型MoE言語モデルであるLoopMoEを提案する。 設計により、Vanilla MoEに対してループ式MoEを厳格に制御し、ヘッド・ツー・ヘッドで評価することができる。
  論文  参考訳（メタデータ） (2026-06-03T04:38:12Z)
• Mixture-of-Recursions: Learning Dynamic Recursive Depths for Adaptive Token-Level Computation [61.67090981767583]
  本研究では,Mixture-of-Recursions (MoR)を導入した。 MoRはパラメータ効率を達成するために再帰ステップをまたいだ共有レイヤのスタックを再利用し、軽量ルータは適応トークンレベルの思考を可能にする。 また、メモリフットプリントをさらに削減するために、KVペアを最初の再帰から再利用するKV共有変種を提案する。
  論文  参考訳（メタデータ） (2025-07-14T17:49:00Z)
• Fine-Tuning Language Models with Just Forward Passes [92.04219196752007]
  微調整言語モデル(LM)は、様々な下流タスクで成功したが、LMのサイズが大きくなるにつれて、バックプロパゲーションは大量のメモリを必要とする。 本稿では,メモリ効率の高いゼロソーダ(MeZO)を提案する。
  論文  参考訳（メタデータ） (2023-05-27T02:28:10Z)
• Augmented balancing weights as linear regression [3.877356414450364]
  自動脱バイアス機械学習(AutoDML)としても知られる拡張バランスウェイトの特徴を新たに提供する。 拡張推定器は、元の結果モデルから得られる係数と、不注意な通常の最小二乗(OLS)から得られる係数を同じデータに組み合わせた単一の線形モデルと等価であることを示す。 私たちのフレームワークは、この人気の高い推定器のクラスにブラックボックスを開きます。
  論文  参考訳（メタデータ） (2023-04-27T21:53:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。