Fugu-MT 論文翻訳(概要): Looped State-Space Language Models with Adaptive Exit-State Selection

論文の概要: Looped State-Space Language Models with Adaptive Exit-State Selection

arxiv url: http://arxiv.org/abs/2607.10110v1
Date: Sat, 11 Jul 2026 04:09:19 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-14 15:40:48.303553
Title: Looped State-Space Language Models with Adaptive Exit-State Selection
Title（参考訳）: Adaptive Exit-State Selection を用いたループ状態空間言語モデル
Abstract要約: ループ型言語モデルに関する最近の研究は、多くの推論問題は、追加の独立パラメータよりも計算深度が大きいことを示唆している。本稿では,共有マンバブロックを繰り返し適用し,有限深度再帰計算を実現するループ型マンバとループ型ハイブリッドマンバ-トランスフォーマアーキテクチャについて検討する。我々は,Ouroの2段出口ゲートをLooped Mambaに適応させ,繰り返しステップ出力のしきい値制御の選択を行う。
参考スコア（独自算出の注目度）: 43.98434319030707
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Recent work on looped language models suggests that many reasoning problems benefit from greater computational depth rather than from additional independent parameters. Existing studies, however, focus almost exclusively on Transformer backbones, leaving open whether this principle also applies to state-space language models. We investigate Looped Mamba and Looped Hybrid Mamba-Transformer architectures, which repeatedly apply a shared Mamba (or hybrid) block to introduce explicit finite-depth recurrent computation. On two controlled reasoning tasks-Mano (modular-arithmetic manipulation) and p-hop induction-Looped Mamba consistently outperforms parameter-matched non-looped baselines and, in several settings, matches or exceeds non-looped models of equal effective depth. We then extend the study to language model pre-training under matched iso-parameter and iso-FLOPs protocols, which jointly disentangle the effects of parameter sharing and effective depth: looped models remain competitive on downstream benchmarks with substantially fewer distinct parameters, although deeper non-looped models retain an advantage in validation perplexity under strict iso-FLOPs comparisons. Finally, we adapt Ouro's two-stage exit gate to Looped Mamba for threshold-controlled selection among recurrent-step outputs. Since all recurrent steps are still executed, the selected exit step represents prediction depth rather than reduced wall-clock computation. At the scales studied, adaptive exit-state selection improves downstream performance at intermediate depths, while actual inference-time savings require additional state-handling mechanisms.
Abstract（参考訳）: ループ型言語モデルに関する最近の研究は、多くの推論問題は、追加の独立パラメータよりも計算深度が大きいことを示唆している。しかし、既存の研究はトランスフォーマーのバックボーンにのみ焦点をあてており、この原理が状態空間言語モデルにも適用されるかどうかについては未定のままである。本稿では,共有マンバ(あるいはハイブリッド)ブロックを繰り返し適用して,明示的な有限深さ逐次計算を導入する,ループ型マンバとループ型ハイブリッドマンバ-トランスフォーマーアーキテクチャについて検討する。 Mano (Modular-arithmetic operation) と p-hop induction-Looped Mamba の2つの制御された推論タスクでは、パラメータマッチングされた非ループベースラインよりも一貫して優れており、いくつかの設定では、同じ有効深さの非ループモデルにマッチまたは超えている。次に、パラメータ共有と有効深度の影響を両立させるIso-FLOPsプロトコルに基づく言語モデル事前学習に研究を拡大する:ループ付きモデルは、かなり少ないパラメータを持つ下流ベンチマークで競争力を維持するが、より深い非ループ型モデルは厳密なIso-FLOPs比較では検証の難易度に優位性を保持する。最後に、Ouroの2段出口ゲートをLooped Mambaに適応させ、繰り返しステップ出力のしきい値制御の選択を行う。すべての繰り返しステップがまだ実行されているため、選択された出口ステップは、ウォールクロック計算の削減よりも予測深さを表す。検討したスケールでは、適応的な出口状態選択は、中間深度での下流性能を改善する一方、実際の推測時間の節約には、追加の状態処理機構が必要である。

関連論文リスト

Comparing the Performance of Leading VQE Algorithms for Computing Ground-State Energies of Amino Acids [0.0]
論文から10以上の異なるアンサーゼの再現可能なベンチマークを備えた統合リポジトリを提案する。 QMProtデータセットから得られたハミルトニアンを用いて、異なるアミノ酸をシミュレートする。
論文参考訳（メタデータ） (2026-07-02T06:38:31Z)
LoopMoE: Unifying Iterative Computation with Mixture-of-Experts for Language Modeling [36.7482623230111]
スパースルーティングと反復重み付き計算を統合したループ型MoE言語モデルであるLoopMoEを提案する。設計により、Vanilla MoEに対してループ式MoEを厳格に制御し、ヘッド・ツー・ヘッドで評価することができる。
論文参考訳（メタデータ） (2026-06-03T04:38:12Z)
High-Rank Structured Modulation for Parameter-Efficient Fine-Tuning [57.85676271833619]
低ランク適応 (LoRA) は、全パラメータの微調整をシミュレートするために低ランク更新法を用いる。 textbfStructured textbfMOdulation textbfAdapterは、より高いランクを維持しながらトレーニング可能なパラメータを少なくする。
論文参考訳（メタデータ） (2026-01-12T13:06:17Z)
Optimal Sparsity of Mixture-of-Experts Language Models for Reasoning Tasks [17.067788440109137]
現在、Mixture-of-Experts (MoE)モデルは最先端システムでは標準となっている。記憶能力と推論能力の2つの異なる能力体制にMoEがどのような影響を及ぼすかを検討する。
論文参考訳（メタデータ） (2025-08-26T04:31:28Z)
Can Prompt Difficulty be Online Predicted for Accelerating RL Finetuning of Reasoning Models? [65.18157595903124]
本研究では任意のプロンプトの反復的近似評価について検討する。 Model Predictive Prompt Selection (MoPPS)はベイズにおけるリスク予測フレームワークである。 MoPPSは迅速な困難を確実に予測し、ロールアウトを大幅に削減したトレーニングを加速する。
論文参考訳（メタデータ） (2025-07-07T03:20:52Z)
Routing Mamba: Scaling State Space Models with Mixture-of-Experts Projection [88.47928738482719]
線形状態空間モデル(SSM)は、シーケンスモデリングにおいて顕著なパフォーマンス向上を提供する。 Mambaのような最近の進歩は、入力依存のゲーティングとハードウェア対応の実装により、SSMをさらに強化している。本稿では,線形射影の専門家による疎混合を用いてSSMパラメータをスケールする新しい手法であるRoM(Roing Mamba)を紹介する。
論文参考訳（メタデータ） (2025-06-22T19:26:55Z)
Latent Thought Models with Variational Bayes Inference-Time Computation [52.63299874322121]
ラテント思考モデル(LTM)は、ラテント空間における明示的な事前モデルに従う明示的なラテント思考ベクトルを包含する。 LTMは自己回帰モデルや離散拡散モデルよりも優れたサンプルおよびパラメータ効率を示す。
論文参考訳（メタデータ） (2025-02-03T17:50:34Z)
Loop Neural Networks for Parameter Sharing [1.1049608786515839]
本稿では,モデルサイズを増大させることなく,より長い計算時間を活用することにより,より優れた性能を実現するループニューラルネットワークを提案する。提案手法では,残差接続を持つモデルのサブセットを反復的にループすることで,入力を複数回再検討する。本手法の有効性を,GPT-2とループモデルの比較実験により実証し,類似したパラメータ数を維持しつつ,言語モデリングタスクの性能向上を示す。
論文参考訳（メタデータ） (2024-09-21T17:07:42Z)
SIGMA: Selective Gated Mamba for Sequential Recommendation [56.85338055215429]
最近の進歩であるMambaは、時系列予測において例外的なパフォーマンスを示した。 SIGMA(Selective Gated Mamba)と呼ばれる,シークエンシャルレコメンデーションのための新しいフレームワークを紹介する。以上の結果から,SIGMAは5つの実世界のデータセットにおいて,現在のモデルよりも優れていたことが示唆された。
論文参考訳（メタデータ） (2024-08-21T09:12:59Z)
Is Mamba Compatible with Trajectory Optimization in Offline Reinforcement Learning? [32.33214392196923]
変圧器を用いた軌道最適化手法はオフライン強化学習(オフラインRL)において例外的な性能を示した。しかし、パラメータのサイズがかなり大きく、スケーラビリティが制限されているため、特にシーケンシャルな意思決定シナリオでは問題が発生します。有望な新しい線形時間シーケンスモデルであるMambaは、トランスフォーマーと同等のパフォーマンスを提供すると同時に、長いシーケンスのパラメータをかなり少なく提供する。
論文参考訳（メタデータ） (2024-05-20T15:05:47Z)
Lightweight and Flexible Deep Equilibrium Learning for CSI Feedback in FDD Massive MIMO [13.856867175477042]
広帯域多重出力(MIMO)システムでは、ダウンリンクチャネル状態情報(CSI)をベースステーション(BS)に送信する必要がある。本稿では,深層平衡モデルを用いた軽量で柔軟な深層学習に基づくCSIフィードバック手法を提案する。
論文参考訳（メタデータ） (2022-11-28T05:53:09Z)
MoEfication: Conditional Computation of Transformer Models for Efficient Inference [66.56994436947441]
トランスフォーマーベースの事前学習言語モデルは、パラメータ容量が大きいため、ほとんどのNLPタスクにおいて優れた性能を実現することができるが、計算コストも大きい。スパースアクティベーション現象に基づく条件計算により,大規模モデル推論を高速化する。そこで本研究では,モデルサイズが等しいMoE(Mix-of-experts)バージョン,すなわちMoEficationに変換することを提案する。
論文参考訳（メタデータ） (2021-10-05T02:14:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。