論文の概要: LoopMTP: A looped transformer guided by latent multi-token prediction

• arxiv url: http://arxiv.org/abs/2608.03624v1
• Date: Tue, 04 Aug 2026 13:13:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-05 15:30:23.200351
• Title: LoopMTP: A looped transformer guided by latent multi-token prediction
• Title（参考訳）: LoopMTP: 潜時多点予測によるループ変換器
• Abstract要約: MTP(Multi-token Prediction)は、ループが欠落しているような密集した前方監視を提供する。 textscLoopMTPは、非ループベースラインよりも平均精度を最大8.1%向上させる。
• 参考スコア（独自算出の注目度）: 2.2694459418593698
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Looped transformers have emerged as a parameter-efficient alternative to scaling depth for strong reasoning. By reusing one stack of layers across $T$ iterations, they attain the effective depth and reasoning capabilities of larger models at a fixed parameter count. Yet existing approaches suffer from latent overthinking and undifferentiated computation, largely because intermediate representations receive no guidance across loops. Multi-token prediction (MTP) supplies exactly the dense, forward-looking supervision the loop is missing. We propose \textsc{LoopMTP}, which links the two through a structural correspondence in latent space: a model that loops $T$ times can anticipate $T$ future tokens. \textsc{LoopMTP} realizes this by softly aligning the hidden state of loop $t$ with the embedding of the token $t$ steps ahead, while a lightweight gate preserves useful information across iterations. \textsc{LoopMTP} improves average accuracy by up to 8.1\% (relative) over the non-looped baseline, with training remaining stable for up to 15 loops.
• Abstract（参考訳）: ループ変換器は、強力な推論のためのスケーリング深度に代わるパラメータ効率の代替として登場した。 1つのレイヤを$T$イテレーションで再利用することで、大きなモデルの効果的な深さと推論能力を固定パラメータ数で達成できます。 しかし、既存のアプローチはループをまたいだガイダンスが得られないため、過度に過剰な考えと未分化な計算に悩まされている。 MTP(Multi-token Prediction)は、ループが欠落しているような密集した前方監視を提供する。 我々は,これら2つを潜在空間の構造的対応を通してリンクする「textsc{LoopMTP}」を提案する。 \textsc{LoopMTP} は、ループ $t$ の隠された状態とトークン $t$ ステップの埋め込みとをソフトに調整し、軽量ゲートがイテレーション間で有用な情報を保存することで、これを実現する。 \textsc{LoopMTP} は、非ループベースラインに対して平均精度を最大8.1\%(相対)改善し、トレーニングは最大15ループまで安定している。

関連論文リスト

• T-LoopFormer: Token-Level Elastic-Depth Looped Transformers for Latent Reasoning With Dynamic Routing [31.346695540393657]
  Looped Transformersは最近、推論と言語タスクの両方で強力なパフォーマンスを示している。 本研究では,ループ変換器のためのtextbfdynamic token-choice ルーティングを提案する。 動的ルータを使用してトークンの再帰を継続するか、早期に終了するかを決定し、単純なトークンが不要な計算をバイパスすることを可能にする。
  論文  参考訳（メタデータ） (2026-09-14T07:41:37Z)
• HEAT: Faster Fully Homomorphic Inference via Approximations-Weights Co-Adaptation [56.14416807766864]
  同型暗号化により、サーバは暗号化されたユーザープロンプト上で言語モデルを直接実行することができる。 既存のアプローチでは、各サイトのエラー許容度を調整するのではなく、モデル全体のイテレーションカウントを均一に修正する。 非線形反復回数を学習可能にする微調整法であるHAT(Hymomorphic Encryption-Aware Training)を導入する。
  論文  参考訳（メタデータ） (2026-09-01T18:02:02Z)
• SMELT: Scaling Laws for Compute-Matched MoE Looped Transformers [50.00050394179417]
  ループ変換器はレイヤの共有ブロックを繰り返すことで効果的な深さを増大させるが、ほとんどの評価は固定モデルサイズと比較される。 混合演算変換器のループ化について検討し, トーケン毎のFLOP, 総非埋め込みパラメータ, およびKVキャッシュを密にマッチングする。 一連のアブリケーションを通じて、私たちはSMELTと呼ばれるレシピに到達します。これは3つの予算のすべてで未ループのBaselineにマッチしながら、レイヤの中央半分を2回ループします。
  論文  参考訳（メタデータ） (2026-09-01T14:52:57Z)
• Depth-adaptive Inference of Looped Language Models via Continuous Depth Batching [33.509836193149795]
  ループ言語モデル(LM)の主な約束は、深さ適応型計算である。 個別のループキューの粒度でスケジュールする連続深さ(CDB)を導入する。 Ouro 1.4B と Huginn 3.5B では、CDB は理論上の最大速度の 99% を達成できる。
  論文  参考訳（メタデータ） (2026-08-10T11:20:14Z)
• DeepLoop: Depth Scaling for Looped Transformers [91.7922038545625]
  ループ変換器は、複数のラウンドにコンパクトな物理ブロックのスタックを適用することで、シーケンシャルな計算をスケールする。 我々は、この密着した深さ効果を、訪問配向係数によって制御された一階の摂動によって定式化する。 結果のメソッド textbfDeepLoop は Post-LN DeepNorm アーキテクチャを保持し、非ロール深度に対して $= (2N)1/2$ と $=(8N)-1/2$ をセットする。
  論文  参考訳（メタデータ） (2026-07-15T06:37:05Z)
• Bridging the Gap Between Latent and Explicit Reasoning with Looped Transformers [24.474589810964158]
  言語モデルは典型的には明示的なチェーン・オブ・シント(CoT)を介して推論される Latent CoTは、モデルの隠された状態において、多段階の推論を実行する代替手段を提供する。 ループトランスフォーマーは、潜伏推論に自然に適合する。
  論文  参考訳（メタデータ） (2026-06-30T14:58:53Z)
• On the Residual Scaling of Looped Transformers: Stability and Transferability [31.27468588849646]
  1/N$のスケーリングは、トレーニング性を改善し、ループ数で1/sqrtN$のスケーリングよりも優れた損失をもたらすことを示す。 ループ変換器の実験では、1/N$のスケーリングがトレーニング性を改善し、ループ数を越えたスケールで1/sqrtN$よりもよい損失をもたらすことが確認されている。
  論文  参考訳（メタデータ） (2026-06-16T22:39:13Z)
• LoopCoder-v2: Only Loop Once for Efficient Test-Time Computation Scaling [72.71005779366162]
  本研究では,ゲインコストの観点から,ループ数選択について検討する。 この研究は18Tトークンのスクラッチからループ数が異なるループ数でLoopCoder-v2をトレーニングし、それにマッチした命令チューニングと評価を行う。 実証的には、この2ループ版はコード生成、コード推論、エージェントソフトウェアエンジニアリング、ツールスベンチマークなど、非ループベースラインよりも幅広い利益をもたらしている。
  論文  参考訳（メタデータ） (2026-06-16T15:03:05Z)
• Incremental BPE Tokenization [12.857819598120676]
  本稿では,インクリメンタルByte Pairのための新しいアルゴリズムを提案する。 モデル(BPE)トークン化。 病理学的入力に対するOpenAIのTiktokenよりも大幅に遅延を減少させることを示した。
  論文  参考訳（メタデータ） (2026-05-29T04:04:32Z)
• Transformers Provably Learn to Internalize Chain-of-Thought [65.41010769606844]
  Implicit Chain-of-Thought (ICoT) は、隠れた状態の中で中間段階を内部化するモデルを訓練する。 Log-ICoTはシンキングトークンを一度に削除し、$k$のリニアから対数へのステージ数を削減します。 多層変圧器の実験により理論が確認され、より深い層に段階的に推論がどのように吸収されるかが可視化される。
  論文  参考訳（メタデータ） (2026-05-27T15:17:06Z)
• LoopFormer: Elastic-Depth Looped Transformers for Latent Reasoning via Shortcut Modulation [9.943277041891788]
  可変長トラジェクタで訓練されたループ変換器であるLoopFormerを導入し、予算条件の推論を可能にする。 私たちのコアコントリビューションは、異なる長さの軌跡を整列するショートカット一貫性トレーニングスキームです。 LoopFormerは、アグレッシブな計算制約下でさえ、言語モデリングと推論ベンチマークで堅牢なパフォーマンスを示す。
  論文  参考訳（メタデータ） (2026-02-11T23:58:28Z)
• Chain of Thought Empowers Transformers to Solve Inherently Serial Problems [57.58801785642868]
  思考の連鎖(CoT)は、算術や記号的推論タスクにおいて、大きな言語モデル(LLM)の精度を向上させるための非常に効果的な方法である。 この研究は、表現性のレンズを通してデコーダのみの変換器に対するCoTのパワーを理論的に理解する。
  論文  参考訳（メタデータ） (2024-02-20T10:11:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。