論文の概要: StateLoop: Persistent State for Looped Transformers

• arxiv url: http://arxiv.org/abs/2610.35544v1
• Date: Mon, 26 Oct 2026 14:53:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:14.040641
• Title: StateLoop: Persistent State for Looped Transformers
• Title（参考訳）: StateLoop: ループ変換器の永続状態
• Abstract要約: バニラループトランスフォーマーは、各バックボーン出力を直接次のイテレーションへの入力として使用する。 私たちはStateLoopを紹介します。これは、イテレーション間で情報を保持するためにトークン毎に1つの永続的な状態を保持します。
• 参考スコア（独自算出の注目度）: 18.205047538563786
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Looped Transformers offer a parameter-efficient approach to language modeling by repeatedly applying a shared backbone. Vanilla looped Transformers use each backbone output directly as the input to the next iteration. These outputs may contain information useful several iterations later, but retaining it across the loop depends entirely on the single hidden state. We introduce StateLoop, which maintains one additional persistent state per token to retain information across iterations. At each iteration, a learned gate controls how much of the previous state is retained and how much information from the backbone output is incorporated. The updated state is projected back and added to the backbone output for subsequent iterations and final prediction. This design reduces Pile perplexity and improves average accuracy across eight zero-shot tasks over Vanilla Looped. Its perplexity advantage over Vanilla Looped grows with trained loop depth, consistent with persistent state becoming increasingly useful as recurrent computation deepens.
• Abstract（参考訳）: Looped Transformerは、共有バックボーンを繰り返し適用することで、言語モデリングに対するパラメータ効率のよいアプローチを提供する。 バニラループトランスフォーマーは、各バックボーン出力を直接次のイテレーションへの入力として使用する。 これらの出力には、数回のイテレーションで有用な情報が含まれているかもしれないが、ループ全体にわたって保持することは、完全に単一の隠れ状態に依存する。 私たちはStateLoopを紹介します。これは、イテレーション間で情報を保持するためにトークン毎に1つの永続的な状態を保持します。 各イテレーションにおいて、学習されたゲートは、前の状態のどれだけが保持され、バックボーン出力からの情報が組み込まれるかを制御する。 更新された状態は投影され、後続のイテレーションと最終的な予測のためにバックボーン出力に追加される。 この設計により、Pileの難易度が低減され、Vanilla Looped上の8つのゼロショットタスクの平均精度が向上する。 Vanilla Loopedに対するその難易度優位性は、トレーニングされたループ深さとともに増大し、繰り返し計算が深まるにつれて、永続的な状態がますます有用になる。

関連論文リスト

• LoopFold: Parallelizing Recurrent Depth in Looped Transformers [18.205047538563786]
  Looped Transformerは、共有バックボーンを繰り返し適用することで、トークン当たりの計算量を増加させる。 既存のアプローチにはParallel Loop Transformerがあり、トークン位置をオーバーラップするループ計算によってレイテンシを低減する。 LoopFoldを導入し、同じトークンプレフィックスに対して、複数の繰り返しの深さで並列バッチに折り畳みます。
  論文  参考訳（メタデータ） (2026-10-26T14:58:11Z)
• Scaling to Tens of Thousands of Test-Time Iterations with Loop-Native Attention Residuals [21.511459992370188]
  本稿では,ループ変換器は繰り返し数の増加に伴って性能劣化を防止するために,それぞれが残余接続を必要とすることを論じる。 InfiLoopはループネイティブな残余接続で、どの過去の計算が保持すべきか、新しい更新毎にどれくらいの量を受け入れるかを学ぶ。
  論文  参考訳（メタデータ） (2026-10-08T09:26:21Z)
• Rotate the Loop: Blockwise Conformality for Looped Transformers [72.4010041245191]
  ループが状態を追跡することを学習したかどうかが,この地図の形状に関する幾何学的問題であることを示す。 残差を座標整列群に分割し,それぞれ内部を回転させるブロックワイド整列注入を提案する。
  論文  参考訳（メタデータ） (2026-09-30T23:32:34Z)
• Looped Diffusion Transformer [126.10100109922593]
  分割ステップ毎に共有トランスフォーマーブロックを繰り返し実行することで、計算をスケールする別の方法を模索する。 ナイーブループは 画像の質を 常に向上させません ループ型拡散変換器(Looped Diffusion Transformer, Looped-DiT)を提案する。
  論文  参考訳（メタデータ） (2026-09-30T17:52:08Z)
• Looped Transformers as Optimizers [39.57587942081881]
  Looped Transformerは、共有Transformerブロックを繰り返し適用することで、深さスケーリングに対するパラメータ効率のよいアプローチを提供する。 最近の推論モデルは、より長い計算によってテスト時間計算をスケールする価値を強調している。 ループした隠された状態は、深さを通して更新される高速な重みと見なす。 ループ遷移を局所的な勾配に基づく更新として定式化し、各深さで暗黙的な目標を予測できるブロックを繰り返す。
  論文  参考訳（メタデータ） (2026-09-29T12:31:51Z)
• DiscoLoop: Looping Discrete Embeddings and Continuous Hidden States for Multi-hop Reasoning [91.94042219655866]
  大規模言語モデルは、Chain-of-Thought(CoT)として中間ステップの外部化を可能にすると、多くの推論タスクにおいて強力なパフォーマンスを達成する 我々は,この課題を,モデルが1つの前方パス内で複数の知識を構成しなければならない代表的タスクである2-ホップ推論を通じて研究する。 本稿では,個別の埋め込みチャネルと連続的な隠れ状態チャネルの両方を連続的に持つループアーキテクチャであるDiscoLoopを提案する。
  論文  参考訳（メタデータ） (2026-07-01T02:32:02Z)
• LoopCoder-v2: Only Loop Once for Efficient Test-Time Computation Scaling [72.71005779366162]
  本研究では,ゲインコストの観点から,ループ数選択について検討する。 この研究は18Tトークンのスクラッチからループ数が異なるループ数でLoopCoder-v2をトレーニングし、それにマッチした命令チューニングと評価を行う。 実証的には、この2ループ版はコード生成、コード推論、エージェントソフトウェアエンジニアリング、ツールスベンチマークなど、非ループベースラインよりも幅広い利益をもたらしている。
  論文  参考訳（メタデータ） (2026-06-16T15:03:05Z)
• Chain-of-Thought and Compressed Looped Transformers: A Memory-Budget Separation [0.2538209532048867]
  我々は、永続的なミュータブルメモリがテスト時間推論の中心的なリソースであると主張している。 圧縮潜在ループ,全シーケンス状態ループ,チェーン・オブ・シークレット・スクラッチパッドの3つのメモリ状態を比較した。
  論文  参考訳（メタデータ） (2026-05-29T02:38:49Z)
• Latent Recurrent Transformer: Architecture Exploration, Training Strategies, and Scaling Behavior [107.2098567818173]
  Latent Recurrent Transformer (LRT) は自己回帰変換器の軽量化である。 LRTは、次のトークンのリカレントメモリとして、前のトークンから高レベルなソース層隠れステートを再利用する。
  論文  参考訳（メタデータ） (2026-05-26T10:10:26Z)
• Funnel-Transformer: Filtering out Sequential Redundancy for Efficient Language Processing [112.2208052057002]
  本稿では,隠れ状態の列を短く圧縮するFunnel-Transformerを提案する。 Funnel-TransformerはFLOPに匹敵する数が少ないため、様々なシーケンスレベルの予測タスクにおいて標準のTransformerよりも優れている。
  論文  参考訳（メタデータ） (2020-06-05T05:16:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。