論文の概要: Chain-of-Thought and Compressed Looped Transformers: A Memory-Budget Separation

• arxiv url: http://arxiv.org/abs/2605.30757v1
• Date: Fri, 29 May 2026 02:38:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-01 20:56:50.347216
• Title: Chain-of-Thought and Compressed Looped Transformers: A Memory-Budget Separation
• Title（参考訳）: Chain-of-Thought and Compressed Looped Transformers: メモリ・予算分離
• Abstract要約: 我々は、永続的なミュータブルメモリがテスト時間推論の中心的なリソースであると主張している。 圧縮潜在ループ,全シーケンス状態ループ,チェーン・オブ・シークレット・スクラッチパッドの3つのメモリ状態を比較した。
• 参考スコア（独自算出の注目度）: 0.2538209532048867
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Chain-of-thought prompting and looped Transformers both give a fixed model more test-time computation, but they differ in what they remember. Chain-of-thought stores intermediate state in generated tokens that remain in the context, whereas a looped Transformer carries state through recurrent hidden activations. We argue that this persistent mutable memory is a central resource for test-time reasoning. We compare three memory regimes, the compressed latent loop, the full sequence-state loop, and the chain-of-thought scratchpad. Our main result shows that a compressed loop is limited by the size of its recurrent state. Running the loop longer adds computation but does not by itself create a growing scratchpad, so a loop with a small recurrent state remains a small-space reasoner even when run for many steps. Under a standard complexity assumption, such loops cannot decide problems that are P-complete under logspace reductions, whereas polynomial-length chain-of-thought can. The separation is specific to compressed loops, as full sequence-state loops carry state at every input position and live in a memory-rich regime closer to explicit scratchpads. Controlled pointer-chasing and associative-recall sweeps illustrate this memory-budget view, with performance sensitive to whether the persistent-state budget matches the task's working-memory demand.
• Abstract（参考訳）: チェーンのプロンプトとループ変換はどちらも、固定されたモデルによりテストタイムの計算を与えるが、それらは記憶するものと異なる。 Chain-of- Thoughtは、中間状態を生成したトークンに格納するが、ループ化されたTransformerは、繰り返し発生する隠れアクティベーションを通じて状態を転送する。 この永続的なミュータブルメモリは、テスト時間推論のための中心的なリソースである、と我々は主張する。 圧縮潜在ループ,全シーケンス状態ループ,チェーン・オブ・シークレット・スクラッチパッドの3つのメモリ状態を比較した。 その結果,圧縮されたループはその再帰状態の大きさによって制限されることがわかった。 ループの実行は、より長く計算を追加するが、それ自体が成長するスクラッチパッドを生成するわけではないため、多くのステップで実行しても、小さなリカレント状態のループは小さなスペースの推論器のままである。 標準的な複雑性の仮定の下では、そのようなループは対数空間の還元の下でP完全である問題を決定できないが、多項式長連鎖は考えうる。 完全なシーケンス状態ループは全ての入力位置で状態を持ち、明示的なスクラッチパッドに近いメモリ豊富な状態にあるため、分離は圧縮ループに特有である。 制御されたポインタマッチングと連想リコールは、このメモリ予算のビューを示し、永続的な状態予算がタスクのワーキングメモリ需要に合致するかどうかに敏感である。

関連論文リスト

• T-LoopFormer: Token-Level Elastic-Depth Looped Transformers for Latent Reasoning With Dynamic Routing [31.346695540393657]
  Looped Transformersは最近、推論と言語タスクの両方で強力なパフォーマンスを示している。 本研究では,ループ変換器のためのtextbfdynamic token-choice ルーティングを提案する。 動的ルータを使用してトークンの再帰を継続するか、早期に終了するかを決定し、単純なトークンが不要な計算をバイパスすることを可能にする。
  論文  参考訳（メタデータ） (2026-09-14T07:41:37Z)
• MemOps: Benchmarking Lifecycle Memory Operations in Long-Horizon Conversations [50.24315431387575]
  ライフサイクル操作のシーケンスとして会話メモリを再構成するベンチマークであるMemOpsを紹介する。 MemOpsは、それぞれのメモリイベントをトリガ、ターゲット、スコープ、状態遷移、エビデンスを指定した構造化トレースで表現する。 長いコンテキスト、検索ベース、パラメトリック、マネージドメモリシステムにわたって、MemOpsはファイナ・アンサーの精度のみを隠蔽する障害モードをアンタングルする。
  論文  参考訳（メタデータ） (2026-07-14T15:33:44Z)
• DiscoLoop: Looping Discrete Embeddings and Continuous Hidden States for Multi-hop Reasoning [91.94042219655866]
  大規模言語モデルは、Chain-of-Thought(CoT)として中間ステップの外部化を可能にすると、多くの推論タスクにおいて強力なパフォーマンスを達成する 我々は,この課題を,モデルが1つの前方パス内で複数の知識を構成しなければならない代表的タスクである2-ホップ推論を通じて研究する。 本稿では,個別の埋め込みチャネルと連続的な隠れ状態チャネルの両方を連続的に持つループアーキテクチャであるDiscoLoopを提案する。
  論文  参考訳（メタデータ） (2026-07-01T02:32:02Z)
• Stabilizing Extrapolation in Looped Transformers via Learned Stochastic Stopping [56.14767235650558]
  共有トランスブロックを繰り返し適用するLooped Transformerは、可変長の計算タスクに自然に適合するアーキテクチャである。 この差分を、列長とループ数の間の単純なアルゴリズムタスクにおける突発的相関に追従する。 私たちの研究は、"停止する時"は単なる推論時間割当ルールではなく、トレーニング設計の選択として扱われるべきであることを示唆しています。
  論文  参考訳（メタデータ） (2026-06-29T08:58:09Z)
• LoopCoder-v2: Only Loop Once for Efficient Test-Time Computation Scaling [72.71005779366162]
  本研究では,ゲインコストの観点から,ループ数選択について検討する。 この研究は18Tトークンのスクラッチからループ数が異なるループ数でLoopCoder-v2をトレーニングし、それにマッチした命令チューニングと評価を行う。 実証的には、この2ループ版はコード生成、コード推論、エージェントソフトウェアエンジニアリング、ツールスベンチマークなど、非ループベースラインよりも幅広い利益をもたらしている。
  論文  参考訳（メタデータ） (2026-06-16T15:03:05Z)
• SinkRec: Mitigating Semantic State Sink in Long Sequence Recommendation with Memory-Conditioned Gated Delta Networks [31.41875429254432]
  セマンティックステートシンクを緩和するハイブリッドメモリ-遷移ループアーキテクチャであるSinkRecを提案する。 SinkRecは、繰り返し発生するローカルパターンを学習可能な条件記憶に外部化する。 TDGDは、メモリに隠された更新を抑え、メモリに整合した読み出し応答を除去することで、リカレント書き込みと読み出しをメモリで浄化する。
  論文  参考訳（メタデータ） (2026-06-03T09:10:06Z)
• Latent Recurrent Transformer: Architecture Exploration, Training Strategies, and Scaling Behavior [107.2098567818173]
  Latent Recurrent Transformer (LRT) は自己回帰変換器の軽量化である。 LRTは、次のトークンのリカレントメモリとして、前のトークンから高レベルなソース層隠れステートを再利用する。
  論文  参考訳（メタデータ） (2026-05-26T10:10:26Z)
• Efficient Test-Time Inference via Deterministic Exploration of Truncated Decoding Trees [68.04613115686509]
  自己整合性は、複数の推論トレースを並列にサンプリングし、投票することで、推論時間のパフォーマンスを向上させる。 そこで本研究では,切り落された標本を伐採木として扱う決定論的復号法であるDLE(Distinct Leafion)を提案する。 DLEは高品質な推論トレースを調査し、数学、コーディング、一般的な推論タスクのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2026-04-22T12:42:03Z)
• LoopGuard: Breaking Self-Reinforcing Attention Loops via Dynamic KV Cache Intervention [17.503793965285045]
  復号化が持続的な繰り返しループに崩壊する危険性のある障害モードを観察する。 この変性は、ヘッドのサブセットが履歴の狭い接尾辞にロックされる、崩壊した注意パターンによって引き起こされる。 ループオンセットをオンラインで検出し、繰り返しテールスパンを刈り取ることでフィードバックサイクルを中断するKVキャッシュガードであるLoopGuardを提案する。
  論文  参考訳（メタデータ） (2026-04-11T05:54:45Z)
• When to Memorize and When to Stop: Gated Recurrent Memory for Long-Context Reasoning [50.486479460454866]
  より安定かつ効率的な長文推論のための2つのテキスト制御ゲートを組み込んだGRU-Memを提案する。 GRU-Memは一般的に、最大400%の推論速度加速でバニラMemAgentを上回っている。
  論文  参考訳（メタデータ） (2026-02-11T06:14:53Z)
• Parallel Loop Transformer for Efficient Test-Time Computation Scaling [34.8255648599522]
  大規模言語モデル(LLM)は強力だが、推論中に現実世界で使うには遅すぎるしコストもかかる。 ループ変換器は、複数の計算ステップで同じ重みを再利用することでパラメータを節約する。 ループが次々と実行され、各追加ループで推論遅延とメモリ要求が増大する。
  論文  参考訳（メタデータ） (2025-10-28T15:35:50Z)
• Diagonal Batching Unlocks Parallelism in Recurrent Memory Transformers for Long Contexts [5.585952216289788]
  トランスフォーマーモデルは、2次時間と線形メモリの複雑さのために、長いコンテキスト推論に苦しむ。 リカレントメモリ(RMT)は、コストの線形時間とメモリ使用量の一定を削減してソリューションを提供する。 しかし、メモリ更新メカニズムがシーケンシャルな実行を引き起こし、パフォーマンスのボトルネックが発生します。 本稿では,RTTのセグメント間の並列性を正確に保ちつつ,並列性を解放するスケジューリング手法であるDiagonalを紹介する。
  論文  参考訳（メタデータ） (2025-06-05T16:43:48Z)
• Context Compression for Auto-regressive Transformers with Sentinel Tokens [37.07722536907739]
  本稿では,特定のトークンの中間活性化をコンパクトに段階的に圧縮できるプラグイン・アンド・プレイ方式を提案する。 ドメイン内言語モデリングとゼロショットオープンエンド文書生成の両方の実験は、我々のアプローチの利点を実証している。
  論文  参考訳（メタデータ） (2023-10-12T09:18:19Z)
• Ring Attention with Blockwise Transformers for Near-Infinite Context [88.61687950039662]
  本稿では,複数のデバイスにまたがって長いシーケンスを分散するために,ブロックワイドな自己注意とフィードフォワードの計算を利用する,ブロックワイドトランスフォーマーを用いたリングアテンション(リングアテンション)を提案する。 提案手法では,先行メモリ効率の変換器で達成可能なものよりも,デバイス数倍のシーケンスのトレーニングと推論が可能となる。
  論文  参考訳（メタデータ） (2023-10-03T08:44:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。