論文の概要: Scaling to Tens of Thousands of Test-Time Iterations with Loop-Native Attention Residuals

• arxiv url: http://arxiv.org/abs/2610.11570v1
• Date: Thu, 08 Oct 2026 09:26:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:53.924881
• Title: Scaling to Tens of Thousands of Test-Time Iterations with Loop-Native Attention Residuals
• Title（参考訳）: ループNative Attention Residualsによる何千ものテストタイムイテレーションへのスケーリング
• Abstract要約: 本稿では,ループ変換器は繰り返し数の増加に伴って性能劣化を防止するために,それぞれが残余接続を必要とすることを論じる。 InfiLoopはループネイティブな残余接続で、どの過去の計算が保持すべきか、新しい更新毎にどれくらいの量を受け入れるかを学ぶ。
• 参考スコア（独自算出の注目度）: 21.511459992370188
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we argue that looped Transformers need their own residual connections to prevent performance degradation as the number of iterations grows. We observe that increasing loop iterations can reduce reasoning accuracy: noisy state updates overwrite correct intermediate deductions and even undo completed solutions. This leaves subsequent iterations to recover lost information from an already degraded representation: once an error arises in an earlier loop, often as a result of long-range propagation through the recurrence, later loops find it difficult to correct. In this paper, we introduce InfiLoop, a loop-native residual connection that learns which past computations to retain and how much to accept from each new update. InfiLoop combines content-based weighting with learned temporal decay to maintain a running summary of recurrent states. An exact streaming recurrence keeps its persistent aggregation memory constant as the loop count grows. The resulting adaptive update suppresses unreliable proposals and preserves useful intermediate states. Across extensive reasoning tasks, a 7M-parameter InfiLoop model outperforms existing recursive architectures, reaching 97.9% exact accuracy on Sudoku-Extreme, and 13.6% pass@2 on ARC-AGI-2. Notably, on Sudoku-Extreme, InfiLoop continues to improve with test-time looping beyond 20,000 effective steps, showing that added depth translates directly into stronger reasoning. Our code is available at https://github.com/pixeli99/InfiLoop.
• Abstract（参考訳）: 本稿では,ループ変換器は繰り返し数の増加に伴って性能劣化を防止するために,それぞれが残余接続を必要とすることを論じる。 ループ反復の増加は推論の精度を低下させる: ノイズの多い状態更新は正しい中間減算を上書きする。 エラーが前のループで発生したら、多くの場合、繰り返しによる長距離伝播の結果、後続のループでは修正が困難になる。 本稿では,ループネイティブな残差接続であるInfiLoopを紹介する。 InfiLoopは、コンテンツベースの重み付けと学習された時間減衰を組み合わせることで、繰り返し状態の実行サマリーを維持する。 正確なストリーミング繰り返しは、ループ数が増加するにつれて、その永続的なアグリゲーションメモリを一定に保つ。 その結果、適応的な更新は信頼できない提案を抑制し、有用な中間状態を保存する。 7MパラメーターのInfiLoopモデルは既存の再帰的アーキテクチャを上回り、Sudoku-Extremeでは97.9%、ARC-AGI-2では13.6%の精度でパス@2に達した。 特に、Sudoku-Extremeでは、InfiLoopは2万以上の効果的なステップをテストタイムループすることで改善を続けており、追加の深さが直接、より強力な推論に変換されることを示している。 私たちのコードはhttps://github.com/pixeli99/InfiLoop.comから入手可能です。

関連論文リスト

• Looping Beyond Twice: A Scalable Recipe for Looped Mixture-of-Experts [22.782568599870235]
  Looped Transformerは、LSMの新たなスケーリング軸として、リカレントディープを導入している。 FLOPとマッチングした大規模MOE LLMのループ化の利点はいまだ不明である。 各ループは、リカレント状態を安定に保ちながら、新しい計算に寄与すべきである。
  論文  参考訳（メタデータ） (2026-10-01T06:32:45Z)
• Looped Diffusion Transformer [126.10100109922593]
  分割ステップ毎に共有トランスフォーマーブロックを繰り返し実行することで、計算をスケールする別の方法を模索する。 ナイーブループは 画像の質を 常に向上させません ループ型拡散変換器(Looped Diffusion Transformer, Looped-DiT)を提案する。
  論文  参考訳（メタデータ） (2026-09-30T17:52:08Z)
• RecurTrace: Adaptive Latent Reasoning with Loop-Time Memory [25.81050020222202]
  Loop Memory Attentionでは、ループ時間軸に沿った以前のイテレーションから、ループされた各レイヤが自身の状態に参加することができる。 RecurTraceは平均2.0ループで56.9%の精度を達成し、一致した計算で2.2ポイントの最良の固定ループ深さを超えた。
  論文  参考訳（メタデータ） (2026-09-03T05:29:24Z)
• DiscoLoop: Looping Discrete Embeddings and Continuous Hidden States for Multi-hop Reasoning [91.94042219655866]
  大規模言語モデルは、Chain-of-Thought(CoT)として中間ステップの外部化を可能にすると、多くの推論タスクにおいて強力なパフォーマンスを達成する 我々は,この課題を,モデルが1つの前方パス内で複数の知識を構成しなければならない代表的タスクである2-ホップ推論を通じて研究する。 本稿では,個別の埋め込みチャネルと連続的な隠れ状態チャネルの両方を連続的に持つループアーキテクチャであるDiscoLoopを提案する。
  論文  参考訳（メタデータ） (2026-07-01T02:32:02Z)
• Stabilizing Extrapolation in Looped Transformers via Learned Stochastic Stopping [56.14767235650558]
  共有トランスブロックを繰り返し適用するLooped Transformerは、可変長の計算タスクに自然に適合するアーキテクチャである。 この差分を、列長とループ数の間の単純なアルゴリズムタスクにおける突発的相関に追従する。 私たちの研究は、"停止する時"は単なる推論時間割当ルールではなく、トレーニング設計の選択として扱われるべきであることを示唆しています。
  論文  参考訳（メタデータ） (2026-06-29T08:58:09Z)
• When to Memorize and When to Stop: Gated Recurrent Memory for Long-Context Reasoning [50.486479460454866]
  より安定かつ効率的な長文推論のための2つのテキスト制御ゲートを組み込んだGRU-Memを提案する。 GRU-Memは一般的に、最大400%の推論速度加速でバニラMemAgentを上回っている。
  論文  参考訳（メタデータ） (2026-02-11T06:14:53Z)
• Rectified Sparse Attention [61.7702154360081]
  効率的なロングシーケンス生成は、大規模言語モデルにとって重要な課題である。 本稿では,ブロックスパースアテンションと周期的な密度補正を組み合わせた簡易かつ効果的な方法であるRectified Sparse Attention (ReSA)を提案する。 数学推論、言語モデリング、検索タスクにわたる実験は、ReSAがほぼ無作為な生成品質を達成することを示す。
  論文  参考訳（メタデータ） (2025-06-04T16:01:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。