論文の概要: RecurTrace: Adaptive Latent Reasoning with Loop-Time Memory
- arxiv url: http://arxiv.org/abs/2609.03379v1
- Date: Thu, 03 Sep 2026 05:29:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-04 18:28:38.931553
- Title: RecurTrace: Adaptive Latent Reasoning with Loop-Time Memory
- Title（参考訳）: RecurTrace: ループ時間メモリによる適応遅延推論
- Authors: Yuxiang Wang, Kunyu Feng, Yingda Shen, Haoning Xu, Junyu Wang, Zhizheng Wu,
- Abstract要約: Loop Memory Attentionでは、ループ時間軸に沿った以前のイテレーションから、ループされた各レイヤが自身の状態に参加することができる。
RecurTraceは平均2.0ループで56.9%の精度を達成し、一致した計算で2.2ポイントの最良の固定ループ深さを超えた。
- 参考スコア（独自算出の注目度）: 25.81050020222202
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Repeating a small block of middle layers increases a language model's effective inference depth without adding parameters or generating extra tokens, and recent work shows that this latent recurrence improves reasoning. However, two design choices limit these gains. Each iteration sees only the previous output and cannot directly access earlier computations. Moreover, a fixed loop count wastes depth on easy inputs while leaving hard ones with too little computation. We introduce RecurTrace, which addresses both limitations using the loop's own trajectory. Specifically, Loop Memory Attention lets each looped layer attend to its own states from previous iterations along the loop-time axis, so the model can revisit earlier computations instead of relying on the latest state alone. A halting head then reads the loop state and predicts whether to continue, with supervision from an oracle that identifies when additional depth still reduces loss. In a controlled MathQA comparison on the same looped backbone, RecurTrace achieves 56.9% accuracy with an average of 2.0 loops, exceeding the best fixed loop depth by 2.2 points at matched compute. By comparison, ACT and PonderNet collapse to one loop, and CALM reaches only 54.1% with 5.6 loops, while the stronger LoopUS-Conf and TaH-Mismatch baselines reach 55.3% at 3.2 loops and 55.7% at 2.1 loops. Finally, RecurTrace improves generation accuracy over same-budget fine-tuned baselines at 0.6B, 1.7B, 4B, and 8B, with the gain growing with model size from 0.6 to 3.4 points.
- Abstract（参考訳）: 中層の小さなブロックを繰り返すことで、パラメータを追加したり、余分なトークンを発生させることなく、言語モデルの効果的な推論深度が向上する。
しかし、2つの設計上の選択はこれらの利得を制限する。
各イテレーションは以前の出力のみを表示し、以前の計算に直接アクセスできない。
さらに、固定ループは、計算が少なすぎるハードなものを残しながら、簡単な入力の深さを無駄にする。
我々はRecurTraceを導入し、ループ自体の軌道を使って両方の制限に対処する。
特に、ループメモリ注意(Loop Memory Attention)では、ループされた各レイヤがループ時間軸に沿った以前のイテレーションから自身の状態に関連付けられているため、モデルが最新の状態のみに頼るのではなく、以前の計算を再考することができる。
停止するヘッドはループ状態を読み、継続するかどうかを予測する。
同じループバックボーン上の制御されたMathQA比較において、RecurTraceは平均2.0ループで56.9%の精度を達成し、一致した計算で2.2ポイントの最良の固定ループ深さを超える。
一方、強力なLoopUS-ConfとTaH-Mismatchのベースラインは3.2ループで55.3%、そして2.1ループで55.7%に達する。
最後に、RecurTraceは、0.6B、1.7B、4B、および8Bの細調整されたベースラインに対する生成精度を改善し、モデルサイズが0.6から3.4ポイントに増加する。
関連論文リスト
- SMELT: Scaling Laws for Compute-Matched MoE Looped Transformers [50.00050394179417]
ループ変換器はレイヤの共有ブロックを繰り返すことで効果的な深さを増大させるが、ほとんどの評価は固定モデルサイズと比較される。
混合演算変換器のループ化について検討し, トーケン毎のFLOP, 総非埋め込みパラメータ, およびKVキャッシュを密にマッチングする。
一連のアブリケーションを通じて、私たちはSMELTと呼ばれるレシピに到達します。これは3つの予算のすべてで未ループのBaselineにマッチしながら、レイヤの中央半分を2回ループします。
論文 参考訳（メタデータ） (2026-09-01T14:52:57Z) - On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。
トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
論文 参考訳（メタデータ） (2026-08-31T06:35:07Z) - Per-Token Fixed-Point Convergence in Depth-Recurrent Transformers [0.0]
出力が安定すると、各トークンが4.94平均ループで均一な深さ8品質に達すると、各トークンを停止する訓練自由規則を示す。
同じモデルから抽出された収束ラベルに基づいて訓練された線形ルータは、ほぼ完全な深さを必要とし、還元しない。
実際の高速化ではなく,3点壁面ブラケットを用いたFLOPプロキシとしての平均深度を報告する。
論文 参考訳（メタデータ） (2026-07-15T23:38:44Z) - DeepLoop: Depth Scaling for Looped Transformers [91.7922038545625]
ループ変換器は、複数のラウンドにコンパクトな物理ブロックのスタックを適用することで、シーケンシャルな計算をスケールする。
我々は、この密着した深さ効果を、訪問配向係数によって制御された一階の摂動によって定式化する。
結果のメソッド textbfDeepLoop は Post-LN DeepNorm アーキテクチャを保持し、非ロール深度に対して $= (2N)1/2$ と $=(8N)-1/2$ をセットする。
論文 参考訳（メタデータ） (2026-07-15T06:37:05Z) - LoopCoder-v2: Only Loop Once for Efficient Test-Time Computation Scaling [72.71005779366162]
本研究では,ゲインコストの観点から,ループ数選択について検討する。
この研究は18Tトークンのスクラッチからループ数が異なるループ数でLoopCoder-v2をトレーニングし、それにマッチした命令チューニングと評価を行う。
実証的には、この2ループ版はコード生成、コード推論、エージェントソフトウェアエンジニアリング、ツールスベンチマークなど、非ループベースラインよりも幅広い利益をもたらしている。
論文 参考訳（メタデータ） (2026-06-16T15:03:05Z) - Right Makes Might: Aligning Verified Hidden States Empowers RL Reasoning [55.264863369127774]
現在の方法では、それぞれの正しいロールアウトを単一の報酬ビットに減らし、隠れた状態間で共有される幾何学的構造を無視している。
本稿では,RLトレーニングにおけるアンカートークンにおける正ロールアウトの最終層を,トレーニングと推論の両方においてゼロオーバーヘッドで整列する補助損失関数Hidden-Alignを提案する。
8つの数学的推論ベンチマークでは、Hidden-AlignはDAPOベースラインの平均パス@1をQwen3-1.7B, 4B, 14Bで3.8, 6.2, 5.4ポイント改善し、3つのスケールで一貫したパス@kゲインを得る。
論文 参考訳（メタデータ） (2026-06-02T06:51:15Z) - Perturbation Dose Responses in Recursive LLM Loops: Raw Switching, Stochastic Floors, and Persistent Escape under Append, Replace, and Dialog Updates [0.0]
我々は、他のどこかで落ち着いたループを動かすのに、注入されたテキストがどれだけ必要か、そしてそれが継続するかどうかを調査する。
12,000文字の尾クリップの下では、目的地とコヒーレントな持続性台地が16%近く、ソースとバスンの脱出は36%近くで400。
4段階のファルシフィケーション・バッテリは、高線量のデスティネーションコヒーレントディップを有限水平、エンドポイント定義感度の特徴として再キャストする。
論文 参考訳（メタデータ） (2026-05-04T05:16:43Z) - Universal Transformers Need Memory: Depth-State Trade-offs in Adaptive Recursive Reasoning [0.0]
本研究では,SudokuExtreme上の単一ブロックユニバーサルトランス (UT) のスクラッチパッドとして学習したメモリトークンについて検討した。
メモリトークンは、テストされたすべての構成で、メモリトークンのない構成は、非自明なパフォーマンスです。
論文 参考訳（メタデータ） (2026-04-23T18:30:01Z) - Think-at-Hard: Selective Latent Iterations to Improve Reasoning Language Models [22.525318796588568]
シンク・アット・ハード(Think-at-Hard, TaH)は、ハードトークンでのみ深く反復する動的潜在思考法である。
TaHは5つの挑戦的なベンチマークで推論のパフォーマンスを向上する。
論文 参考訳（メタデータ） (2025-11-11T18:57:02Z) - DeepPrune: Parallel Scaling without Inter-trace Redundancy [53.62015294143274]
並列推論トレースの80%以上は、実質的な無駄な計算を代表して、同じ最終回答をもたらす。
動的プルーニングによる効率的な並列スケーリングを実現する新しいフレームワークであるDeepPruneを提案する。
我々の研究は並列推論のための新しい標準を確立し、高性能推論をより効率的にする。
論文 参考訳（メタデータ） (2025-10-09T17:24:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。