論文の概要: Stateful Reasoning via Insight Replay

• arxiv url: http://arxiv.org/abs/2605.14457v2
• Date: Fri, 15 May 2026 19:02:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-19 17:57:45.999145
• Title: Stateful Reasoning via Insight Replay
• Title（参考訳）: Insight Replayによるステートフル推論
• Authors: Bin Lei, Caiwen Ding, Jiachen Yang, Ang Li, Xin Eric Wang,
• Abstract要約: CoT(Chain-of-Thought)推論は,大規模言語モデルにおける多段階推論の基盤となっている。 この現象の主な原因は、CoTが成長するにつれて、トレースの早期に生成された重要な洞察に対するモデルの注意が徐々に弱まることである。 提案手法は、モデルがその推論トレースから定期的に重要な洞察を抽出し、アクティブな世代フロンティア付近で再生するステートフル推論手法である。
• 参考スコア（独自算出の注目度）: 51.85629502016196
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Chain-of-Thought (CoT) reasoning has become a foundation for eliciting multi-step reasoning in large language models, but recent studies show that its benefits do not scale monotonically with chain length: while longer CoT generally enables a model to tackle harder problems, on a given problem, accuracy typically increases with CoT length up to a point, after which it declines. We identify a major cause of this phenomenon: as the CoT grows, the model's attention to critical insights produced earlier in the trace gradually weakens, making those insights progressively less accessible when they are most needed. Therefore, we propose \textbf{InsightReplay}, a stateful reasoning approach in which the model periodically extracts critical insights from its reasoning trace and replays them near the active generation frontier, keeping them accessible as the reasoning scales. Extensive experiments on a $\mathbf{2}\!\times\!\mathbf{3}\!\times\!\mathbf{4}$ benchmark grid, covering model scales $\{\text{8B}, \text{30B}\}$, model families $\{\text{Qwen3.5}, \text{DeepSeek-R1-Distill-Qwen}, \text{Gemma-4}\}$, and reasoning benchmarks $\{\text{AIME}, \text{HMMT}, \text{GPQA Diamond}, \text{LiveCodeBench v5}\}$, show that 3-round InsightReplay yields accuracy gains across \textbf{all 24 settings}, with an averaged improvement of $\mathbf{+1.65}$ points over standard CoT, and a largest single-setting gain of $\mathbf{+9.2}$ points on R1-Distill-32B's LiveCodeBench v5 subset. Our results suggest that the effectiveness of test-time scaling depends not only on how much a model reasons, but also on whether critical intermediate insights remain accessible throughout long reasoning trajectories.
• Abstract（参考訳）: チェーン・オブ・ソート(CoT)推論は、大規模言語モデルにおける多段階推論の基盤となっているが、最近の研究では、その利点はチェーン長と単調にスケールしないことが示されている。 この現象の主な原因は、CoTが成長するにつれて、トレースで早期に生成された重要な洞察に対するモデルの注意が徐々に弱まり、それらの洞察が最も必要なときに徐々にアクセスしにくくなります。 そこで本研究では,モデルが周期的にその推論トレースから重要な洞察を抽出し,アクティブ世代フロンティア付近で再生し,推論尺度として利用できるようにする,ステートフル推論手法である「textbf{InsightReplay}」を提案する。 $\mathbf{2}\! タイムズ! 3』に登場。 タイムズ! \mathbf{4}$ benchmark grid, cover model scales $\{\text{8B}, \text{30B}\}$, model family $\{\text{Qwen3.5}, \text{DeepSeek-R1-Distill-Qwen}, \text{Gemma-4}\}$, and reasoning benchmarks $\{\text{AIME}, \text{HMMT}, \text{GPQA Diamond}, \text{LiveCodeBench v5}\}$, shown that 3-round InsightReplays accuracy gains across \textbf{all 24 settings}。 この結果から,テストタイムスケーリングの有効性は,モデル要因の量だけでなく,重要な中間的洞察が長い推論軌道を通してアクセス可能であるかどうかにも左右されることがわかった。

関連論文リスト

• StoryTR: Narrative-Centric Video Temporal Retrieval with Theory of Mind Reasoning [9.122764358915276]
  現在のビデオモーメント検索はアクション中心のタスクでは優れているが、物語の内容では苦労している。 ToM推論を必要とする最初のビデオモーメント検索ベンチマークである textbfStoryTR を紹介する。 ToM誘導データに基づいてトレーニングされた7B textbfShorts-Momentモデルでは,ベースライン上のIoU比が+15.1%向上した。
  論文  参考訳（メタデータ） (2026-04-25T08:09:31Z)
• Shorter but not Worse: Frugal Reasoning via Easy Samples as Length Regularizers in Math RLVR [21.593023093509302]
  我々は, 緩やかに上向きに上向きに重み付けする問題は, 暗黙的な長さ正規化器として機能することを示した。 textitQwen3-4B-Thinking-2507でこのアプローチを使用した実験では,ベースラインパス@1 AIME25の精度が向上し,平均2倍近いソリューションが生成される。
  論文  参考訳（メタデータ） (2025-11-02T17:29:16Z)
• Simple Convergence Proof of Adam From a Sign-like Descent Perspective [58.89890024903816]
  我々は、Adamが以前の$cal O(fracln TTs14)$よりも$cal O(frac1Ts14)$の最適なレートを達成することを示す。 我々の理論分析は、収束を保証する重要な要因として運動量の役割に関する新たな洞察を提供する。
  論文  参考訳（メタデータ） (2025-07-08T13:19:26Z)
• Fractured Chain-of-Thought Reasoning [61.647243580650446]
  完全CoTと解のみのサンプリングを補間する統合推論時間戦略であるフラクチャードサンプリングを導入する。 フラクチャードサンプリングは、Pass@kとトークンの予算に対して、急激なログ線形スケーリングゲインをもたらすため、優れた精度とコストのトレードオフを一貫して達成できることを示す。
  論文  参考訳（メタデータ） (2025-05-19T11:30:41Z)
• Reasoning with Latent Thoughts: On the Power of Looped Transformers [52.84192961524481]
  多くの合成推論問題に対して、$k$層変換器が$L$倍ループしたことが、$kL$層非ループモデルの性能にほぼ一致することを示す。 ループ型および非ループ型モデルは、その有効深さに依存するスケーリングの挙動を示す。
  論文  参考訳（メタデータ） (2025-02-24T18:49:05Z)
• Improved Bound for Robust Causal Bandits with Linear Models [16.60875994745622]
  本稿では,時間的モデル変動に直面した因果包帯のロバスト性について検討する。 提案アルゴリズムは,$C$が$o(sqrtT)$の場合に,ほぼ最適な$tildemathcalO(sqrtT)$後悔を達成する。
  論文  参考訳（メタデータ） (2024-05-13T14:41:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。