論文の概要: Thinking in Latents: Adaptive Anchor Refinement for Implicit Reasoning in LLMs

• arxiv url: http://arxiv.org/abs/2603.15051v1
• Date: Mon, 16 Mar 2026 10:06:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-17 18:28:57.998158
• Title: Thinking in Latents: Adaptive Anchor Refinement for Implicit Reasoning in LLMs
• Title（参考訳）: LLMにおける不規則推論のための適応型アンカーリファインメント
• Authors: Disha Sheshanarayana, Rajat Subhra Pal, Manjira Sinha, Tirthankar Dasgupta,
• Abstract要約: AdaAnchorは、入力にアタッチされた潜在アンカーベクトルのセットを精算することにより、サイレント反復計算を行う潜在推論フレームワークである。 適応停止したAdaAnchorは、固定ステップの潜伏精錬で最大5%の精度向上を達成し、最大ステップの予算で平均潜伏精錬歩数を48〜60%削減する。
• 参考スコア（独自算出の注目度）: 3.0215547730060206
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Token-level Chain-of-Thought (CoT) prompting has become a standard way to elicit multi-step reasoning in large language models (LLMs), especially for mathematical word problems. However, generating long intermediate traces increases output length and inference cost, and can be inefficient when the model could arrive at the correct answer without extensive verbalization. This has motivated latent-space reasoning approaches that shift computation into hidden representations and only emit a final answer. Yet, many latent reasoning methods depend on a fixed number of latent refinement steps at inference, adding another hyperparameter that must be tuned across models and datasets to balance accuracy and efficiency. We introduce AdaAnchor, a latent reasoning framework that performs silent iterative computation by refining a set of latent anchor vectors attached to the input. AdaAnchor further incorporates an adaptive halting mechanism that monitors anchor stability across iterations and terminates refinement once the anchor dynamics converge, allocating fewer steps to easier instances while reserving additional refinement steps for harder ones under a shared maximum-step budget. Our empirical evaluation across three mathematical word-problem benchmarks shows that AdaAnchor with adaptive halting yields accuracy gains of up to 5% over fixed-step latent refinement while reducing average latent refinement steps by 48-60% under the same maximum-step budget. Compared to standard reasoning baselines, AdaAnchor achieves large reductions in generated tokens (92-93%) by moving computation into silent latent refinement, offering a different accuracy-efficiency trade-off with substantially lower output-token usage.
• Abstract（参考訳）: トークンレベルのChain-of-Thought(CoT)プロンプトは、特に数学的単語問題において、大規模言語モデル(LLM)における多段階推論の標準的な方法となっている。 しかし、長い中間トレースを生成することで出力長と推論コストが増加し、広範囲の動詞化なしにモデルが正しい解に到達できた場合、非効率になる可能性がある。 これは、計算を隠された表現にシフトし、最終的な答えを出力する、潜在空間推論のアプローチを動機付けている。 しかし、多くの潜伏推論手法は推論時に一定の数の潜伏洗練されたステップに依存しており、精度と効率のバランスをとるためにモデルとデータセットをまたいで調整する必要がある別のハイパーパラメータを追加している。 AdaAnchorは、入力にアタッチされた潜在アンカーベクトルのセットを精算することにより、サイレント反復計算を行う潜在推論フレームワークである。 AdaAnchorはさらに、イテレーション間のアンカー安定性を監視し、アンカーダイナミクスが収束するとリファインメントを終了するアダプティブ・ストップ機構を導入し、インスタンスをより簡単にするためのステップを減らし、共有の最大ステップ予算の下でより難しいもののための追加リファインメントステップを維持している。 適応停止を有するAdaAnchorは, 平均潜時精錬工程を48～60%減らすとともに, 固定段潜時精錬よりも最大5%の精度向上を達成できることを示す。 標準的な推論ベースラインと比較して、AdaAnchorは、計算をサイレント潜在精細化に移行することで、生成トークン(92-93%)の大幅な削減を実現し、出力-トークン使用量を大幅に削減した、精度-効率のトレードオフを提供する。

関連論文リスト

• Stepwise Penalization for Length-Efficient Chain-of-Thought Reasoning [66.22060690012512]
  大規模な推論モデルは、より多くのテストタイム計算で改善されるが、しばしば過大評価され、正確さを向上することなくコストを上昇させる必要のない長い連鎖を生み出す。 本研究は,本質的な貢献に基づいて,ステップ間の長さ短縮を割り当てる,きめ細かいフレームワークであるSWAPを提案する。
  論文  参考訳（メタデータ） (2026-02-27T20:23:59Z)
• ARS: Adaptive Reasoning Suppression for Efficient Large Reasoning Language Models [0.0]
  推論抑制(Reasoning Suppression、ARS)は、冗長な推論ステップを動的に抑制する訓練のないアプローチである。 ARSは53%、46.1%、57.9%のトークン、レイテンシ、エネルギー削減を実現し、精度を維持または改善している。
  論文  参考訳（メタデータ） (2025-09-29T20:19:41Z)
• Fractured Chain-of-Thought Reasoning [61.647243580650446]
  完全CoTと解のみのサンプリングを補間する統合推論時間戦略であるフラクチャードサンプリングを導入する。 フラクチャードサンプリングは、Pass@kとトークンの予算に対して、急激なログ線形スケーリングゲインをもたらすため、優れた精度とコストのトレードオフを一貫して達成できることを示す。
  論文  参考訳（メタデータ） (2025-05-19T11:30:41Z)
• Sketch-of-Thought: Efficient LLM Reasoning with Adaptive Cognitive-Inspired Sketching [64.74765550805024]
  Chain-of-Thoughtはステップバイステップの問題解決を促すが、中間出力の過剰な冗長性を犠牲にすることが多い。 我々は,認知にインスパイアされた推論パラダイムを言語制約と統合する促進フレームワークであるSketch-of-Thought(SoT)を提案する。 SoTはトークンを最大84%削減し、18の推論データセットで最小限の精度ロスを達成している。
  論文  参考訳（メタデータ） (2025-03-07T06:57:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。