論文の概要: Thought Anchors: Which LLM Reasoning Steps Matter?

• arxiv url: http://arxiv.org/abs/2506.19143v4
• Date: Mon, 27 Oct 2025 12:36:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-28 17:41:21.671175
• Title: Thought Anchors: Which LLM Reasoning Steps Matter?
• Title（参考訳）: 思考アンカー:どのLDM推論ステップが重要か?
• Authors: Paul C. Bogdan, Uzay Macar, Neel Nanda, Arthur Conmy,
• Abstract要約: 文レベルでの推論トレースの分析は、推論過程を理解するための有望なアプローチである、と我々は主張する。 本稿では,各文の対実的重要性を測定するブラックボックス手法を提案する。 文文文の因果関係を推論トレースで調べることで,モデルの振る舞いを把握できることを示す。
• 参考スコア（独自算出の注目度）: 12.689309281941995
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Current frontier large-language models rely on reasoning to achieve state-of-the-art performance. Many existing interpretability are limited in this area, as standard methods have been designed to study single forward passes of a model rather than the multi-token computational steps that unfold during reasoning. We argue that analyzing reasoning traces at the sentence level is a promising approach to understanding reasoning processes. We introduce a black-box method that measures each sentence's counterfactual importance by repeatedly sampling replacement sentences from the model, filtering for semantically different ones, and continuing the chain of thought from that point onwards to quantify the sentence's impact on the distribution of final answers. We discover that certain sentences can have an outsized impact on the trajectory of the reasoning trace and final answer. We term these sentences \textit{thought anchors}. These are generally planning or uncertainty management sentences, and specialized attention heads consistently attend from subsequent sentences to thought anchors. We further show that examining sentence-sentence causal links within a reasoning trace gives insight into a model's behavior. Such information can be used to predict a problem's difficulty and the extent different question domains involve sequential or diffuse reasoning. As a proof-of-concept, we demonstrate that our techniques together provide a practical toolkit for analyzing reasoning models by conducting a detailed case study of how the model solves a difficult math problem, finding that our techniques yield a consistent picture of the reasoning trace's structure. We provide an open-source tool (thought-anchors.com) for visualizing the outputs of our methods on further problems. The convergence across our methods shows the potential of sentence-level analysis for a deeper understanding of reasoning models.
• Abstract（参考訳）: 現在のフロンティアの大規模言語モデルは、最先端のパフォーマンスを達成するために推論に依存している。 多くの既存の解釈可能性はこの領域において制限されており、標準的な手法は推論中に展開されるマルチトークンの計算ステップではなく、モデルの単一前方通過を研究するように設計されている。 文レベルでの推論トレースの分析は、推論過程を理解するための有望なアプローチである、と我々は主張する。 モデルから置換文を繰り返しサンプリングし、意味的に異なる文をフィルタリングし、その点から思考の連鎖を継続することにより、各文が最終回答の分布に与える影響を定量化するブラックボックス手法を提案する。 我々は,ある文が推論の軌跡と最終回答の軌跡に大きな影響を与えることを発見した。 これらの文をtextit{ Thought anchors} と呼ぶ。 これらは概して計画的または不確実な管理文であり、特別な注意頭は引き続き、後続の文から思考のアンカーへの参加である。 さらに、推論トレース内の文文文因果関係を調べることで、モデルの振る舞いに関する洞察が得られることを示す。 このような情報は、問題の難易度を予測し、異なる質問領域が連続的または拡散的推論を伴う範囲を予測するのに使うことができる。 概念実証として,本手法は,モデルが難解な問題をどのように解決するかの詳細なケーススタディを行い,この手法が推論トレースの構造を一貫した図形を生成することを明らかにすることによって,推論モデルを分析するための実用的なツールキットを提供する。 今後の課題に対して,提案手法のアウトプットを可視化するためのオープンソースツール(Thought-anchors.com)を提供する。 本手法間の収束は,推論モデルをより深く理解するための文レベル解析の可能性を示している。

関連論文リスト

• Think Clearly: Improving Reasoning via Redundant Token Pruning [57.01254508252785]
  推論過程における冗長性を意図的に除去することで、性能が大幅に向上することを示す。 本手法は, 推論集約型ベンチマークにおいて, トレーニングを伴わずに, 全体的な精度を著しく向上することを示した。
  論文  参考訳（メタデータ） (2025-06-17T06:04:01Z)
• Beyond the Last Answer: Your Reasoning Trace Uncovers More than You Think [51.0691253204425]
  我々は2つの質問に答えるために中間的推論ステップを解析する: 最終的な答えはモデルの最適結論を確実に表すか? 我々のアプローチは、推論トレースを言語的手がかりに基づくシーケンシャルなサブソートに分割することである。 これらの解答を最も頻繁な解(モード)を選択して集約すると、元の完全トレースから得られる解のみに依存するよりも、はるかに高い精度が得られることが判明した。
  論文  参考訳（メタデータ） (2025-04-29T12:39:07Z)
• How Do LLMs Perform Two-Hop Reasoning in Context? [76.79936191530784]
  2-ホップ推論(英: two-hop reasoning)とは、2つの論理的なステップで結論を導く過程を指す。 近年の大規模言語モデル(LLM)の進歩にもかかわらず、単純な2つのホップ推論の問題を解くのに失敗することは驚くほどある。 我々は、合成二脚推論タスクでスクラッチから3層トランスフォーマーを訓練し、内部情報の流れをリバースエンジニアリングする。
  論文  参考訳（メタデータ） (2025-02-19T17:46:30Z)
• Self-Harmonized Chain of Thought [8.540320749424172]
  CoT(Chain-of- Thought)プロンプトは、中間ステップを通じて複雑な推論を行うための大きな言語モデルの能力を示している。 多様な解経路を一貫した効果的な推論パターンに統一する新しい手法ECHOを提案する。
  論文  参考訳（メタデータ） (2024-09-06T06:57:04Z)
• Contrastive Chain-of-Thought Prompting [74.10511560147293]
  本稿では,言語モデル推論を強化するために,思考の対照的な連鎖を提案する。 従来の思考の連鎖と比較して,本手法は妥当かつ無効な推論実証を提供する。 推論ベンチマーク実験により、思考の対照的な連鎖は、思考の連鎖の促進に役立てることができることを示した。
  論文  参考訳（メタデータ） (2023-11-15T18:54:01Z)
• Implicit Chain of Thought Reasoning via Knowledge Distillation [58.80851216530288]
  思考推論ステップの連鎖を明示的に生成する代わりに、言語モデルの内部の隠れ状態を使用して暗黙の推論を行います。 このアプローチにより、明示的にチェーン・オブ・シントなしでは解決不可能なタスクを、非チェーン・オブ・シントに匹敵する速度で解決できることが分かりました。
  論文  参考訳（メタデータ） (2023-11-02T17:59:49Z)
• HOP, UNION, GENERATE: Explainable Multi-hop Reasoning without Rationale Supervision [118.0818807474809]
  本研究は、合理的な監督なしに説明可能なマルチホップQAシステムを訓練するための原則的確率論的アプローチを提案する。 提案手法は,集合としての有理を明示的にモデル化し,文書と文間の相互作用を文書内で捉えることによって,マルチホップ推論を行う。
  論文  参考訳（メタデータ） (2023-05-23T16:53:49Z)
• Learning to Reason and Memorize with Self-Notes [51.17609489687686]
  大規模言語モデルは多段階推論に苦しむことが示されている。 本稿では,これらの問題を解決するための簡単な手法を提案する。
  論文  参考訳（メタデータ） (2023-05-01T14:02:48Z)
• Narrative Incoherence Detection [76.43894977558811]
  本稿では,文間セマンティック理解のための新たなアリーナとして,物語不整合検出の課題を提案する。 複数文の物語を考えると、物語の流れに意味的な矛盾があるかどうかを決定します。
  論文  参考訳（メタデータ） (2020-12-21T07:18:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。