論文の概要: Thought Anchors: Which LLM Reasoning Steps Matter?
- arxiv url: http://arxiv.org/abs/2506.19143v2
- Date: Wed, 25 Jun 2025 00:18:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-26 12:28:29.374577
- Title: Thought Anchors: Which LLM Reasoning Steps Matter?
- Title(参考訳): 思考アンカー:どのLDM推論ステップが重要か?
- Authors: Paul C. Bogdan, Uzay Macar, Neel Nanda, Arthur Conmy,
- Abstract要約: 文レベルでの推論トレースの分析は、推論過程を理解するための有望なアプローチである、と我々は主張する。
それぞれの手法は、思考のアンカーの存在を証明し、より重要視された推論ステップを提供する。
本稿では,モデルがどのように多段階の推論を行うかを示す手法間の収束パターンを示すケーススタディを提案する。
- 参考スコア(独自算出の注目度): 3.4384069916863913
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reasoning large language models have recently achieved state-of-the-art performance in many fields. However, their long-form chain-of-thought reasoning creates interpretability challenges as each generated token depends on all previous ones, making the computation harder to decompose. We argue that analyzing reasoning traces at the sentence level is a promising approach to understanding reasoning processes. We present three complementary attribution methods: (1) a black-box method measuring each sentence's counterfactual importance by comparing final answers across 100 rollouts conditioned on the model generating that sentence or one with a different meaning; (2) a white-box method of aggregating attention patterns between pairs of sentences, which identified "broadcasting" sentences that receive disproportionate attention from all future sentences via "receiver" attention heads; (3) a causal attribution method measuring logical connections between sentences by suppressing attention toward one sentence and measuring the effect on each future sentence's tokens. Each method provides evidence for the existence of thought anchors, reasoning steps that have outsized importance and that disproportionately influence the subsequent reasoning process. These thought anchors are typically planning or backtracking sentences. We provide an open-source tool (www.thought-anchors.com) for visualizing the outputs of our methods, and present a case study showing converging patterns across methods that map how a model performs multi-step reasoning. The consistency across methods demonstrates the potential of sentence-level analysis for a deeper understanding of reasoning models.
- Abstract(参考訳): 大規模言語モデルの推論は、最近、多くの分野で最先端のパフォーマンスを達成した。
しかし、それらの長い形式のチェーン・オブ・ソート推論は、それぞれの生成されたトークンが以前の全てのトークンに依存しているため、解釈可能性の問題を引き起こすため、計算を分解しにくくする。
文レベルでの推論トレースの分析は、推論過程を理解するための有望なアプローチである、と我々は主張する。
提案手法は,(1)各文の対物的重要性を測定するブラックボックス法,(2)各文間の注意パターンを集約するホワイトボックス法,(3)各文に対する注意を抑えることによって文間の論理的関係を測定する因果帰属法,の3つである。
それぞれの手法は、思考のアンカーの存在を証明し、重要性を誇張し、その後の推論プロセスに不均等に影響を及ぼす推論ステップを提供する。
これらの思考アンカーは典型的には、文の計画や追跡を行う。
本稿では,提案手法のアウトプットを可視化するオープンソースツール(www. Thought-anchors.com)と,モデルがマルチステップ推論を行う方法を示すメソッド間の収束パターンを示すケーススタディを提案する。
メソッド間の一貫性は、推論モデルをより深く理解するための文レベルの分析の可能性を示している。
関連論文リスト
- Beyond the Last Answer: Your Reasoning Trace Uncovers More than You Think [51.0691253204425]
我々は2つの質問に答えるために中間的推論ステップを解析する: 最終的な答えはモデルの最適結論を確実に表すか?
我々のアプローチは、推論トレースを言語的手がかりに基づくシーケンシャルなサブソートに分割することである。
これらの解答を最も頻繁な解(モード)を選択して集約すると、元の完全トレースから得られる解のみに依存するよりも、はるかに高い精度が得られることが判明した。
論文 参考訳(メタデータ) (2025-04-29T12:39:07Z) - How Do LLMs Perform Two-Hop Reasoning in Context? [76.79936191530784]
2-ホップ推論(英: two-hop reasoning)とは、2つの論理的なステップで結論を導く過程を指す。
近年の大規模言語モデル(LLM)の進歩にもかかわらず、単純な2つのホップ推論の問題を解くのに失敗することは驚くほどある。
我々は、合成二脚推論タスクでスクラッチから3層トランスフォーマーを訓練し、内部情報の流れをリバースエンジニアリングする。
論文 参考訳(メタデータ) (2025-02-19T17:46:30Z) - Self-Harmonized Chain of Thought [8.540320749424172]
CoT(Chain-of- Thought)プロンプトは、中間ステップを通じて複雑な推論を行うための大きな言語モデルの能力を示している。
多様な解経路を一貫した効果的な推論パターンに統一する新しい手法ECHOを提案する。
論文 参考訳(メタデータ) (2024-09-06T06:57:04Z) - Contrastive Chain-of-Thought Prompting [74.10511560147293]
本稿では,言語モデル推論を強化するために,思考の対照的な連鎖を提案する。
従来の思考の連鎖と比較して,本手法は妥当かつ無効な推論実証を提供する。
推論ベンチマーク実験により、思考の対照的な連鎖は、思考の連鎖の促進に役立てることができることを示した。
論文 参考訳(メタデータ) (2023-11-15T18:54:01Z) - HOP, UNION, GENERATE: Explainable Multi-hop Reasoning without Rationale
Supervision [118.0818807474809]
本研究は、合理的な監督なしに説明可能なマルチホップQAシステムを訓練するための原則的確率論的アプローチを提案する。
提案手法は,集合としての有理を明示的にモデル化し,文書と文間の相互作用を文書内で捉えることによって,マルチホップ推論を行う。
論文 参考訳(メタデータ) (2023-05-23T16:53:49Z) - Learning to Reason and Memorize with Self-Notes [51.17609489687686]
大規模言語モデルは多段階推論に苦しむことが示されている。
本稿では,これらの問題を解決するための簡単な手法を提案する。
論文 参考訳(メタデータ) (2023-05-01T14:02:48Z) - Narrative Incoherence Detection [76.43894977558811]
本稿では,文間セマンティック理解のための新たなアリーナとして,物語不整合検出の課題を提案する。
複数文の物語を考えると、物語の流れに意味的な矛盾があるかどうかを決定します。
論文 参考訳(メタデータ) (2020-12-21T07:18:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。