論文の概要: Thought Anchors: Which LLM Reasoning Steps Matter?

• arxiv url: http://arxiv.org/abs/2506.19143v3
• Date: Tue, 05 Aug 2025 20:34:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-07 15:43:09.000516
• Title: Thought Anchors: Which LLM Reasoning Steps Matter?
• Title（参考訳）: 思考アンカー:どのLDM推論ステップが重要か?
• Authors: Paul C. Bogdan, Uzay Macar, Neel Nanda, Arthur Conmy,
• Abstract要約: 文レベルでの推論トレースの分析は、推論過程を理解するための有望なアプローチである、と我々は主張する。 それぞれの手法は、思考のアンカーの存在を証明し、より重要視された推論ステップを提供する。 本稿では,モデルがどのように多段階の推論を行うかを示す手法間の収束パターンを示すケーススタディを提案する。
• 参考スコア（独自算出の注目度）: 3.4384069916863913
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reasoning large language models have recently achieved state-of-the-art performance in many fields. However, their long-form chain-of-thought reasoning creates interpretability challenges as each generated token depends on all previous ones, making the computation harder to decompose. We argue that analyzing reasoning traces at the sentence level is a promising approach to understanding reasoning processes. We present three complementary attribution methods: (1) a black-box method measuring each sentence's counterfactual importance by comparing final answers across 100 rollouts conditioned on the model generating that sentence or one with a different meaning; (2) a white-box method of aggregating attention patterns between pairs of sentences, which identified "broadcasting" sentences that receive disproportionate attention from all future sentences via "receiver" attention heads; (3) a causal attribution method measuring logical connections between sentences by suppressing attention toward one sentence and measuring the effect on each future sentence's tokens. Each method provides evidence for the existence of thought anchors, reasoning steps that have outsized importance and that disproportionately influence the subsequent reasoning process. These thought anchors are typically planning or backtracking sentences. We provide an open-source tool (www.thought-anchors.com) for visualizing the outputs of our methods, and present a case study showing converging patterns across methods that map how a model performs multi-step reasoning. The consistency across methods demonstrates the potential of sentence-level analysis for a deeper understanding of reasoning models.
• Abstract（参考訳）: 大規模言語モデルの推論は、最近、多くの分野で最先端のパフォーマンスを達成した。 しかし、それらの長い形式のチェーン・オブ・ソート推論は、それぞれの生成されたトークンが以前の全てのトークンに依存しているため、解釈可能性の問題を引き起こすため、計算を分解しにくくする。 文レベルでの推論トレースの分析は、推論過程を理解するための有望なアプローチである、と我々は主張する。 提案手法は,(1)各文の対物的重要性を測定するブラックボックス法,(2)各文間の注意パターンを集約するホワイトボックス法,(3)各文に対する注意を抑えることによって文間の論理的関係を測定する因果帰属法,の3つである。 それぞれの手法は、思考のアンカーの存在を証明し、重要性を誇張し、その後の推論プロセスに不均等に影響を及ぼす推論ステップを提供する。 これらの思考アンカーは典型的には、文の計画や追跡を行う。 本稿では,提案手法のアウトプットを可視化するオープンソースツール(www. Thought-anchors.com)と,モデルがマルチステップ推論を行う方法を示すメソッド間の収束パターンを示すケーススタディを提案する。 メソッド間の一貫性は、推論モデルをより深く理解するための文レベルの分析の可能性を示している。

関連論文リスト

• Latent Chain-of-Thought as Planning: Decoupling Reasoning from Verbalization [9.193078163792427]
  CoT(Chain-of-Thought)は、大規模言語モデル(LLM)に複雑な問題に取り組む権限を与える。 最近の潜伏推論手法は、連続した隠蔽状態内で推論を行うことによって効率を最適化しようとする。 PLaTは、潜在推論を言語化から根本的に切り離すことによって計画として再構成するフレームワークである。
  論文  参考訳（メタデータ） (2026-01-29T07:38:18Z)
• Thinking Before You Speak: A Proactive Test-time Scaling Approach [54.8205006555199]
  emphThinking Before You Speak (TBYS)という名前の推論フレームワークとして、私たちのアイデアを実装しています。 インテリジェンス生成のためのコンテキスト内サンプルを自動的に収集・フィルタリングするパイプラインを設計する。 挑戦的な数学的データセットの実験は、TBYSの有効性を検証する。
  論文  参考訳（メタデータ） (2025-08-26T03:43:32Z)
• A Survey on Latent Reasoning [100.54120559169735]
  大きな言語モデル(LLM)は印象的な推論機能を示している。 中間ステップを言語化するCoT推論は、モデルの表現帯域幅を制限する。 潜在的推論は、モデルの連続的な隠れ状態に完全にマルチステップの推論を実行することで、このボトルネックに対処する。
  論文  参考訳（メタデータ） (2025-07-08T17:29:07Z)
• Think Clearly: Improving Reasoning via Redundant Token Pruning [57.01254508252785]
  推論過程における冗長性を意図的に除去することで、性能が大幅に向上することを示す。 本手法は, 推論集約型ベンチマークにおいて, トレーニングを伴わずに, 全体的な精度を著しく向上することを示した。
  論文  参考訳（メタデータ） (2025-06-17T06:04:01Z)
• Self-Critique Guided Iterative Reasoning for Multi-hop Question Answering [24.446222685949227]
  大規模言語モデル(LLM)は知識集約型マルチホップ推論の課題に直面している。 自己批判型反復推論(SiGIR)を提案する。 SiGIRは、反復推論プロセスのガイドに自己批判的なフィードバックを使用する。
  論文  参考訳（メタデータ） (2025-05-25T12:10:24Z)
• Beyond the Last Answer: Your Reasoning Trace Uncovers More than You Think [51.0691253204425]
  我々は2つの質問に答えるために中間的推論ステップを解析する: 最終的な答えはモデルの最適結論を確実に表すか? 我々のアプローチは、推論トレースを言語的手がかりに基づくシーケンシャルなサブソートに分割することである。 これらの解答を最も頻繁な解(モード)を選択して集約すると、元の完全トレースから得られる解のみに依存するよりも、はるかに高い精度が得られることが判明した。
  論文  参考訳（メタデータ） (2025-04-29T12:39:07Z)
• How Do LLMs Perform Two-Hop Reasoning in Context? [76.79936191530784]
  2-ホップ推論(英: two-hop reasoning)とは、2つの論理的なステップで結論を導く過程を指す。 近年の大規模言語モデル(LLM)の進歩にもかかわらず、単純な2つのホップ推論の問題を解くのに失敗することは驚くほどある。 我々は、合成二脚推論タスクでスクラッチから3層トランスフォーマーを訓練し、内部情報の流れをリバースエンジニアリングする。
  論文  参考訳（メタデータ） (2025-02-19T17:46:30Z)
• Self-Harmonized Chain of Thought [8.540320749424172]
  CoT(Chain-of- Thought)プロンプトは、中間ステップを通じて複雑な推論を行うための大きな言語モデルの能力を示している。 多様な解経路を一貫した効果的な推論パターンに統一する新しい手法ECHOを提案する。
  論文  参考訳（メタデータ） (2024-09-06T06:57:04Z)
• Distributional reasoning in LLMs: Parallel reasoning processes in multi-hop reasoning [8.609587510471943]
  本稿では,大規模言語モデルにおける内部マルチホップ推論プロセスの新規かつ解釈可能な解析手法を提案する。 推論中、ネットワークの中間層は高度に解釈可能な埋め込みを生成する。 我々の発見は、LLMが推論タスクの解決に使っている戦略を明らかにするのに役立ち、人工知能から生まれる思考プロセスのタイプに関する洞察を提供する。
  論文  参考訳（メタデータ） (2024-06-19T21:36:40Z)
• Understanding Reasoning Ability of Language Models From the Perspective of Reasoning Paths Aggregation [110.71955853831707]
  我々は、LMを、事前学習時に見られる間接的推論経路を集約することで、新たな結論を導出すると考えている。 我々は、推論経路を知識/推論グラフ上のランダムウォークパスとして定式化する。 複数のKGおよびCoTデータセットの実験と分析により、ランダムウォークパスに対するトレーニングの効果が明らかにされた。
  論文  参考訳（メタデータ） (2024-02-05T18:25:51Z)
• Contrastive Chain-of-Thought Prompting [74.10511560147293]
  本稿では,言語モデル推論を強化するために,思考の対照的な連鎖を提案する。 従来の思考の連鎖と比較して,本手法は妥当かつ無効な推論実証を提供する。 推論ベンチマーク実験により、思考の対照的な連鎖は、思考の連鎖の促進に役立てることができることを示した。
  論文  参考訳（メタデータ） (2023-11-15T18:54:01Z)
• Implicit Chain of Thought Reasoning via Knowledge Distillation [58.80851216530288]
  思考推論ステップの連鎖を明示的に生成する代わりに、言語モデルの内部の隠れ状態を使用して暗黙の推論を行います。 このアプローチにより、明示的にチェーン・オブ・シントなしでは解決不可能なタスクを、非チェーン・オブ・シントに匹敵する速度で解決できることが分かりました。
  論文  参考訳（メタデータ） (2023-11-02T17:59:49Z)
• Abductive Commonsense Reasoning Exploiting Mutually Exclusive Explanations [118.0818807474809]
  帰納的推論は、イベントのもっともらしい説明を見つけることを目的としている。 自然言語処理における帰納的推論のための既存のアプローチは、しばしば監督のために手動で生成されたアノテーションに依存している。 この研究は、ある文脈に対して、説明のサブセットのみが正しいという事実を活用する、帰納的コモンセンス推論のアプローチを提案する。
  論文  参考訳（メタデータ） (2023-05-24T01:35:10Z)
• HOP, UNION, GENERATE: Explainable Multi-hop Reasoning without Rationale Supervision [118.0818807474809]
  本研究は、合理的な監督なしに説明可能なマルチホップQAシステムを訓練するための原則的確率論的アプローチを提案する。 提案手法は,集合としての有理を明示的にモデル化し,文書と文間の相互作用を文書内で捉えることによって,マルチホップ推論を行う。
  論文  参考訳（メタデータ） (2023-05-23T16:53:49Z)
• Learning to Reason and Memorize with Self-Notes [51.17609489687686]
  大規模言語モデルは多段階推論に苦しむことが示されている。 本稿では,これらの問題を解決するための簡単な手法を提案する。
  論文  参考訳（メタデータ） (2023-05-01T14:02:48Z)
• Faithful Reasoning Using Large Language Models [12.132449274592668]
  因果構造が問題の根底にある論理構造を反映するプロセスを通じて、LMを忠実な多段階推論を行う方法を示す。 我々の手法は、各ステップが2つの微調整されたLMへの呼び出しから得られる推論ステップをチェーンすることで機能する。 我々は,多段階論理推論と科学的質問応答におけるモデルの有効性を実証し,最終的な解答精度のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-08-30T13:44:41Z)
• Narrative Incoherence Detection [76.43894977558811]
  本稿では,文間セマンティック理解のための新たなアリーナとして,物語不整合検出の課題を提案する。 複数文の物語を考えると、物語の流れに意味的な矛盾があるかどうかを決定します。
  論文  参考訳（メタデータ） (2020-12-21T07:18:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。