論文の概要: On Reasoning Correctness Directions

• arxiv url: http://arxiv.org/abs/2610.25464v1
• Date: Sun, 18 Oct 2026 18:49:15 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:13:33.648376
• Title: On Reasoning Correctness Directions
• Title（参考訳）: 正しい方向の推論について
• Abstract要約: 実験的な証拠は、モデルの推論が正しい軌道上にあるかどうかに関する情報は、ステアリングに因果的に有用な方向を定義することなく線形にデオード可能であることを示唆している。 明示的な検索とバックトラッキングでCountdownを拡張する制御された算術推論タスクであるChainSearchを紹介した。 モデルには統計的に有意な正当性を推論する内部方向が含まれているが,因果的介入による推論を常に改善する方向は存在しない。
• 参考スコア（独自算出の注目度）: 28.255268443768568
• License:
• Abstract: We present experimental evidence suggesting that information about whether a model's reasoning is on the right track can be linearly decodable without defining a causally useful direction for steering. To study this, we introduce ChainSearch, a controlled arithmetic reasoning task that extends Countdown with explicit search and backtracking. We train a 3-million-parameter model to solve this task. Its compact size allows us to study internal model correctness directions in detail using linear probes, mean activation differences, and direct optimisation, as part of a rigorous search for internal reasoning-correctness directions. We find that while the model contains statistically significant internal directions of reasoning correctness, none of the resulting directions consistently improves reasoning under causal intervention. This calls into question whether the linear representation hypothesis is sufficient for identifying causally useful directions in the context of reasoning. Our code is made available together with this work.
• Abstract（参考訳）: 本稿では,モデルが正しい軌道上にあるかどうかの情報は,ステアリングにおいて因果的に有用な方向を定義することなく,線形にデオード可能であることを示す実験的な証拠を示す。 そこで我々はChainSearchを紹介した。これはCountdownを明示的な検索とバックトラックで拡張する制御された算術推論タスクである。 この問題を解決するために,300万パラメータモデルをトレーニングする。 そのコンパクトなサイズは、線形プローブ、平均アクティベーション差、および直接最適化を用いて、内部推論精度の厳密な探索の一部として、内部モデル補正方向を詳細に研究することができる。 モデルには統計的に有意な正当性を推論する内部方向が含まれているが,因果的介入による推論を常に改善する方向は存在しない。 このことは、線形表現仮説が推論の文脈で因果的有用な方向を特定するのに十分かどうかを問う。 私たちのコードは、この作業と一緒に利用可能です。

関連論文リスト

• Learning to Reason Efficiently with A* Post-Training [119.18396754931602]
  大規模言語モデルでは, A* 探索のガイダンスを用いて, 正確かつ効率的な証明を生成することができるかを検討する。 経験的に、1B--3B範囲のLlama-3.2モデルはA*ポストトレーニングの恩恵が大きいことが判明した。 より大きな探索空間では、不完全で訓練されたモデルの方が精度が高い。
  論文  参考訳（メタデータ） (2026-05-23T14:28:57Z)
• Decoding Answers Before Chain-of-Thought: Evidence from Pre-CoT Probes and Activation Steering [5.427346259545067]
  CoT(Chain-of- Thought)は、大規模言語モデルにおける推論機能のスケーリングの中心となっている。 命令調整モデルがCoTを生成する前に解答を決定する場合が多いことを示す。
  論文  参考訳（メタデータ） (2026-03-02T04:33:55Z)
• Stabilizing Reinforcement Learning for Honesty Alignment in Language Models on Deductive Reasoning [27.42733470720954]
  本研究では,地上の真実軌道をロールアウトに注入し,早期の訓練崩壊を防ぐ強化学習手法を提案する。 その結果,本手法は学習を安定させ,全体の推論性能を大幅に向上させることを示した。
  論文  参考訳（メタデータ） (2025-11-12T11:34:19Z)
• Towards Inference-time Scaling for Continuous Space Reasoning [55.40260529506702]
  推論時間スケーリングは、大規模言語モデルにおけるテキストベースの推論に有効であることが証明されている。 本稿では,そのような確立された手法が連続空間における推論にうまく適応できるかどうかを考察する。 本研究では,ドロップアウト型サンプリングによる多種多様な推論経路の実現可能性を示す。
  論文  参考訳（メタデータ） (2025-10-14T05:53:41Z)
• Correct Reasoning Paths Visit Shared Decision Pivots [11.42890083738685]
  我々は,任意の正しい推論経路を訪れる必要があるという,最小限かつ検証可能なチェックポイントの考え方を導入する。 我々は,多様な推論経路を抽出し,意思決定の選択肢を共有する自己学習パイプラインを提案する。 提案手法は, 根拠となる真理推論データや外部メトリクスを使わずに推論を整列する。
  論文  参考訳（メタデータ） (2025-09-25T20:34:45Z)
• Probing for Arithmetic Errors in Language Models [86.8227317662622]
  言語モデルの内部アクティベーションは、算術誤差を検出するために使用できる。 単純なプローブはモデルが予測した出力と正解の両方を隠蔽状態から正確に復号できることを示す。 モデル精度を90%以上の精度で予測する軽量エラー検出器を訓練する。
  論文  参考訳（メタデータ） (2025-07-16T16:27:50Z)
• Beyond Semantics: The Unreasonable Effectiveness of Reasonless Intermediate Tokens [14.78605805191225]
  中間トークンのセマンティクスが「思考」や「推論トレース」として人間化され、実際にモデル性能にどのように影響するかを考察する。 解のみのベースラインが大幅に改善されているにもかかわらず、完全に正しいトレースで訓練されたモデルは、正しい解に到達すると、いまだに不正な推論トレースを生成する。
  論文  参考訳（メタデータ） (2025-05-19T23:29:23Z)
• Understanding Reasoning Ability of Language Models From the Perspective of Reasoning Paths Aggregation [110.71955853831707]
  我々は、LMを、事前学習時に見られる間接的推論経路を集約することで、新たな結論を導出すると考えている。 我々は、推論経路を知識/推論グラフ上のランダムウォークパスとして定式化する。 複数のKGおよびCoTデータセットの実験と分析により、ランダムウォークパスに対するトレーニングの効果が明らかにされた。
  論文  参考訳（メタデータ） (2024-02-05T18:25:51Z)
• Abductive Commonsense Reasoning Exploiting Mutually Exclusive Explanations [118.0818807474809]
  帰納的推論は、イベントのもっともらしい説明を見つけることを目的としている。 自然言語処理における帰納的推論のための既存のアプローチは、しばしば監督のために手動で生成されたアノテーションに依存している。 この研究は、ある文脈に対して、説明のサブセットのみが正しいという事実を活用する、帰納的コモンセンス推論のアプローチを提案する。
  論文  参考訳（メタデータ） (2023-05-24T01:35:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。