論文の概要: Reasoning Errors Have a Region and a Direction in the Residual-Stream Trajectory of LLMs

• arxiv url: http://arxiv.org/abs/2608.05660v1
• Date: Thu, 06 Aug 2026 06:58:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-07 17:43:06.705318
• Title: Reasoning Errors Have a Region and a Direction in the Residual-Stream Trajectory of LLMs
• Title（参考訳）: LLMの残留ストリーム軌道における領域と方向を持つ共振誤差
• Abstract要約: 言語モデルは、検証可能な推論を必要とするタスクにますます使われています。 近年のトラジェクトリに基づく手法では, 層方向の残留流変位でこの信号を求める。 本研究では,動きを2つの制限された位置ビューと組み合わせた3ストリーム検出器を提案する。
• 参考スコア（独自算出の注目度）: 6.839620870759728
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As language models are increasingly used for tasks that require verifiable reasoning, reliably distinguishing sound reasoning from flawed reasoning has become an important practical problem. Recent trajectory-based methods seek this signal in layerwise residual-stream displacements, which capture how representations change while attenuating some stable, token-specific information. However, displacement omits the state from which an update originates, whereas restoring the full state risks reintroducing shortcut-prone information. We identify this trade-off and propose a three-stream detector that combines motion with two restricted views of location. A coarse region reader based on vector quantization and a fine direction reader over normalized multi-layer states. This design restores enough state context to interpret the motion without returning to full-state probing. On reasoning benchmarks unseen during training, our method improves selection accuracy by up to 12% over the displacement-only state of the art and 21% over single-layer probing baselines. Although trained only on reasoning benchmarks, it also reads factual completion and fact verification, ahead of every detector we compare against, which places the signal on correctness rather than on a kind of reasoning. Ablations further show that motion, region, and direction provide complementary signals. These results suggest that reasoning validity is better read from state-conditioned motion than from either static states or decontextualized trajectories alone.
• Abstract（参考訳）: 言語モデルは、検証可能な推論を必要とするタスクにますます使われており、音響推論と欠陥推論を確実に区別することが重要な実践的問題となっている。 近年の軌道に基づく手法では、このシグナルを層方向に残留ストリームの変位で求めており、安定なトークン固有の情報を減衰させながら、表現がどのように変化するかを捉えている。 しかし、変位は更新が発する状態を省略し、一方、完全な状態のリスクを回復してショートカット・ショーン情報を再導入する。 我々は、このトレードオフを特定し、動きを2つの制限された位置ビューと組み合わせた3ストリーム検出器を提案する。 ベクトル量子化に基づく粗い領域リーダと正規化多層状態上の微細方向リーダ この設計は、完全な状態探索に戻ることなく動きを解釈するのに十分な状態コンテキストを復元する。 学習中に見つからない推論ベンチマークでは, 偏移のみの状態よりも最大12%, 単層探索ベースラインより21%の精度で選択精度を向上する。 推論ベンチマークのみに基づいてトレーニングされているが、実際の完了と事実検証も、私たちが比較するすべての検出器よりも先に読み込まれており、信号はある種の推論ではなく正確性に置かれている。 アブレーションは、運動、領域、方向が相補的な信号を提供することを示す。 これらの結果は,静的な状態や非文脈化された軌跡のみからのみ,状態条件の運動から推論の妥当性を読み取るのがよいことを示唆している。

関連論文リスト

• Inside VLM Chart Reading: Tracing Value Reading from Vertical Bar Charts Across Space and Depth [50.62320148925983]
  視覚言語モデル(VLM)は、チャートの質問に正確に答えることができるが、正確な値を取り戻すのに必要な証拠をどのように組み合わせるかは、出力精度が示さない。 Qwen2.5VL-7B-Instruct および InternVL3.5-8B における反現実的活性化パッチによる垂直バー値の読み出しについて検討した。
  論文  参考訳（メタデータ） (2026-09-12T06:28:11Z)
• PERSIST: Persistent-State Discrimination for Shot Boundary Detection [2.2822910284300355]
  ショット境界検出(SBD)は局所的な視覚不連続の局所化として広く扱われている。 境界意味識別としてSBDを再構成する。 PerSISTはすべての決定を検査可能な決定に変換する。
  論文  参考訳（メタデータ） (2026-08-29T14:23:00Z)
• Can We Break LLMs Out of Self-Loops? Fine-Grained Reasoning Control with Activation Steering [44.273459587532535]
  大規模言語モデルからの推論トレースにおける潜時遷移のダイナミクスを解析し,発見する。 フェールトラジェクトリが自己ループで立ち往生していることを示し、最終回答に向けて前進することなくトークン予算を浪費する。 隠れ状態干渉・活性化による推論過程のステアリングについて提案する。
  論文  参考訳（メタデータ） (2026-07-20T16:01:57Z)
• Where Does Reasoning Break? Step-Level Hallucination Detection via Hidden-State Transport Geometry [3.2848713528308817]
  大規模言語モデルは多段階の推論で幻覚するが、既存の検出器のほとんどはトレースレベルで動作する。 我々はこのビューをラベル付き教師で運用し、トレース固有のコントラスト型PCAレンズを構築する。 コントラストPCAが第1次誤差と正しい状態の移動分離目標の最適投影であることを示す。
  論文  参考訳（メタデータ） (2026-05-13T16:48:48Z)
• Rethinking State Tracking in Recurrent Models Through Error Control Dynamics [26.942965240880515]
  本研究では,アフィン再帰ネットワークが状態表現を保存すると,状態分離部分空間の誤りを訂正できないことを示す。 我々は、ロバストな状態追跡がアーキテクチャの理論的表現性だけでなく、エラー制御によって決定されることを証明した。
  論文  参考訳（メタデータ） (2026-05-08T13:59:15Z)
• Correct Answers from Sound Reasoning: Verifiable Process Supervision for Language Models [94.68358825189738]
  本稿では,予測精度と推論品質を協調的に最適化する検証済み領域の学習後フレームワークを提案する。 我々は,エンジン信号に対して推論ステップを確定的に検証できる制御テストベッドであるチェスのVPSを評価する。 VPSは、推論品質を著しく向上させながら精度を保ち、勝利率エラーを最大30%削減し、一貫性をほぼ飽和状態に回復する。
  論文  参考訳（メタデータ） (2026-04-03T15:19:46Z)
• SEAL: Steerable Reasoning Calibration of Large Language Models for Free [58.931194824519935]
  大規模言語モデル(LLM)は、拡張チェーン・オブ・ソート(CoT)推論機構を通じて複雑な推論タスクに魅力的な機能を示した。 最近の研究では、CoT推論トレースにかなりの冗長性が示されており、これはモデル性能に悪影響を及ぼす。 我々は,CoTプロセスをシームレスに校正し,高い効率性を示しながら精度を向上する,トレーニング不要なアプローチであるSEALを紹介した。
  論文  参考訳（メタデータ） (2025-04-07T02:42:07Z)
• Landscape of Thoughts: Visualizing the Reasoning Process of Large Language Models [58.64449765678416]
  思考のランドスケープ(LoT)を導入し、任意の複数選択データセット上で特定の推論手法で推論軌跡を検査する。 LoTは、強いモデルと弱いモデル、正解と誤解、および異なる推論タスクを区別する。 トラジェクトリの正しさを評価する軽量検証器にLoTを適用することで、この利点を実証する。
  論文  参考訳（メタデータ） (2025-03-28T06:09:51Z)
• Modeling State Shifting via Local-Global Distillation for Event-Frame Gaze Tracking [61.44701715285463]
  本稿では,イベントデータとフレームデータの両方を用いた受動的視線推定の問題に取り組む。 我々は、現在の状態からいくつかの事前登録されたアンカー状態に移行する状態の定量化として、視線推定を再構成する。 大規模視線推定ネットワークを直接学習する代わりに,地域の専門家グループと学生ネットワークを連携させることにより,一般化能力の向上を図る。
  論文  参考訳（メタデータ） (2024-03-31T03:30:37Z)
• A New Bandit Setting Balancing Information from State Evolution and Corrupted Context [52.67844649650687]
  本稿では,2つの確立されたオンライン学習問題と包括的フィードバックを組み合わせた,逐次的意思決定方式を提案する。 任意の瞬間にプレーする最適なアクションは、エージェントによって直接観察できない基礎となる変化状態に付随する。 本稿では,レフェリーを用いて,コンテキストブレイジットとマルチアームブレイジットのポリシーを動的に組み合わせるアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-11-16T14:35:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。