論文の概要: COMPASS: Finding Where Reasoning Lives in Language Models

• arxiv url: http://arxiv.org/abs/2610.07469v1
• Date: Mon, 05 Oct 2026 22:35:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:29.693213
• Title: COMPASS: Finding Where Reasoning Lives in Language Models
• Title（参考訳）: CompASS: 言語モデルで推論する場所を見つける
• Abstract要約: 既存のアプローチでは、推論の事前定義された特徴付けが必要である。 検証可能な解を用いた数学的推論では、モデル自身の直接解法の試みの正しさである、はるかに単純な信号が十分であることを示す。 提案手法は,ロジト空間属性スコアを用いて頭部を識別し,その正しさの方向に沿ってその動作を操る,推定時ステアリング手法であるCompassを導入する。
• 参考スコア（独自算出の注目度）: 5.345053052255085
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Explicitly eliciting reasoning substantially improves LLM performance. Existing approaches require a predefined characterization of reasoning, whether through CoT prompt design, contrastive CoT directions, or via SAE derived reasoning features. For mathematical reasoning with verifiable answers, we show that a much simpler signal suffices, which is the correctness of the model's own direct answer attempts. This signal yields a latent direction that elicits reasoning. This direction is decodable within the activations of most attention heads, but only a small subset of them can be effectively intervened. We introduce COMPASS, an inference-time steering method that identifies these heads using a logit-space attribution score and steers their activations along the correctness direction, requiring only per-head activation statistics. Across three model families and multiple math benchmarks, COMPASS outperforms the activation-steering baselines we compare against, improves GSM8K accuracy by 16 percentage points on average, and approaches CoT accuracy with 20-70\% fewer generated tokens. Interventions transfer without re-fitting to unseen benchmarks, and ablations show that both the correctness direction and the small set of heads carrying it are necessary, with the effect concentrated in remarkably few heads.
• Abstract（参考訳）: 明示的な推論による推論はLLMの性能を大幅に向上させる。 既存のアプローチでは、CoTのプロンプト設計、対照的なCoT方向、SAEの派生した推論機能など、推論の事前定義された特性を必要とする。 検証可能な解を用いた数学的推論では、モデル自身の直接解法の試みの正しさである、はるかに単純な信号が十分であることを示す。 この信号は推論を誘発する遅延方向を生成する。 この方向は、ほとんどの注目ヘッドのアクティベーション内ではデオード可能であるが、そのごく一部しか効果的に介入できない。 CompASSは、ロジト空間属性スコアを用いてこれらのヘッドを識別し、そのアクティベーションを正しい方向に沿って制御し、ヘッド毎のアクティベーション統計のみを必要とする推論時ステアリング手法である。 3つのモデルファミリと複数の数学ベンチマークで、CompASSは私たちが比較したアクティベーションステアリングベースラインよりも優れており、GSM8Kの精度は平均16ポイント向上し、CoTの精度は20～70倍に向上した。 干渉は見当たらないベンチマークに再適合せずに伝達され、アブレーションは、その正しさ方向とそれを運ぶ小さなヘッドセットの両方が必要であり、その効果は驚くほど少ないヘッドに集中していることを示している。

関連論文リスト

• Inference-time Alignment via Sparse Junction Steering [25.464612964225484]
  推論時間アライメントのための重要なアプローチとして、トークンレベルのステアリングが登場している。 既存の手法はデコードの各ステップで密接な介入に依存している。 密接な介入は不要であり,スパースジャンクションステアリングを提案する。
  論文  参考訳（メタデータ） (2026-01-30T08:40:47Z)
• Understanding and Steering the Cognitive Behaviors of Reasoning Models at Test-Time [22.9491443902816]
  本研究では、推論軌跡の構造と、異なる認知行動と相関する特別な注意点を明らかにする。 テスト時間における認知推論ステアリングのトレーニング不要な方法であるCRESTを提案する。 CRESTは非生産的推論の振る舞いを適応的に抑制し、高い精度と低い計算コストをもたらす。
  論文  参考訳（メタデータ） (2025-12-31T02:46:04Z)
• Verifying Large Language Models' Reasoning Paths via Correlation Matrix Rank [71.09032766271493]
  大規模言語モデル (LLM) は誤りや幻覚を引き起こす傾向がある。 アウトプットを効果的かつ効率的にチェックする方法は、アプリケーションにとって重要な問題となっている。
  論文  参考訳（メタデータ） (2025-10-28T11:01:10Z)
• CLUE: Non-parametric Verification from Experience via Hidden-State Clustering [64.50919789875233]
  隠れアクティベーションの軌跡内の幾何的に分離可能なシグネチャとして解の正しさが符号化されていることを示す。 ClUE は LLM-as-a-judge ベースラインを一貫して上回り、候補者の再選において近代的な信頼に基づく手法に適合または超えている。
  論文  参考訳（メタデータ） (2025-10-02T02:14:33Z)
• SEAL: Steerable Reasoning Calibration of Large Language Models for Free [58.931194824519935]
  大規模言語モデル(LLM)は、拡張チェーン・オブ・ソート(CoT)推論機構を通じて複雑な推論タスクに魅力的な機能を示した。 最近の研究では、CoT推論トレースにかなりの冗長性が示されており、これはモデル性能に悪影響を及ぼす。 我々は,CoTプロセスをシームレスに校正し,高い効率性を示しながら精度を向上する,トレーニング不要なアプローチであるSEALを紹介した。
  論文  参考訳（メタデータ） (2025-04-07T02:42:07Z)
• Ladder-of-Thought: Using Knowledge as Steps to Elevate Stance Detection [73.31406286956535]
  姿勢検出タスクにLadder-of-Thought(LoT)を導入する。 LoTは、小さなLMに高品質な外部知識を同化させ、生成した中間的論理を精査するように指示する。 実験では, 姿勢検出タスクにおけるCoTのGPT-3.5よりも16%改善し, 10%向上した。
  論文  参考訳（メタデータ） (2023-08-31T14:31:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。