論文の概要: Linear Probes Detect Task Format, Not Reasoning Mode in Language Model Hidden States

• arxiv url: http://arxiv.org/abs/2606.02907v1
• Date: Mon, 01 Jun 2026 21:22:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-03 22:00:04.614271
• Title: Linear Probes Detect Task Format, Not Reasoning Mode in Language Model Hidden States
• Title（参考訳）: 言語モデル隠れ状態における推論モードのない線形プローブ検出タスクフォーマット
• Authors: Subramanyam Sahoo, Vinija Jain, Aman Chadha, Divya Chaudhary,
• Abstract要約: 大規模言語モデル(LLM)隠れ状態の線形探索は、モデルが異なる推論型に対して異なる表現を学習すると主張するために広く用いられている。 古典的三分法にまたがる3つのベンチマーク、LogiQA 2.0 (導出性)、ARC-Challenge (導出性)、$$NLI (導出性)で、QwensicBによりこれを検証した。
• 参考スコア（独自算出の注目度）: 16.505918019260964
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Linear probing of large language model (LLM) hidden states is widely used to claim that models learn distinct representations for different reasoning types. We test this by probing Qwen3-14B on three benchmarks spanning the classical trichotomy: LogiQA 2.0 (deductive), ARC-Challenge (inductive), and $α$NLI (abductive). At layer 32 of 40, linear probes achieve 100\% cross-validated accuracy with well-separated geometry (intrinsic dimensionalities: 20.6, 28.5, 33.6; convex hull contamination $\leq$1.5\%). However, this separation is entirely driven by format confounds. Residualizing source identity, option count, and response length reduces accuracy to chance. Trace-anchor similarity indicates largely shared reasoning across tasks (42.5\% agreement vs.\ 33.3\% chance), and causal steering with random controls ($n=20$) shows no functional link between geometry and reasoning mode ($p=0.286$). Thus, high probe accuracy reflects task format rather than computational structure, motivating routine format deconfounding in mechanistic interpretability.
• Abstract（参考訳）: 大規模言語モデル(LLM)隠れ状態の線形探索は、モデルが異なる推論型に対して異なる表現を学習すると主張するために広く用いられている。 古典的三分法であるLogiQA 2.0(導出性)、ARC-Challenge(導出性)、$α$NLI(導出性)の3つのベンチマークでQwen3-14Bを探索することでこれを検証した。 40層の32層では、線形プローブは、よく分離された幾何学(20.6, 28.5, 33.6;凸殻汚染$\leq$1.5\%)で100\%の精度を達成している。 しかし、この分離は完全にフォーマットの欠点によって駆動される。 ソースアイデンティティ、オプションカウント、レスポンス長の残留化は、正確さをチャンスに還元する。 トレースとアンカーの類似性は、タスク間で共有された推論(42.5\%の合意)を示している。 33.3\%の確率)、およびランダム制御(n=20$)による因果操りは、幾何学と推論モード(p=0.286$)の間の機能的リンクを示さない。 このように、高いプローブ精度は計算構造よりもタスク形式を反映し、機械的解釈可能性において日常的な形式を分解する動機付けとなる。

関連論文リスト

• Striding Across Reynolds Numbers: Representation Geometry in Neural PDE Generalisation [0.5451632647096261]
  ニューラルPDE解法におけるクロスレイノルズ一般化は、いまだにあまり特徴づけられていない。 我々は、この仮説を、ソーストレーニングされた畳み込みオートエンコーダ潜在空間の状態と一致するConvAE-Relayを通して検証する。 実験では、整合がマニフォールド上に留まっている場合、ソース・レジームのダイナミックス方向が転送可能である(コサイン類似度0.84)ことが確認された。
  論文  参考訳（メタデータ） (2026-05-28T15:49:26Z)
• The Geometry of Forgetting: Temporal Knowledge Drift as an Independent Axis in LLM Representations [50.43168858368539]
  大規模言語モデルは自信を持って時代遅れの回答を生成し、既存の方法では検出できない。 これは工学的な失敗ではなく構造的な失敗であり、時間的ドリフトは、幾何的に残留流の方向として、正確性と不確実性の両方に符号化される。
  論文  参考訳（メタデータ） (2026-05-09T22:27:31Z)
• LaTER: Efficient Test-Time Reasoning via Latent Exploration and Explicit Verification [35.08680804423239]
  CoT(Chain-of- Thought)推論は、難しいタスクにおいて大きな言語モデル(LLM)を改善するが、推論コストも高くつく。 本稿では,連続潜伏空間における有界探索を最初に行う2段階のパラダイムであるLaTERを提案する。 LaTERは入力の埋め込み空間に隠された最後の層を投影し、潜伏KVキャッシュを保持し、エントロピーとモデルネイティブのストップトーケンプローブを使用していつ切り替えるかを決定する。
  論文  参考訳（メタデータ） (2026-05-08T06:23:58Z)
• Teaching LLMs Program Semantics via Symbolic Execution Traces [0.7046782561282057]
  SV-COMP 2025上に構築された500 C 検証タスクの評価フレームワークを提案する。 6家族の14モデルを評価し,総合的精度の高いマスクが致命的な弱点であることを確認した。 わずか$sim$3,000のバグトレースと、推論時の連鎖推論を組み合わせることで、違反検出を17ポイント以上改善する。
  論文  参考訳（メタデータ） (2026-05-07T13:01:06Z)
• Measuring Representation Robustness in Large Language Models for Geometry [7.743292557234699]
  幾何学において、同一の問題はユークリッド、座標、ベクトル形式で表すことができる。 既存のベンチマークでは、固定フォーマットの精度が報告されている。 表現対応評価フレームワークGeoRepEvalを提案する。
  論文  参考訳（メタデータ） (2026-04-03T11:36:49Z)
• Epistemic Observability in Language Models [0.0]
  製造時に高い信頼性を報告できるモデルがあることがわかりました。 正式な仮定では、これは能力ギャップではなく観察的なギャップである。 我々は,計算副産物を輸出することで不合理性から逃れるテンソルインタフェースを構築した。
  論文  参考訳（メタデータ） (2026-03-20T21:59:34Z)
• DeepPrune: Parallel Scaling without Inter-trace Redundancy [53.62015294143274]
  並列推論トレースの80%以上は、実質的な無駄な計算を代表して、同じ最終回答をもたらす。 動的プルーニングによる効率的な並列スケーリングを実現する新しいフレームワークであるDeepPruneを提案する。 我々の研究は並列推論のための新しい標準を確立し、高性能推論をより効率的にする。
  論文  参考訳（メタデータ） (2025-10-09T17:24:54Z)
• DDM: A Metric for Comparing 3D Shapes Using Directional Distance Fields [98.15456815880911]
  既存の手法は主に2つのモデル間の対応を直接確立することに焦点を当てている。 本稿では,3次元幾何データに対する効率的,効率的,堅牢,かつ微分可能な距離測定法であるDDMを提案する。 一般的な距離計量として、DDMは3次元幾何モデリングの分野を前進させる可能性がある。
  論文  参考訳（メタデータ） (2024-01-18T05:31:53Z)
• Faithful Chain-of-Thought Reasoning [51.21714389639417]
  CoT(Chain-of-Thought)は言語モデル(LM)のパフォーマンスを様々な推論タスクで向上させる。 翻訳と問題解決という2つの段階を含む推論フレームワークであるFithful CoTを提案する。 このことは、推論連鎖が最終回答の忠実な説明を提供することを保証している。
  論文  参考訳（メタデータ） (2023-01-31T03:04:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。