論文の概要: How High Is 0.6? Floors, Ceilings, and Headroom in Interpretability Probing

• arxiv url: http://arxiv.org/abs/2610.08544v1
• Date: Tue, 06 Oct 2026 15:32:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:30.085554
• Title: How High Is 0.6? Floors, Ceilings, and Headroom in Interpretability Probing
• Title（参考訳）: フロア、シーリング、ヘッドルームは高いか?
• Abstract要約: 2つの基準点に対して全てのプローブスコアを読むことを提案する。 それらのギャップ、すなわちヘッドルームは、モデルが単純な入力を超えるものを計算できることをプローブが示す範囲である。 モデルが推論しなければならない隠れ変数によってターゲットが停止するか、入力がそれを公開するのをやめるかの2つの方法で、ヘッドルームが消滅することを証明する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Probes are the workhorse of interpretability. If a model's hidden states predict a variable, the model is said to represent it. But a probe score has no fixed meaning. An $R^2$ of 0.6 may only reflect what the input already gives away, and the same score can mean different things on different data. We propose reading every probe score against two reference points: a floor, what a declared set of simple inputs already predicts, and a ceiling, what the full input can predict. The gap between them, the headroom, is the range in which a probe can show that a model computes something beyond the simple inputs. We prove that headroom vanishes in two ways: the target stops depending on a hidden variable the model must infer, or the input stops revealing it. We test this on transformers trained for in-context meta-analysis, which must infer the hidden heterogeneity between studies to weight them correctly, and where both reference points are known. Under distribution shift, probe scores fall and prediction error rises $12$--$15\times$, yet the model recovers a similar share of the headroom, indicating that the data lost information, not the representation. We then analyze the real models. The single-cell foundation model scGPT encodes biological variability only partially. We also revisit four influential LLM probing studies, which claim that models represent geography, the state of an Othello board, truth, and the demographics of their users. Against a floor computed from the input text alone, some of these claims hold, while others are largely explained by the text itself.
• Abstract（参考訳）: プローブは解釈可能性のワークホースです。 モデルの隠れ状態が変数を予測する場合、そのモデルはそれを表現していると言われる。 しかし、プローブスコアには固定的な意味がありません。 $R^2$ 0.6は、入力が既に与えたものだけを反映し、同じスコアは異なるデータに対して異なる意味を持つ。 本稿では,2つの基準点に対して各プローブスコアを読み取ることを提案する。フロア,宣言された単純な入力セットがすでに予測しているもの,天井,全入力が予測できるもの,である。 それらのギャップ、すなわちヘッドルームは、モデルが単純な入力を超えるものを計算できることをプローブが示す範囲である。 モデルが推論しなければならない隠れ変数によってターゲットが停止するか、入力がそれを公開するのをやめるかの2つの方法で、ヘッドルームが消滅することを証明する。 本研究は,テキスト内メタアナリシスのために訓練されたトランスフォーマーを用いて,それらを正しく重み付けするための研究と,両方の基準点が知られている場所での隠れた不均一性を推算する。 分布シフトの下では、プローブスコアが低下し、予測エラーが12$--15\times$に上昇するが、モデルがヘッドルームの同様のシェアを回復し、データが表現ではなく情報を失うことを示す。 次に、実際のモデルを分析する。 単細胞基盤モデル scGPT は生物学的多様性を部分的にのみ符号化する。 我々はまた、地理、オセロボードの状態、真実、ユーザーの人口統計をモデルが表現していると主張する4つの影響力あるLCM探究研究を再考する。 入力テキストからのみ計算されたフロアに対して、これらのクレームのいくつかは保持されるが、テキスト自体によって主に説明されるものもある。

関連論文リスト

• Evaluating Escalation Signals for LLM Routing: Targets, Controls, and Five Ways to Fool Yourself [1.43494686131174]
  セマンティックエントロピーは,小モデルの誤りを確実に識別し,ランダムエスカレーションよりも経路精度を向上させることを示す。 また、AUROC 0.908から確率レベル0.518までの崩壊を正確に予測することで、新しいデータセットで機能するかどうかの予測方法も示しています。
  論文  参考訳（メタデータ） (2026-10-05T20:22:34Z)
• Anatomy of LLM Sycophancy: What a Flip Rate Hides [3.7193230342956056]
  我々は,SycoLensを用いてユーザプレッシャと評価設定のフリップ率の測定方法を検証する。 各測定は、アイテムの1つのステートレスリプレイ、コミットされた回答、および1つのスクリプト化されたユーザラインを固定形式で保持する。
  論文  参考訳（メタデータ） (2026-10-05T15:32:45Z)
• Reading the Room: Implicit Confusion Encoding in Recurrent World Model States [0.0]
  我々は、予測エラーのトラックの混乱を軽減するために、繰り返し発生する隠れ状態$h_t$を示す。 これは、新しい入力をフラグするアンサンブルの不一致と、現在悪い予測をフラグするリコンストラクションエラーとを機能的に区別している。
  論文  参考訳（メタデータ） (2026-08-21T19:32:38Z)
• Do Synthetic Personas Predict Real Audience Response? A Sim-to-Real Study Where a No-Persona Baseline Beats Persona-Based Copy Simulation [51.56484100374058]
  そこで我々は,Upworthy Research Archiveを用いて,シミュレート・トゥ・リアルな妥当性について検討する。 実際の聴衆の人口統計に基づく10人のパネルと、一般的な読者がクリックする確率をモデルに尋ねるゼロショットベースラインを比較した。
  論文  参考訳（メタデータ） (2026-07-27T17:03:03Z)
• Interaction Scaling: Grounding the Third Axis of Test-Time Compute [0.33451037881913753]
  一つの変数がこの第3の軸を接地として支配し、ループの両側に保持しなければならないと論じる。 固定トークン予算でのハードコーディングタスクでは、推論のみとベストオブNの両方をサンプリングする。 提案手法は, ラン・ツー・ラン分散を伴わず, 100%パスレートに到達した。
  論文  参考訳（メタデータ） (2026-07-13T14:22:06Z)
• The Geometry of Forgetting: Temporal Knowledge Drift as an Independent Axis in LLM Representations [50.43168858368539]
  大規模言語モデルは自信を持って時代遅れの回答を生成し、既存の方法では検出できない。 これは工学的な失敗ではなく構造的な失敗であり、時間的ドリフトは、幾何的に残留流の方向として、正確性と不確実性の両方に符号化される。
  論文  参考訳（メタデータ） (2026-05-09T22:27:31Z)
• Confidence-Based Model Selection: When to Take Shortcuts for Subpopulation Shifts [119.22672589020394]
  モデル信頼度がモデル選択を効果的に導くことができるConfidence-based Model Selection (CosMoS)を提案する。 我々はCosMoSを,データ分散シフトのレベルが異なる複数のテストセットを持つ4つのデータセットで評価した。
  論文  参考訳（メタデータ） (2023-06-19T18:48:15Z)
• Counterfactual Invariance to Spurious Correlations: Why and How to Pass Stress Tests [87.60900567941428]
  素早い相関」とは、アナリストが重要とすべきでないと考える入力データのある側面に対するモデルの依存である。 機械学習では、これらにはノウ・イ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ」という特徴がある。 因果推論ツールを用いたストレステストについて検討した。
  論文  参考訳（メタデータ） (2021-05-31T14:39:38Z)
• How do Decisions Emerge across Layers in Neural Models? Interpretation with Differentiable Masking [70.92463223410225]
  DiffMaskは、差分性を維持しながら入力のサブセットをマスクアウトすることを学ぶ。 入力トークンを包含または無視する決定は、中間隠蔽層に基づく単純なモデルで行われる。 これにより、属性のヒートマップをプロットするだけでなく、ネットワーク層間で意思決定がどのように形成されるかを分析することができます。
  論文  参考訳（メタデータ） (2020-04-30T17:36:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。