論文の概要: The Answer-Basin Representation Hypothesis: We Are Not Probing or Steering Concepts

• arxiv url: http://arxiv.org/abs/2609.24821v1
• Date: Mon, 21 Sep 2026 16:11:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-23 03:38:27.410151
• Title: The Answer-Basin Representation Hypothesis: We Are Not Probing or Steering Concepts
• Title（参考訳）: Answer-Basin表現仮説:我々は推論やステアリングの概念を持っていない
• Abstract要約: 本稿では,モデル継続分布による解より誘導される確率測度が,これらの線形構造を整理するAnswer-Basin表現仮説を提案する。 同じ答えを得るすべての連続体は、その質量がその全確率である答え盆地を形成する。 本稿では,概念ラベルの変更によって決定されるのではなく,回答尺度の違いから概念関連線形構造が現れることを示す。
• 参考スコア（独自算出の注目度）: 24.53552608010087
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Linear Representation Hypothesis associates high-level concepts with directions in language models, but it remains unclear how these concept-related linear structures are organized within the model. We propose the Answer-Basin Representation Hypothesis: the probability measure induced over answers by the model's continuation distribution organizes these linear structures, with its statistics represented along linear directions shared across questions. All continuations yielding the same answer form an answer basin, whose mass is their total probability. These basin masses define the pushforward probability measure over answers. We posit that concept-related linear structure emerges from differences in the answer measure rather than being determined by changes in concept labels. Experiments across models and tasks link concept-consistent effects and their reversals in probing and steering to the alignment between concept labels and the answer measure.
• Abstract（参考訳）: 線形表現仮説(Linear Representation hypothesis)は、言語モデルにおける高次概念と方向を関連付けるが、これらの概念に関連した線形構造がモデル内でどのように構成されているかは定かではない。 本稿では, モデル継続分布による回答によって誘導される確率測度が, これらの線形構造を整理し, その統計は質問間で共有される線形方向に沿って表されることを示す。 同じ答えを得るすべての連続体は、その質量がその全確率である答え盆地を形成する。 これらの盆地質量は、答えに対するプッシュフォワード確率測度を定義する。 我々は,概念ラベルの変化によって決定されるのではなく,回答尺度の違いから概念関連線形構造が生じると仮定する。 モデルとタスクにまたがる実験は、コンセプト・一貫性のある効果とその逆転を、概念ラベルと回答尺度の整合性を見極めることとステアリングを結びつける。

関連論文リスト

• Hallucination as Commitment Failure: Larger LLMs Misfire Despite Knowing the Answer [8.883246421566243]
  我々は,同じ解答概念を表すトークンレベルの変種を集約する,解答可利用性のセマンティックな概念を導入する。 モデルが答をコミットした時点で、正しい概念がすでに利用可能かどうかを問う。 Qwen と Llama は、インストラクションとベースの両方の変種において 0.8B から 72B までのモデルで、インストラクトの幻覚の 16-47% は、既に正しい概念に基づいてかなりの確率質量で発生している。
  論文  参考訳（メタデータ） (2026-05-21T05:08:37Z)
• Hypothesis Class Determines Explanation: Why Accurate Models Disagree on Feature Attribution [0.0]
  同一の予測行動を持つモデルでは,特徴属性が著しく異なることが判明した。 我々は,この現象の構造的要因として仮説クラスを同定し,これを説明ロタリーと呼ぶ。 実験の結果,モデル選択は説明中立ではないことが明らかとなった。
  論文  参考訳（メタデータ） (2026-03-16T18:55:50Z)
• From Isolation to Entanglement: When Do Interpretability Methods Identify and Disentangle Known Concepts? [28.267480861600784]
  スパースオートエンコーダ (SAEs) やスパースプローブ (sparse probes) を含む一般的なデファチュアライズ手法がこれらの概念の非絡み合い表現を復元するかどうかは不明である。 まず,各概念の絡み合った表現を,相関関係の強みを増すことによって学習できる程度の評価を行った。 次に、各概念が独立して操作可能であるかどうかを測定するステアリング実験を行う。
  論文  参考訳（メタデータ） (2025-12-17T06:54:08Z)
• On the Origins of Linear Representations in Large Language Models [51.88404605700344]
  我々は,次のトークン予測の概念力学を定式化するために,単純な潜在変数モデルを導入する。 実験により、潜在変数モデルと一致するデータから学習すると線形表現が現れることが示された。 また、LLaMA-2大言語モデルを用いて、理論のいくつかの予測を検証した。
  論文  参考訳（メタデータ） (2024-03-06T17:17:36Z)
• Nonparametric Partial Disentanglement via Mechanism Sparsity: Sparse Actions, Interventions and Sparse Temporal Dependencies [58.179981892921056]
  この研究は、メカニズムのスパーシティ正則化(英語版)と呼ばれる、アンタングルメントの新たな原理を導入する。 本稿では,潜在要因を同時に学習することで,絡み合いを誘発する表現学習手法を提案する。 学習した因果グラフをスパースに規則化することにより、潜伏因子を復元できることを示す。
  論文  参考訳（メタデータ） (2024-01-10T02:38:21Z)
• A Geometric Notion of Causal Probing [85.49839090913515]
  線形部分空間仮説は、言語モデルの表現空間において、動詞数のような概念に関するすべての情報が線形部分空間に符号化されていることを述べる。 理想線型概念部分空間を特徴づける内在的基準のセットを与える。 2つの言語モデルにまたがる少なくとも1つの概念に対して、この概念のサブスペースは、生成された単語の概念値を精度良く操作することができる。
  論文  参考訳（メタデータ） (2023-07-27T17:57:57Z)
• Evaluating the Robustness of Interpretability Methods through Explanation Invariance and Equivariance [72.50214227616728]
  解釈可能性法は、それらの説明が説明されたモデルを忠実に記述した場合にのみ有用である。 特定の対称性群の下で予測が不変であるニューラルネットワークを考える。
  論文  参考訳（メタデータ） (2023-04-13T17:59:03Z)
• Entailer: Answering Questions with Faithful and Truthful Chains of Reasoning [26.715242799194908]
  質問応答システムは、体系的な推論の連鎖を通して、その答えが自身の内的信念によってどのように示唆されるかを示す。 我々のアプローチは、トレーニングされた後方チェーンモデルで、回答仮説を含む一連の前提を生成することができ、モデル自体がそれらの前提を信じることを確認する検証器を組み合わせることです。 私たちの知る限りでは、これは多段階連鎖を生成できる最初のシステムであり、それは忠実であり(その答えは推論から従う)、真実である(連鎖はシステムの内部の信念を反映している)。
  論文  参考訳（メタデータ） (2022-10-21T19:51:56Z)
• Conceptual variables, quantum theory, and statistical inference theory [0.0]
  本稿では,量子論に対する別のアプローチを提案する。 基礎は概念変数であり、アクセス可能またはアクセス不能な物理変数、すなわち数値をそれらに割り当てることは可能または不可能である。
  論文  参考訳（メタデータ） (2020-05-15T08:08:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。