論文の概要: When Activation Oracles Learn Not to Read: Concept-Specific Blind Spots in Fine-Tuned Oracles

• arxiv url: http://arxiv.org/abs/2607.23379v1
• Date: Sat, 25 Jul 2026 21:58:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-28 22:34:15.087332
• Title: When Activation Oracles Learn Not to Read: Concept-Specific Blind Spots in Fine-Tuned Oracles
• Title（参考訳）: アクティベーションオラクルが読むことを覚えた時: 微調整されたオラクルにおける概念に特有な盲点
• Abstract要約: アクティベーションオラクル(Activation Oracles、AOs)は、他のモデルの内部アクティベーションに関する質問に答えるために訓練された言語モデルである。 我々はこれを制御されたタブー語指導設定で研究し、被験者モデルは内部で隠れた概念を使用するように微調整される。 微調整されたAOが、概念固有のアンチリーダーになる可能性がある。
• 参考スコア（独自算出の注目度）: 1.4323566945483497
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Activation Oracles (AOs) are language models trained to answer natural-language questions about another model's internal activations. They offer a flexible interface for reading hidden information from model states, especially when relevant information is internally represented but absent or incomplete in visible behavior. However, AOs are themselves learned systems: their answers are shaped by training data, objectives, and learned reporting behavior, rather than being neutral readouts of represented information. We study this in a controlled Taboo Word Guessing setting, where subject models are fine-tuned to internally use a hidden concept while avoiding direct disclosure. Contrary to the expectation that an AO trained on such a subject becomes a specialist reader, we find that fine-tuned AOs can become concept-specific anti-readers: they selectively fail to recover the concept persistently present during their own training. This failure is not simply explained by absence of the concept from the subject or oracle representations: the target remains decodable inside the oracle, while LogitLens and layer-ablation analyses indicate that the failure arises in the AO readout pathway. Our results show that behavioral leakage, representation-level decodability, and AO-verbalizability can come apart, raising a reliability concern for learned interpretability interfaces.
• Abstract（参考訳）: アクティベーションオラクル(Activation Oracles、AOs)は、他のモデルの内部アクティベーションに関する自然言語の質問に答えるために訓練された言語モデルである。 モデル状態から隠れた情報を読むためのフレキシブルなインターフェースを提供する。 しかし、AOは学習されたシステムであり、その答えは、表現された情報の中立的な読み出しではなく、トレーニングデータ、目的、学習された報告行動によって形成されます。 我々はこれを制御されたタブー語指導設定で研究し、直接開示を避けながら隠蔽概念を内部で使用するように微調整する。 このような科目で訓練されたAOがスペシャリストとなるという期待とは対照的に、微調整されたAOは概念固有のアンチリーダーになり得る。 この失敗は、主題やオラクルの表現からの概念が欠如していることから説明されるのではなく、ターゲットはオラクル内部でデオード可能であり、LogitLensとレイヤアブレーション分析は、AOの読み出し経路で障害が発生することを示唆している。 以上の結果から,動作リーク,表現レベルのデオーダビリティ,およびAO-バーバリザビリティが分散し,学習された解釈可能性インターフェースに対する信頼性の懸念が高まった。

関連論文リスト

• Measure, Don't Optimize: Forecasting Recovery in LLM Unlearning [57.920153607557744]
  J-Accessは、モデル出力経路に沿ってターゲット概念がアクセス可能な頻度を測定する推論時監査である。 我々は8つの未学習手法にまたがる398の公開未学習モデルを監査する。
  論文  参考訳（メタデータ） (2026-08-11T20:16:20Z)
• Diagnosing Visual Ignorance in Vision-Language Models [29.2851901986069]
  VLM(Vision-Language Models)は、しばしば言語先行に頼り、視覚的証拠に弱く根ざした自信ある答えを生み出す。 本研究では,機械的視点と行動的視点の両方から言語優先性について検討する。 言語優先の信頼性は、モデル内部とベンチマークの妥当性の両方に影響を及ぼす体系的なルーティング障害であることがわかった。
  論文  参考訳（メタデータ） (2026-06-05T04:16:01Z)
• ATLAS: Agentic or Latent Visual Reasoning? One Word is Enough for Both [55.182037225013836]
  ATLASは、単一の独立した「ワード」を機能トークンと呼び、エージェント操作と潜在視覚推論ユニットの両方として機能するフレームワークである。 ATLASは、明確な解釈可能性を維持しながら、挑戦的なベンチマークで優れたパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-05-14T17:59:55Z)
• Understanding Reasoning in LLMs through Strategic Information Allocation under Uncertainty [35.31863384654504]
  LLMは推論中にしばしばAhaモーメントを示す。例えば、"Wait"のようなトークンに続く明らかな自己補正のように。 本稿では,推論を手続き的情報と認識的言語化に分解する情報理論フレームワークを提案する。 我々のフレームワークは、Ahaのモーメントとポストトレーニング実験に関する事前の知見を統一し、将来の推論モデル設計に対する洞察を提供する。
  論文  参考訳（メタデータ） (2026-03-16T16:31:24Z)
• Split Personality Training: Revealing Latent Knowledge Through Alternate Personalities [15.59200865541989]
  スプリット・パーソナリティ・トレーニング (SPT) を導入し, 正常手術中も動作しないパラメータに第2の正直なペルソナ'を微調整する。 SPTは全体の96%の精度を達成し、Arthhropicは0%の精度で報告している。
  論文  参考訳（メタデータ） (2026-02-05T10:45:48Z)
• Auditing Language Model Unlearning via Information Decomposition [68.48660428111593]
  部分的情報分解(PID)を用いたアンラーニング監査のための解釈可能な情報理論フレームワークを提案する。 非学習前後のモデル表現を比較することにより、相互情報と忘れられたデータとを別個の構成要素に分解し、未学習および残留知識の概念を定式化する。 我々の研究は、言語モデルのより安全なデプロイのための理論的洞察と実行可能なツールを提供する、アンラーニングのための原則付き表現レベル監査を導入している。
  論文  参考訳（メタデータ） (2026-01-21T15:51:19Z)
• Seeing to Act, Prompting to Specify: A Bayesian Factorization of Vision Language Action Policy [59.44168425139687]
  BayesVLA(ベイズVLA)は、前もってポリシーを視覚的アクションに分解し、ルック・トゥ・アクティベーションと言語条件付き可能性をサポートし、即時特定を可能にするベイズ因子化である。 実験は、既存の方法と比較して、目に見えない命令、オブジェクト、環境に対して優れた一般化を示す。
  論文  参考訳（メタデータ） (2025-12-12T01:59:23Z)
• Graphing the Truth: Structured Visualizations for Automated Hallucination Detection in LLMs [0.0]
  本稿では,プロプライエタリな知識とモデル生成コンテンツをインタラクティブな視覚的知識グラフにまとめるフレームワークを提案する。 ユーザは不整合を診断し、弱い推論チェーンを特定し、修正フィードバックを提供する。
  論文  参考訳（メタデータ） (2025-11-29T23:09:15Z)
• On the Loss of Context-awareness in General Instruction Fine-tuning [101.03941308894191]
  教師付き微調整後の文脈認識の喪失について検討した。 性能低下は,会話指導の微調整中に学んだ異なる役割に対する偏見と関連していることがわかった。 一般命令微調整データセットから文脈依存例を識別する指標を提案する。
  論文  参考訳（メタデータ） (2024-11-05T00:16:01Z)
• LLMs' Reading Comprehension Is Affected by Parametric Knowledge and Struggles with Hypothetical Statements [59.71218039095155]
  言語モデルの自然言語理解(NLU)能力を評価するための主要な手段として、読解理解(RC)があげられる。 文脈がモデルの内部知識と一致している場合、モデルの回答がコンテキスト理解に由来するのか、あるいは内部情報から生じるのかを識別することは困難である。 この問題に対処するために、架空の事実や実体に基づいて、想像上のデータにRCを使うことを提案する。
  論文  参考訳（メタデータ） (2024-04-09T13:08:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。