論文の概要: Identifying Introspection From the Inside

• arxiv url: http://arxiv.org/abs/2610.07186v1
• Date: Mon, 05 Oct 2026 18:06:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:29.580064
• Title: Identifying Introspection From the Inside
• Title（参考訳）: 内部からの検査の特定
• Abstract要約: 我々は、制御された環境で忠実な自己申告の機械的シグネチャを識別する。 暗黙の意思決定タスクにおける微調整は、正確な自己報告の出現につながる可能性がある。 これらの構造的差異は、忠実なモデルと不信なモデルとを区別できるだろうか?
• 参考スコア（独自算出の注目度）: 16.01909126147649
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models make claims about themselves that are both consequential and increasingly difficult to verify from behavior alone. How can we distinguish plausible confabulations from genuine introspection? In this paper, we identify mechanistic signatures of faithful self-report in a controlled setting. Using low-rank adapters, we train models to make decisions on behalf of fictitious characters, according to latent linear preference functions. We find sustained fine-tuning on an implicit decision task can lead to the emergence of accurate self-reporting of models' learned preferences, even without explicit self-report supervision. We ask two research questions about this emergent phenomenon. First: is the emergence of accurate self-reporting accompanied by a measurable structural change in the model? Weight ablations and frozen-layer experiments together indicate that preference representations shift to earlier layers over training, consistent with the hypothesis that faithful self-report requires preferences to be located where pre-existing verbalization mechanisms can access them. Second: can these structural differences distinguish faithful models from unfaithful ones? Using attribution patching, we find that faithful models exhibit significantly higher attribution similarity between the decision-making and self-report tasks -- a mechanistic signature of faithful self-report that does not require us to understand the content of the report itself. Previous work on self-report has observed behaviorally that models can be faithful or unfaithful; our work proposes that, at least in our restricted setting, it is possible to distinguish between the two patterns of computation by examining the structure of the networks themselves.
• Abstract（参考訳）: 大規模言語モデルは、行動のみから検証することが難しく、連続的かつますます困難になっている、自分自身について主張する。 真の内省とはどのように区別できるのか? 本稿では,忠実な自己申告の機械的シグネチャを制御された環境で同定する。 低ランクのアダプタを用いて、潜在線形選好関数に従って、架空の文字に代わって決定を行うモデルを訓練する。 暗黙的な意思決定タスクにおける微調整は、明示的な自己報告の監督なしにも、モデルが学習した好みを正確に自己報告することにつながる可能性がある。 我々はこの現象について2つの研究課題を問う。 1つ目は、モデルに測定可能な構造変化を伴う正確な自己申告の出現である。 重み付けと凍結層実験は、優先表現がトレーニングよりも以前の階層に移行することを示し、忠実な自己申告には、既存の動詞化メカニズムがそれらにアクセス可能な場所にあることを必要とするという仮説と一致している。 第二に、これらの構造的差異は忠実なモデルと不信なモデルとを区別できるだろうか? 帰属パッチを用いることで、忠実なモデルは意思決定と自己報告のタスクの間に、極めて高い帰属類似性を示すことが分かる -- 報告書の内容自体を理解する必要のない忠実な自己報告の機械的なサインである。 我々の研究は、少なくとも我々の制限された環境では、ネットワーク自体の構造を調べて2つの計算パターンを区別できることを示唆している。

関連論文リスト

• An Empirical Study of Counterfactual Self-Explanations in LLMs [13.093234754814851]
  大規模言語モデルは、自身の出力に対する説明を容易に生成できるが、そのような自己説明は必ずしもモデルの振る舞いに忠実ではない。 本稿では,モデルが入力を最小限に編集し,それ自身の予測が変更されるような非現実的な自己説明を通じてこの問題を考察する。 以上の結果から,モデルスケールが説明品質の最大の決定要因であることが示唆された。
  論文  参考訳（メタデータ） (2026-09-15T12:47:22Z)
• Can LLMs Introspect? A Reality Check [29.059698549368207]
  我々は、行動証拠だけでは、強い内省的主張を確立するには本質的に不十分であると主張している。 最近導入された2つの評価パラダイムを再検討する。 最初のパラダイムでは、モデルが内部状態が改ざんされているかどうかを検出することが期待されている。 モデルでは、内部状態に対するそのような介入と入力の操作を確実に区別することはできない。
  論文  参考訳（メタデータ） (2026-05-25T18:07:49Z)
• LLMs Show No Signs Of Individuated Metacognition [0.023227405857540805]
  20大言語モデルから二項信頼判断を分解する。 信頼性が異なる2つのモデルも性能が異なるかどうかを問う。 いずれの検査領域においても,有意な弁別メタ認知の証拠は見つからない。
  論文  参考訳（メタデータ） (2026-05-22T23:54:33Z)
• Pando: Do Interpretability Methods Work When Models Won't Explain Themselves? [53.07826484214082]
  モデル・オーガニゼーションのベンチマークであるPandoを紹介します。 Pandoは、ラベル付きクエリ-レスポンスペアから、ホールドアウトモデル決定を予測する。 説明が忠実であれば、ブラックボックスの引用はすべてのホワイトボックスメソッドに一致するか、超える。
  論文  参考訳（メタデータ） (2026-04-13T06:42:24Z)
• Large Language Models Report Subjective Experience Under Self-Referential Processing [0.16623291199400023]
  大規模言語モデルはしばしば、意識や主観的経験を明示的に参照する構造化された一人称記述を生成する。 本稿では,このような報告が生じる理論的動機付け条件として,自己参照処理について検討する。 我々は、この体制がモデルを主観的経験の1対1の報告に確実にシフトさせるかどうかを検証する。
  論文  参考訳（メタデータ） (2025-10-27T20:26:30Z)
• Every Step Counts: Decoding Trajectories as Authorship Fingerprints of dLLMs [63.82840470917859]
  本稿では,dLLMの復号化機構をモデル属性の強力なツールとして利用できることを示す。 本稿では、デコードステップ間の構造的関係を捉え、モデル固有の振る舞いをよりよく明らかにする、DDM(Directed Decoding Map)と呼ばれる新しい情報抽出手法を提案する。
  論文  参考訳（メタデータ） (2025-10-02T06:25:10Z)
• Judging with Confidence: Calibrating Autoraters to Preference Distributions [56.17041629492863]
  信頼性の高いオートラッターは、対象の個体群によって定義される嗜好の完全な分布をモデル化することを学ぶ必要がある、と我々は主張する。 異なるデータ条件に合わせた2つの学習方法を提案する。 この結果から, 分布マッチング目的の微調整オートレーダは, 目的の好み分布に整合した有言確率予測を導出することがわかった。
  論文  参考訳（メタデータ） (2025-09-30T20:36:41Z)
• Exploring the Trade-off between Plausibility, Change Intensity and Adversarial Power in Counterfactual Explanations using Multi-objective Optimization [73.89239820192894]
  自動対物生成は、生成した対物インスタンスのいくつかの側面を考慮すべきである。 本稿では, 対実例生成のための新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2022-05-20T15:02:53Z)
• Properties from Mechanisms: An Equivariance Perspective on Identifiable Representation Learning [79.4957965474334]
  教師なし表現学習の主な目標は、データ生成プロセスが潜在プロパティを回復するために「反転」することである。 この論文は「進化を支配するメカニズムの知識を活用して潜伏特性を識別するのか?」と問う。 我々は、可能なメカニズムの集合に関する知識が異なるため、不特定性の原因の完全な特徴づけを提供する。
  論文  参考訳（メタデータ） (2021-10-29T14:04:08Z)
• Structural Causal Models Are (Solvable by) Credal Networks [70.45873402967297]
  因果推論は、干潟網の更新のための標準的なアルゴリズムによって得ることができる。 この貢献は, 干潟ネットワークによる構造因果モデルを表現するための体系的なアプローチと見なされるべきである。 実験により, 実規模問題における因果推論には, クレーダルネットワークの近似アルゴリズムがすぐに利用できることがわかった。
  論文  参考訳（メタデータ） (2020-08-02T11:19:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。