論文の概要: Open-Weight Masked Introspection: Measuring What Language Models Can Report About Their Own Computation

• arxiv url: http://arxiv.org/abs/2608.20569v1
• Date: Thu, 20 Aug 2026 21:09:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-24 14:49:32.246391
• Title: Open-Weight Masked Introspection: Measuring What Language Models Can Report About Their Own Computation
• Title（参考訳）: オープンウェイトマスケイントロスペクション - 言語モデルが自身の計算についてレポートできるものを測定する
• Abstract要約: 最近の研究は、複雑なモデルが自身の内部を監査し、何を変えたかを呼び出して、自信を持って報告できることを示している。 われわれはこの主張を7家族の8つのオープンウェイトモデルで検証し、そのような能力は見つからなかった。 テストのためにOpen-Weight Masked Introspection (OWMI)というフレームワークを開発しました。
• 参考スコア（独自算出の注目度）: 8.970269049715933
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Are frontier models able to introspect about their internal states? Recent work suggests that under certain conditions a complex enough model can audit its own internals, call out what changed, and report back confidently about it. We tested that claim on eight open-weight models from seven families and found no such ability: asked whether their own computation had been altered, none answered better than chance. To test it we built Open-Weight Masked Introspection (OWMI), a framework that intervenes on residual-stream sites, attention heads and sparse-autoencoder features, then interrogates the model about the change against the null conditions an answer has to beat: sham runs where nothing was altered, impact-matched random perturbations, and a text-only observer that sees only the visible output. Over 78,000 measurements, no model's report discriminates a real intervention from a sham beyond chance (AUROC ~0.5007), and an equivalence test bounds the effect below 0.15 percentage points of AUROC. Surprisingly, all the information needed is in the models. A model fine-tuned to report this class of intervention reaches near-perfect recovery on held-out directions, and a linear probe recovers intervention presence from the same activations at 75% to 95.8% accuracy, sharpening to no held-out error at the last layer before the model speaks. In one model the signal surfaces in the confidence rather than the words: its yes-or-no report never varies, while the confidence attached to it separates intervention from sham at AUROC 0.647. The failure sits in the path from internal state to verbal report, so oversight that reads a model's own testimony needs validating against an internal reference. While our results show the inability of current open-weight models to introspect, the debate is not settled for future models.
• Abstract（参考訳）: フロンティアモデルは内部状態についてイントロスペクションできるのか? 最近の研究は、ある条件下では、十分に複雑なモデルが自身の内部を監査し、変更点を呼び出し、それを自信を持って報告することができることを示唆している。 私たちはこの主張を、7つのファミリーの8つのオープンウェイトモデルでテストし、そのような能力は見つからなかった。 テストのためにOpen-Weight Masked Introspection (OWMI)を開発した。これは、残ストリームサイト、アテンションヘッド、スパースオートコーダ機能に介入するフレームワークで、その後、答が満たされるヌル条件に対する変更についてモデルを疑問視する。 78,000以上の測定で、モデルによる報告は、偶然を超えるシャムからの真の介入(AUROC ~0.5007)を識別しておらず、同値試験はAUROCの0.15パーセント未満の効果を制限している。 驚くべきことに、必要な情報はすべてモデルにある。 この種類の介入を報告するために微調整されたモデルは、保持方向でほぼ完全に回復し、線形プローブは、同じアクティベーションから75%から95.8%の精度で干渉の存在を回復し、モデルが話す前に最後の層でホールトアウトエラーを起こさないようにする。 あるモデルでは、信号は単語よりも信頼度で表され、その「Yes-or-no」レポートは決して変化しないが、それに付随する信頼度はAUROC 0.647でのシャムの干渉と分離する。 失敗は、内部状態から口頭での報告までの経路にあるので、モデル自身の証言を読む監視は、内部参照に対して検証する必要がある。 以上の結果から,現在のオープンウェイトモデルでは内観が不可能であることが示唆されるが,今後のモデルについては議論が決着しない。

関連論文リスト

• Confidently Wrong, Silently So: Auditing Undetectable Failures of a Deployed On-Device Language Model [0.038379177968040606]
  本稿では、開発者が利用できるオンデバイス基盤モデルの再現可能な信頼性監査について述べる。 Emphtask-asymmetric miscalibration: そのガードレールはタスク間で反対方向に失敗する。 我々は,モデルに依存しない監査プロトコル,表面識別性テスト,およびデプロイされたモデルの監査のための再利用可能なインフラとして,コードと凍結した評価項目をリリースする。
  論文  参考訳（メタデータ） (2026-08-24T16:55:09Z)
• The Personalization Mirage: How LLMs Fabricate User Profiles, and Why Self-Monitoring Misleads [0.9743693761871391]
  ステレオタイプ,反ステレオタイプ,中立プロファイル間でバランスの取れた150人の人物からなるMirrageBenchを紹介した。 オーバー推論は広範に行われており、12モデルのうち1モデルがオーバー推論の35%から49%を占めている。 MirageBenchは、信頼性の高い個人化のための信頼性の高い基盤として、モデル自己報告ではなく、外部検証を位置付けている。
  論文  参考訳（メタデータ） (2026-08-05T08:00:54Z)
• The Knowing-Saying Gap: When Probes See Errors that Confidence Misses [20.46211358172975]
  線形プローブは、ほぼ完全精度で言語モデルの劣化コンテキストを検知するが、信頼性の高い故障予測にはならない。 マルチホップ算術連鎖全体において、汚職を検出するプローブは最終解の正しさについて非形式的であることが判明した。 リアルタイムモニタとして、プローブベースの介入は、シャープにモデル化され、エラータイプに依存します。
  論文  参考訳（メタデータ） (2026-07-21T12:13:10Z)
• Can LLMs Reliably Self-Report Adversarial Prefills, and How? [9.80193616788089]
  大規模言語モデル(LLM)は,良質なタスクに対して内観的能力を示すことを示す。 本研究は,モデルが先行応答が逆プレフィル攻撃によって引き起こされたことを確実に認識できるかどうかを検討する。
  論文  参考訳（メタデータ） (2026-06-22T17:56:30Z)
• CIAware-Bench: Benchmarking Control Intervention Awareness Across Frontier LLMs [100.38986535324284]
  我々は、フロンティアモデル全体でのtextbfcontrol textbfintervention (CI) の認識を測定するベンチマークである textbfCIAware-Bench を紹介する。 CIAware-Benchは、モデルが自身の軌跡を制御介入によって修正されたものと区別できるかどうかをテストする。
  論文  参考訳（メタデータ） (2026-06-09T16:24:16Z)
• CaliDist: Calibrating Large Language Models via Behavioral Robustness to Distraction [51.56484100374058]
  既存のLLM(Large Language Models)のキャリブレーション手法は、しばしば信頼性の重要な次元、すなわちモデルの振舞いの堅牢性を見落としている。 我々は,モデルが注意をそらす可能性を直接測定し,罰する,新しいポストホックキャリブレーション手法であるtextscCaliDistを紹介した。 textscCaliDistは、強いベースラインと比較して、期待の低いエラー(ECE)とBrier Scoreを一貫して達成します。
  論文  参考訳（メタデータ） (2026-06-04T07:27:53Z)
• What Single-Prompt Accuracy Misses: A Multi-Variant Reliability Audit of Language Models [0.0]
  シングルプロンプト精度は、言語モデルをベンチマークする主要な方法であるが、重要な信頼性障害を見逃す可能性がある。 15モデルオープンウェイトコーパスの評価を行い,5つの分類と推論ベンチマークによる10のインストラクトモデルに着目した信頼性解析を行った。 まず、評価設計は結論を根本的に変えることができる。 第2に、信頼信号は脆弱である。MMLU-Proでは、各プライマリモデルは、その精度と同一行上のトークン確率信頼の両方よりもかなり高い信頼度を言語的に報告し、単一のプロンプト変種における単一のモデルに対して、動詞のパースレートが崩壊する可能性がある。
  論文  参考訳（メタデータ） (2026-05-03T20:05:08Z)
• Verbal Confidence Saturation in 3-9B Open-Weight Instruction-Tuned LLMs: A Pre-Registered Psychometric Validity Screen [0.0]
  実験では,7つの指導訓練付きオープンウェイトモデルを用いて,最小の妥当性基準を満たす言語的信頼度が得られるかどうかを検証した。 カテゴリー的誘因は有効性には至らなかった。 声道レベルの対数確率は,観察された分散状態下での言語的信頼度を有意に予測しなかった。
  論文  参考訳（メタデータ） (2026-04-24T04:45:21Z)
• Assimilation Matters: Model-level Backdoor Detection in Vision-Language Pretrained Models [71.44858461725893]
  信頼できない第三者によって微調整されたモデルを考えると、モデルがバックドアで注入されたかどうかが重要で難しい問題である。 既存の検出方法は通常、トレーニングデータセット、バックドアトリガー、ターゲットの事前知識に依存する。 このような事前知識を伴わずに動作する新しいモデルレベルの検出フレームワークであるAssimilation Matters in DETection (AMDET)を紹介する。
  論文  参考訳（メタデータ） (2025-11-29T06:20:00Z)
• Conservative Prediction via Data-Driven Confidence Minimization [70.93946578046003]
  機械学習の安全性クリティカルな応用においては、モデルが保守的であることが望ましいことが多い。 本研究では,不確実性データセットに対する信頼性を最小化するデータ駆動信頼性最小化フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-08T07:05:36Z)
• Realistic Conversational Question Answering with Answer Selection based on Calibrated Confidence and Uncertainty Measurement [54.55643652781891]
  対話型質問回答モデル(ConvQA)は,会話中に複数回発生した質問文と過去の質問文のペアを用いて質問に回答することを目的としている。 本稿では,会話履歴における不正確な回答を,ConvQAモデルから推定された信頼度と不確実性に基づいてフィルタリングすることを提案する。 我々は2つの標準ConvQAデータセット上で、回答選択に基づくリアルな会話質問回答モデルの有効性を検証する。
  論文  参考訳（メタデータ） (2023-02-10T09:42:07Z)
• How Can We Know When Language Models Know? On the Calibration of Language Models for Question Answering [80.82194311274694]
  言語モデルがいつ、自信を持って、特定のクエリに対する答えを知っているか、どのように知ることができるか? 我々は,T5,BART,GPT-2の3つの強力な生成モデルを検討した。 次に、そのようなモデルの校正方法を検討し、その信頼性スコアを正しさの確率と相関させる。
  論文  参考訳（メタデータ） (2020-12-02T03:53:13Z)
• Selective Question Answering under Domain Shift [90.021577320085]
  モデルがドメイン外の入力に対して過度に信頼されているため、モデルのソフトマックス確率のみに基づくアテンションポリシーは不適切である。 キャリブレータをトレーニングして、QAモデルがアースする入力を識別し、エラーを予測した場合に停止する。 提案手法は,80%の精度を維持しながら56%の質問に回答するが,それに対してモデルの確率を直接使用する場合,80%の精度で48%しか回答しない。
  論文  参考訳（メタデータ） (2020-06-16T19:13:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。