論文の概要: A Closer Look at Language Model Introspection: Probing Information and Reporting
- arxiv url: http://arxiv.org/abs/2611.15267v1
- Date: Wed, 11 Nov 2026 09:55:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.09641
- Title: A Closer Look at Language Model Introspection: Probing Information and Reporting
- Title(参考訳): 言語モデルイントロスペクションの概観:情報とレポートの探索
- Abstract要約: 我々は、モデルのアクティベーションから摂動文を特定するために、単純な線形分類器を訓練する。
予測とモデル自身の回答を事前学習と注入の強さで比較する。
このテストは、モデルがすでに回復しやすい情報を報告するよう求められているかどうかをテストする。
- 参考スコア(独自算出の注目度): 0.16419687521433918
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: One way to study language-model introspection is to test whether models can identify where their activations have been perturbed. We train a simple linear classifier to identify the perturbed sentence from the model's activations, then compare its predictions with the model's own answers across pretraining and injection strengths. This tests whether the model is being asked to report information that is already easy to recover. If so, successful localization may be less demanding than it first appears and may not extend to the broader uses that motivate introspection research, such as faithfully explaining a model's reasoning or helping researchers assess the reliability of its answers. With an injection four times the typical activation norm at layer 0 and probe readout at layer 24 in OLMo~3 32B, the supervised probe reaches 98.3\% accuracy after 8.4 billion training tokens, while the model's zero-shot answer remains at chance (11.1\%). At the released base checkpoint, these accuracies reach 99.1\% and 89.6\%, respectively. Across 7B and 32B, location is already decodable in randomly initialized networks, showing that the architecture can support these traces without pretraining. In these experiments, location information lies close enough to the surface for a simple linear probe to recover it, so successful reporting need not imply broader access to the model's internal computation.
- Abstract(参考訳): 言語モデルイントロスペクションを研究する1つの方法は、モデルがアクティベーションが摂動した場所を特定できるかどうかをテストすることである。
簡単な線形分類器を訓練し、モデルのアクティベーションから摂動文を識別し、その予測とモデル自身の回答を事前学習および注入強度で比較する。
このテストは、モデルがすでに回復しやすい情報を報告するよう求められているかどうかをテストする。
もしそうなら、ローカライゼーションの成功は最初に現れるよりも要求されるものが少なくなり、モデルの推論を忠実に説明したり、研究者がその答えの信頼性を評価するのを助けるなど、イントロスペクション研究を動機づける幅広い用途に及ばないかもしれない。
0層での典型的なアクティベーション基準の4倍のインジェクションと、OLMo~332Bの層24でのプローブ読み出しにより、8.4億のトレーニングトークンの後、監督プローブは98.3倍の精度を達成し、モデルのゼロショット解答は11.1倍の確率で残る。
リリースされたベースチェックポイントでは、これらのアキュラティはそれぞれ 99.1\% と 89.6\% に達する。
7B と 32B にまたがって、ランダムに初期化されたネットワークでは、既に位置を除くことができ、アーキテクチャが事前トレーニングなしでこれらのトレースをサポートできることが示される。
これらの実験では、位置情報は単純な線形プローブがそれを回復するのに十分近い位置にあるので、成功した報告はモデルの内部計算への広範なアクセスを暗示する必要はない。
関連論文リスト
- From Data to Behavior: Predicting Unintended Model Behaviors Before Training [78.37660873165284]
トレーニング前に意図しないモデルの振る舞いを予測する新しいタスクであるData2Behaviorを紹介する。
また,その平均表現を通して候補データを要約する軽量な手法として,MDF(Manipulating Data Features)を提案する。
Qwen3-14B、Qwen2.5-32B-Instruct、Gemma-3-12b-itの実験では、MDFは意図しない振る舞いを予測でき、事前訓練済みの脆弱性に関する洞察を与える。
論文 参考訳(メタデータ) (2026-02-04T16:37:17Z) - Training Introspective Behavior: Fine-Tuning Induces Reliable Internal State Detection in a 7B Model [0.0]
Lindsey (2025) は4つの実験を通して言語モデルにおける内観的認識を調査している。
われわれはこれらの実験の最初の段階、つまり注入された「思考」の自己報告に焦点を当てている。
イントロスペクティブ・ビヘイビアの少なくとも1つのコンポーネントが直接誘導可能であることを示し、組込みAI透過性への経路を提供する。
論文 参考訳(メタデータ) (2025-11-26T13:49:43Z) - Probing for Arithmetic Errors in Language Models [86.8227317662622]
言語モデルの内部アクティベーションは、算術誤差を検出するために使用できる。
単純なプローブはモデルが予測した出力と正解の両方を隠蔽状態から正確に復号できることを示す。
モデル精度を90%以上の精度で予測する軽量エラー検出器を訓練する。
論文 参考訳(メタデータ) (2025-07-16T16:27:50Z) - GPT, But Backwards: Exactly Inverting Language Model Outputs [7.736516533045638]
本稿では,Sparse One-Hot Discrete Adam (SODA)アルゴリズムを提案する。
実験では、自然言語とランダム入力の両方において、正確な言語モデルの逆変換が可能であることを示す。
論文 参考訳(メタデータ) (2025-07-02T13:20:30Z) - Eliciting Latent Knowledge from Quirky Language Models [1.8035046415192353]
潜在知識の排除は、世界の本当の状態を確実に追跡する能力のあるニューラルネットワークのアクティベーションのパターンを見つけることを目的としている。
12のデータセットと、質問に答える際の体系的なエラーを微調整した「奇抜な」言語モデル(LM)スイートを導入します。
特に中層では、線形プローブは通常、LMが出力するものとは無関係に、LMの知識を報告する。
論文 参考訳(メタデータ) (2023-12-02T05:47:22Z) - Detecting Pretraining Data from Large Language Models [90.12037980837738]
事前学習データ検出問題について検討する。
事前学習データを知ることなく、テキスト片とLCMへのブラックボックスアクセスを条件に、モデルが提供されたテキストでトレーニングされたかどうかを判断できますか?
簡単な仮説に基づく新しい検出手法Min-K% Probを提案する。
論文 参考訳(メタデータ) (2023-10-25T17:21:23Z) - Discovering Latent Knowledge in Language Models Without Supervision [72.95136739040676]
既存の言語モデルをトレーニングするテクニックは、真実と正しく一致していない可能性がある。
本稿では,言語モデルの内部アクティベーション内部の潜伏知識を,純粋に教師なしの方法で直接見つけることを提案する。
本手法は, 教師なし, モデル出力がないにもかかわらず, 大規模言語モデルで表される多様な知識を復元できることを示す。
論文 参考訳(メタデータ) (2022-12-07T18:17:56Z) - Improving Passage Retrieval with Zero-Shot Question Generation [109.11542468380331]
オープンな質問応答における経路検索を改善するための,シンプルで効果的な再ランク付け手法を提案する。
再ランカは、学習済み言語モデルを用いて、検索されたパスに条件付けられた入力質問の確率を算出するゼロショット質問生成モデルを用いて、検索されたパスを再スコアする。
論文 参考訳(メタデータ) (2022-04-15T14:51:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。