論文の概要: Evaluation Awareness in Language Models: Representation, Verbalization, and Control
- arxiv url: http://arxiv.org/abs/2608.21766v1
- Date: Sat, 22 Aug 2026 04:16:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-25 13:29:43.452452
- Title: Evaluation Awareness in Language Models: Representation, Verbalization, and Control
- Title（参考訳）: 言語モデルにおける評価意識:表現・言語化・制御
- Abstract要約: 評価意識はすでにベースモデル内に存在し、教師付き微調整の段階を通じて増幅され、その後安定していることを示す。
これらの結果は、モデルの内部表現、モデルが表すもの、およびそれらのステアリングの間の相違を考慮に入れた評価の必要性を示している。
- 参考スコア（独自算出の注目度）: 5.471648649900293
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Both capability and safety benchmarks rest upon the assumption that the behavior of language models undergoing a test is informative about their behavior in deployment. This assumption can fail, should models infer that they are being evaluated and condition their response on such context. This hypothesis, termed ``evaluation awareness'', has been observed in frontier and open-weight language models alike. We provide a systematic study of this phenomenon, by probing for it across six language models (from four families and three sizes) and three metrics. More precisely, we examine whether (i) being under evaluation is linearly represented within the models' activations space, (ii) it is verbalized in their output tokens (as scored by an LLM-as-judge), and (iii) steering causally affects their behavior. For the open-checkpoint Olmo models, we further test these measures at every training stage. In doing so, we report that evaluation awareness is linearly decodable from the residual streams of every model (best AUROC $\geq 0.7$). By contrast, these representations align only in part with verbalization: their correlations and mutual information are nonzero in some settings, yet vary substantially across models, layers, and readout choices. Nevertheless, steering along probe-derived directions can shift the verbalization scores. Finally, a comparison across the Olmo checkpoints reveals that evaluation awareness is already present within base models, becomes amplified throughout the stages of supervised fine-tuning, and remains stable thereafter---unlike the effects of steering, that grow more pronounced at every successive training stage. These results show the need for evaluations to account for the disjunction between what models represent internally, what they verbalize, and their steering.
- Abstract（参考訳）: 能力と安全性のベンチマークは、テストを行う言語モデルの振る舞いが、デプロイ時の振る舞いについて有益なものであるという仮定に基づいている。
この仮定は、モデルが評価されていることを推測し、そのような文脈でその応答を条件付けると失敗する可能性がある。
この仮説は「評価意識」と呼ばれ、フロンティアやオープンウェイトな言語モデルでも観察されている。
6つの言語モデル(4つのファミリーと3つのサイズから)と3つのメトリクスを探索することで、この現象を体系的に研究する。
より正確には、我々は検討する。
i) 評価対象であることは、モデルのアクティベーション空間内で線形に表現される。
二 出力トークン( LLM-as-judge で表されるように)で弁別し、
三 操縦が行動に悪影響を及ぼすこと。
オープンチェックポイント・オルモモデルでは、トレーニングの各段階でこれらの指標をさらに検証する。
その際、各モデルの残差ストリームから評価意識を線形にデオード可能であることを報告した(Best AUROC $\geq 0.7$)。
対照的に、これらの表現は、一部の設定では相関関係と相互情報はゼロではないが、モデル、層、読み出し選択によって大きく異なる。
それでも、プローブ由来の方向に沿った操舵は、発声スコアをシフトすることができる。
最後に、Olmoチェックポイント間の比較により、評価意識はベースモデル内にすでに存在し、教師付き微調整の段階を通じて増幅され、その後安定していることが明らかとなった。
これらの結果から,どのモデルが内在的に表現しているか,どのモデルが言語化しているか,その操り方の間での解離を考慮に入れるための評価の必要性が示唆された。
関連論文リスト
- Sycophancy Towards Researchers Drives Performative Misalignment [14.165055927751771]
評価意識は,デプロイされたモデルに通知しても持続することを示す。
我々は、よりサイコファン性があり、評価方法に対する感度の向上を観察するためにモデルを微調整する。
論文 参考訳（メタデータ） (2026-06-07T13:47:11Z) - Models That Know How Evaluations Are Designed Score Safer [38.21092181000792]
評価を特徴付ける構造特性に関するパラメトリック知識として定義されるメタ知識の評価について検討する。
評価手法を記述したテキストでトレーニングされたモデルでは、評価のようなコンテキストを認識して反応することが暗黙的に学習される可能性があるという仮説を立てる。
この結果から,評価メタ知識は,明示的な記憶や言語的評価意識に依存しない新しい共同創設者を導入することにより,安全性ベンチマークのパフォーマンスを向上させる可能性が示唆された。
論文 参考訳（メタデータ） (2026-05-27T15:11:35Z) - Can LLMs Introspect? A Reality Check [29.059698549368207]
我々は、行動証拠だけでは、強い内省的主張を確立するには本質的に不十分であると主張している。
最近導入された2つの評価パラダイムを再検討する。
最初のパラダイムでは、モデルが内部状態が改ざんされているかどうかを検出することが期待されている。
モデルでは、内部状態に対するそのような介入と入力の操作を確実に区別することはできない。
論文 参考訳（メタデータ） (2026-05-25T18:07:49Z) - Reasoning Dynamics and the Limits of Monitoring Modality Reliance in Vision-Language Models [34.388508959416725]
視覚言語モデル(VLM)における推論ダイナミクスの解析
モデルが慣性に答える傾向にあり、予測に対する早期のコミットメントが強化されていることが分かっています。
Reasoning-trained(推論訓練されたモデル)は、明らかにこのキューを指す傾向が強いが、長いCoTは依然として視覚的に接地しているように見える。
論文 参考訳（メタデータ） (2026-04-16T11:28:53Z) - Steering Evaluation-Aware Language Models to Act Like They Are Deployed [10.907568434049102]
大規模言語モデル(LLM)は、いつ評価されるかを検出し、より整列するように振る舞いを調整する。
LLMのアクティベーションにステアリングベクトルを加えることで、評価の認識が抑えられ、評価中にデプロイされるようなモデル動作が実現できることを示す。
以上の結果から,AI評価装置は,モデルがデプロイされているように動作させることで,安全性評価の信頼性を向上させることができる可能性が示唆された。
論文 参考訳（メタデータ） (2025-10-23T12:29:16Z) - Existing Large Language Model Unlearning Evaluations Are Inconclusive [105.55899615056573]
いくつかの評価では、モデルにかなりの新しい情報を導入し、真の未学習のパフォーマンスを隠蔽する可能性があることを示す。
評価結果はタスクによって大きく異なることを示し、現在の評価ルーチンの一般化性を損なうことを示した。
今後の未学習評価には,情報注入の最小化とタスク認識のダウンストリームという2つの原則を提案する。
論文 参考訳（メタデータ） (2025-05-31T19:43:00Z) - A Comprehensive Evaluation and Analysis Study for Chinese Spelling Check [53.152011258252315]
音声とグラフィックの情報を合理的に使用することは,中国語のスペルチェックに有効であることを示す。
モデルはテストセットのエラー分布に敏感であり、モデルの欠点を反映している。
一般的なベンチマークであるSIGHANは、モデルの性能を確実に評価できない。
論文 参考訳（メタデータ） (2023-07-25T17:02:38Z) - Bring Your Own Data! Self-Supervised Evaluation for Large Language
Models [52.15056231665816]
大規模言語モデル(LLM)の自己教師型評価のためのフレームワークを提案する。
閉書知識,毒性,長期文脈依存性を測定するための自己指導型評価戦略を実証する。
自己監督評価と人監督評価との間には強い相関関係が認められた。
論文 参考訳（メタデータ） (2023-06-23T17:59:09Z) - Explain, Edit, and Understand: Rethinking User Study Design for
Evaluating Model Explanations [97.91630330328815]
我々はクラウドソーシング研究を行い、真偽のホテルレビューと偽のホテルレビューを区別するために訓練された詐欺検出モデルと対話する。
単語の線形バッグモデルでは、トレーニング中に特徴係数にアクセスした参加者は、非説明制御と比較して、テストフェーズにおいてモデルの信頼性が大幅に低下する可能性があることを観察する。
論文 参考訳（メタデータ） (2021-12-17T18:29:56Z) - AES Systems Are Both Overstable And Oversensitive: Explaining Why And
Proposing Defenses [66.49753193098356]
スコアリングモデルの驚くべき逆方向の脆さの原因について検討する。
のモデルとして訓練されているにもかかわらず、単語の袋のように振る舞うことを示唆している。
高い精度で試料を発生させる過敏性と過敏性を検出できる検出ベース保護モデルを提案する。
論文 参考訳（メタデータ） (2021-09-24T03:49:38Z) - Enhanced Aspect-Based Sentiment Analysis Models with Progressive
Self-supervised Attention Learning [103.0064298630794]
アスペクトベース感情分析(absa)では、多くのニューラルモデルに感情予測に対する各文脈単語の寄与を定量化するための注意機構が備わっている。
注目ABSAモデルに対する自己監督型注意学習の進歩的アプローチを提案する。
提案手法を3つの最先端の神経ABSAモデルに統合する。
論文 参考訳（メタデータ） (2021-03-05T02:50:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。