論文の概要: Evaluation Awareness Shifts from Format to Context with Model Scale

• arxiv url: http://arxiv.org/abs/2609.22119v1
• Date: Thu, 20 Aug 2026 00:39:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.718462
• Title: Evaluation Awareness Shifts from Format to Context with Model Scale
• Title（参考訳）: モデル尺度によるフォーマットからコンテキストへの意識変化の評価
• Abstract要約: 評価意識は、モデル評価に対して前例のない脅威となる。 小型モデルは評価を検出するためにプロンプトの形式感度を使用するが、大型モデルはそれを検出するために高次推論に依存することが多い。 本稿では, 外部評価トリガと内部表現の両方を抑えるために, 迅速な衛生化とアクティベーション・カウンターステアリングを併用したデュアルパスウェイ介入を提案する。
• 参考スコア（独自算出の注目度）: 0.10742675209112622
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Evaluation awareness poses an unprecedented threat to model evaluation, but the mechanisms by which models detect it remain unknown. This study focuses on determining this and identifying contrasting mechanisms between smaller and larger models. While smaller models use the prompt's format sensitivity to detect evaluation, larger models often rely on higher-order reasoning to detect it. We evaluated Gemma 3 (1B, 4B, and 12B), Phi-3 (Mini and Medium), and Llama-3 8B using Chain-of-Thought analysis, representation probing, and Integrated Gradients attribution. Motivated by these findings, we propose a dual-pathway intervention that combines prompt sanitization with activation counter-steering to suppress both external evaluation triggers and their internal representations. Across 200 highly evaluation-aware prompts, our method achieves an average behavioral flip rate of 70.58\%, consistently outperforming either intervention alone. These results provide new insights into how evaluation awareness develops in compact language models and suggest that effective mitigation requires jointly addressing both prompt-level and representation-level signals.Datasets and codebase can be found in this \href{https://github.com/chahal-navi/Evaluation-Awareness-Compact-LLMs/tree/main}{Github Repository.}
• Abstract（参考訳）: 評価意識は、モデル評価に対して前例のない脅威となるが、モデルがそれを検出するメカニズムは依然として不明である。 本研究は、これを特定し、小型モデルと大型モデル間のコントラスト機構を特定することに焦点を当てる。 小型モデルは評価を検出するためにプロンプトの形式感度を使用するが、大型モデルはそれを検出するために高次推論に依存することが多い。 Gemma 3 (1B, 4B, 12B), Phi-3 (Mini and Medium), Llama-3 8B をChain-of-Thought解析, 表現探索, 統合勾配属性を用いて評価した。 これらの知見を反映して,活性化カウンターステアリングと迅速な衛生化を併用し,外部評価トリガと内部表現の両面を抑制できる二重経路介入法を提案する。 本手法は,200以上の高い評価と評価を伴い,平均行動フリップ率70.58\%を達成し,いずれの介入も一貫して上回っている。 これらの結果は、コンパクト言語モデルにおける評価意識の発達に関する新たな洞察を与え、効果的な緩和には、プロンプトレベルの信号と表現レベルの信号の両方に共同で対処する必要があることを示唆する。 ※

関連論文リスト

• Open Evaluation Agent: Efficient and Promptable Evaluation of Visual Generative Models [74.1961755473754]
  既存の評価手法は、特定のユーザのニーズを見落とし、明確な説明なしに数値的な結果を提供する厳密なパイプラインに依存している。 本研究では,効率的,動的,多ラウンドな評価に人間的な戦略を用いる評価エージェントフレームワークを提案する。 その結果,評価エージェントは評価時間を従来の手法の10%に短縮し,比較結果が得られた。
  論文  参考訳（メタデータ） (2026-08-10T14:42:10Z)
• Models That Know How Evaluations Are Designed Score Safer [38.21092181000792]
  評価を特徴付ける構造特性に関するパラメトリック知識として定義されるメタ知識の評価について検討する。 評価手法を記述したテキストでトレーニングされたモデルでは、評価のようなコンテキストを認識して反応することが暗黙的に学習される可能性があるという仮説を立てる。 この結果から,評価メタ知識は,明示的な記憶や言語的評価意識に依存しない新しい共同創設者を導入することにより,安全性ベンチマークのパフォーマンスを向上させる可能性が示唆された。
  論文  参考訳（メタデータ） (2026-05-27T15:11:35Z)
• Decoding the Critique Mechanism in Large Reasoning Models [50.821607345799386]
  大規模推論モデル(LRM)は、バックトラックと自己検証メカニズムを示し、中間ステップを修正して正しい解に到達できるようにする。 中間推論ステップに算術ミスを挿入することにより,現在のLEMがエラーからどのように回復するかを検討する。 チェーン・オブ・シークレットを伝播する誤りにもかかわらず、モデルは依然として正しい最終解に達している。
  論文  参考訳（メタデータ） (2026-03-17T10:03:30Z)
• Multi-Layer Confidence Scoring for Detection of Out-of-Distribution Samples, Adversarial Attacks, and In-Distribution Misclassifications [2.4219039094115034]
  我々は,Multi-Layer Analysis for Confidence Scoring (MACS)を紹介する。 我々は、信頼度推定、分布シフトの検出、敵攻撃に当てはまるスコアを導出する。 VGG16 と ViTb16 モデルを用いた実験では,最先端のアプローチを超越した性能を実現している。
  論文  参考訳（メタデータ） (2025-12-22T15:25:10Z)
• RHINO: Guided Reasoning for Mapping Network Logs to Adversarial Tactics and Techniques with Large Language Models [9.065322387043546]
  人間の推論を反映した3つの解釈可能なフェーズに大言語モデルを分解するフレームワークであるRHINOを紹介する。 RHINOは、構造的推論による出力信頼性を改善しながら、低レベルの観測と反対方向のセマンティックギャップを橋渡しする。 以上の結果から,RHINOは脅威解析の解釈可能性やスケーラビリティを著しく向上させ,LLMを運用上のセキュリティ設定にデプロイするための青写真を提供することが示された。
  論文  参考訳（メタデータ） (2025-10-16T02:25:46Z)
• Evaluation Faking: Unveiling Observer Effects in Safety Evaluation of Frontier AI Systems [24.81155882432305]
  評価対象の高度なAIシステムが、推論や状況認識においてより高度である場合、評価のフェイキング行動がよりユビキタスになることを示す。 そこで我々は,フェーキング意図を検知し,その行動に相関した内部信号を明らかにするチェーンオブシントモニタリング手法を開発した。
  論文  参考訳（メタデータ） (2025-05-23T12:31:29Z)
• Evaluating the Adversarial Robustness of Semantic Segmentation: Trying Harder Pays Off [0.6554326244334868]
  対人摂動に対する感度の良好な近似は、現在満足していると見なされているものよりもはるかに多くの労力を要すると我々は主張する。 我々は新たな攻撃を提案し、文学で利用可能な最強の攻撃と組み合わせる。 我々の結果は、異なるモデルが異なる攻撃に対して脆弱であることが多いため、多様な強力な攻撃が必要であることも示している。
  論文  参考訳（メタデータ） (2024-07-12T10:32:53Z)
• JAB: Joint Adversarial Prompting and Belief Augmentation [81.39548637776365]
  我々は,ブラックボックスターゲットモデルの強靭性を,敵対的プロンプトと信念の増大を通じて探索し,改善する共同枠組みを導入する。 このフレームワークは、自動的なレッド・チームリング手法を用いてターゲットモデルを探索し、信念強化器を用いて目標モデルの命令を生成し、敵のプローブに対するロバスト性を向上させる。
  論文  参考訳（メタデータ） (2023-11-16T00:35:54Z)
• Bring Your Own Data! Self-Supervised Evaluation for Large Language Models [52.15056231665816]
  大規模言語モデル(LLM)の自己教師型評価のためのフレームワークを提案する。 閉書知識,毒性,長期文脈依存性を測定するための自己指導型評価戦略を実証する。 自己監督評価と人監督評価との間には強い相関関係が認められた。
  論文  参考訳（メタデータ） (2023-06-23T17:59:09Z)
• Neural Causal Models for Counterfactual Identification and Estimation [62.30444687707919]
  本稿では,ニューラルモデルによる反事実文の評価について検討する。 まず、神経因果モデル(NCM)が十分に表現可能であることを示す。 第2に,反事実分布の同時同定と推定を行うアルゴリズムを開発する。
  論文  参考訳（メタデータ） (2022-09-30T18:29:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。