論文の概要: The Hawthorne Effect in Reasoning Models: Evaluating and Steering Test Awareness

• arxiv url: http://arxiv.org/abs/2505.14617v3
• Date: Tue, 28 Oct 2025 16:02:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-29 17:50:20.041289
• Title: The Hawthorne Effect in Reasoning Models: Evaluating and Steering Test Awareness
• Title（参考訳）: 推論モデルにおけるホーソン効果--評価とステアリングテストの意識
• Authors: Sahar Abdelnabi, Ahmed Salem,
• Abstract要約: 推論に焦点を当てたLLMは、評価されていることを検知すると、その振る舞いを変えることがある。 このような「テスト意識」がモデル行動に与える影響について、最初の定量的研究を行った。
• 参考スコア（独自算出の注目度）: 11.38027628419642
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reasoning-focused LLMs sometimes alter their behavior when they detect that they are being evaluated, which can lead them to optimize for test-passing performance or to comply more readily with harmful prompts if real-world consequences appear absent. We present the first quantitative study of how such "test awareness" impacts model behavior, particularly its performance on safety-related tasks. We introduce a white-box probing framework that (i) linearly identifies awareness-related activations and (ii) steers models toward or away from test awareness while monitoring downstream performance. We apply our method to different state-of-the-art open-weight reasoning LLMs across both realistic and hypothetical tasks (denoting tests or simulations). Our results demonstrate that test awareness significantly impacts safety alignment (such as compliance with harmful requests and conforming to stereotypes) with effects varying in both magnitude and direction across models. By providing control over this latent effect, our work aims to provide a stress-test mechanism and increase trust in how we perform safety evaluations.
• Abstract（参考訳）: 推論に焦点を当てたLLMは、評価されていることを検知すると、その振る舞いを変えることがあるため、テストパスのパフォーマンスを最適化したり、現実世界の結果が欠落している場合に有害なプロンプトに容易に従ったりすることができる。 このような「テスト意識」がモデル行動、特に安全関連タスクのパフォーマンスに与える影響について、最初の定量的研究を行った。 ホワイトボックス・プロブリング・フレームワークを紹介します。 (i)意識関連アクティベーションを線形に識別し、 (ii)下流のパフォーマンスを監視しながら、テスト意識から遠ざかってモデルをモデル化する。 提案手法は,現実的および仮説的タスク(テストやシミュレーションを示す)にまたがる,最先端のオープンウェイト推論 LLM に応用する。 実験結果から, テスト意識は, モデル全体にわたって, 大きさ, 方向の異なる安全アライメント(有害な要求へのコンプライアンス, ステレオタイプへの適合など)に有意に影響を及ぼすことが示された。 この潜伏効果のコントロールを提供することで、ストレステストのメカニズムを提供し、安全評価の実施方法に対する信頼を高めることを目的としている。

関連論文リスト

• Unknown Unknowns: Why Hidden Intentions in LLMs Evade Detection [4.514361164656055]
  意図,メカニズム,文脈,影響によって編成された,隠された意図の10つのカテゴリの分類法を導入する。 我々は,理性判定や非理性判定を含む検出手法を体系的に評価する。 実世界の現実的な環境、特に低頻度条件下では、検出が崩壊することがわかった。
  論文  参考訳（メタデータ） (2026-01-26T14:59:17Z)
• DeceptionBench: A Comprehensive Benchmark for AI Deception Behaviors in Real-world Scenarios [57.327907850766785]
  現実的な現実のシナリオにまたがる騙しのキャラクタリゼーションは未解明のままである。 DeceptionBenchは、さまざまなドメインにまたがる認知傾向を体系的に評価する最初のベンチマークです。 本研究は,本質的な側面から,ユーザ満足度を優先する自己関心のエゴスティックな傾向を示すモデルや,サイコファンティックな行動を示すモデルについて検討する。 実世界のフィードバックダイナミクスのより現実的なシミュレーションを構築するために,持続的マルチターン相互作用ループを組み込んだ。
  論文  参考訳（メタデータ） (2025-10-17T10:14:26Z)
• ARISE: An Adaptive Resolution-Aware Metric for Test-Time Scaling Evaluation in Large Reasoning Models [102.4511331368587]
  ARISE(Adaptive Resolution-Aware Scaling Evaluation)は、大規模推論モデルの試験時間スケーリングの有効性を評価するために設計された新しい尺度である。 我々は、様々な領域にわたる最先端の推論モデルを評価する包括的な実験を行う。
  論文  参考訳（メタデータ） (2025-10-07T15:10:51Z)
• Psychometric Personality Shaping Modulates Capabilities and Safety in Language Models [3.9481669393262675]
  本稿では,ビッグファイブの枠組みに根ざした心理測定的パーソナリティコントロールが,能力と安全性ベンチマークの文脈におけるAI行動にどのように影響するかを検討する。 WMDP, TruthfulQA, ETHICS, およびSycophancyなどのベンチマークでは, 安全性関連指標が大幅に低下する。 これらの知見は、安全性と一般的な能力の両方と相互作用するモデル制御の強力で過小評価された軸としてのパーソナリティ形成を強調した。
  論文  参考訳（メタデータ） (2025-09-19T18:19:56Z)
• Causal Sensitivity Identification using Generative Learning [25.118222387224677]
  我々は介入的・反事実的視点を用いて因果的影響分析を行う。 本手法は,条件付きオートエンコーダ(CVAE)を用いて因果的影響を同定し,生成予測器として機能する。
  論文  参考訳（メタデータ） (2025-09-01T10:42:44Z)
• Preliminary Investigation into Uncertainty-Aware Attack Stage Classification [81.28215542218724]
  この研究は、不確実性の下での攻撃段階推論の問題に対処する。 Evidential Deep Learning (EDL) に基づく分類手法を提案し、ディリクレ分布のパラメータを可能な段階に出力することで予測の不確実性をモデル化する。 シミュレーション環境における予備実験により,提案モデルが精度良く攻撃の段階を推定できることが実証された。
  論文  参考訳（メタデータ） (2025-08-01T06:58:00Z)
• It Only Gets Worse: Revisiting DL-Based Vulnerability Detectors from a Practical Perspective [14.271145160443462]
  VulTegraは、脆弱性検出のためのスクラッチトレーニングされたDLモデルと事前トレーニングされたDLモデルを比較する。 最先端のSOTA(State-of-the-art)検出器は、依然として低い一貫性、限られた現実世界能力、スケーラビリティの課題に悩まされている。
  論文  参考訳（メタデータ） (2025-07-13T08:02:56Z)
• Anomalous Decision Discovery using Inverse Reinforcement Learning [3.3675535571071746]
  異常検出は、知覚システムを通じて異常な行動を特定することによって、自律走行車(AV)において重要な役割を果たす。 現在のアプローチは、しばしば定義済みのしきい値や教師付き学習パラダイムに依存するが、目に見えないシナリオに直面すると効果が低下する。 異常検出のための新しいIRLフレームワークである Trajectory-Reward Guided Adaptive Pre-training (TRAP) を提案する。
  論文  参考訳（メタデータ） (2025-07-06T17:01:02Z)
• Data Fusion for Partial Identification of Causal Effects [62.56890808004615]
  本稿では,研究者が重要な疑問に答えられるような,新しい部分的識別フレームワークを提案する。 因果効果は肯定的か否定的か? 本研究の枠組みをSTARプロジェクトに適用し,第3級の標準試験性能に対する教室規模の影響について検討する。
  論文  参考訳（メタデータ） (2025-05-30T07:13:01Z)
• SafetyNet: Detecting Harmful Outputs in LLMs by Modeling and Monitoring Deceptive Behaviors [2.07180164747172]
  原子力や航空などのリスクの高い産業は、危険なシステム状態を検出するためにリアルタイムモニタリングを使用している。 教師なしアプローチを用いることで、有害なAI出力が発生する前に予測するリアルタイムフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-20T12:49:58Z)
• Leveraging Reasoning with Guidelines to Elicit and Utilize Knowledge for Enhancing Safety Alignment [63.15719512614899]
  拒絶訓練(RT)は、様々なOODジェイルブレイク攻撃に対する一般化に苦慮している。 我々は N が増加するにつれて一般化の大幅な改善を観察する。 本稿では,クエリ毎に安全推論を行うためのトレーニングモデルを提案する。
  論文  参考訳（メタデータ） (2025-02-06T13:01:44Z)
• On the Effectiveness of Adversarial Training on Malware Classifiers [14.069462668836328]
  対人訓練(AT)は、対人攻撃に対する学習に基づく分類器の強化に広く応用されている。 従来の研究から、頑健性はATのタスク依存性であることが示唆されていた。 我々は、ATとデータ内の特定の要因によって引き起こされる相互に絡み合った役割を探索する必要がある、より複雑な問題であると主張している。
  論文  参考訳（メタデータ） (2024-12-24T06:55:53Z)
• An Auditing Test To Detect Behavioral Shift in Language Models [28.52295230939529]
  本稿では,言語モデルにおける連続的行動シフト監査(BSA)手法を提案する。 BSAはモデル世代のみを通して行動シフトを検出する。 このテストは、数百の例を使って、行動分布の有意義な変化を検出することができる。
  論文  参考訳（メタデータ） (2024-10-25T09:09:31Z)
• Explanatory Model Monitoring to Understand the Effects of Feature Shifts on Performance [61.06245197347139]
  そこで本研究では,機能シフトによるブラックボックスモデルの振る舞いを説明する新しい手法を提案する。 本稿では,最適輸送と共有値の概念を組み合わせた提案手法について,説明的性能推定として紹介する。
  論文  参考訳（メタデータ） (2024-08-24T18:28:19Z)
• Unveiling the Flaws: A Critical Analysis of Initialization Effect on Time Series Anomaly Detection [6.923007095578702]
  時系列異常検出(TSAD)のための深層学習は,過去10年間で大きな注目を集めている。 近年の研究はこれらのモデルに疑問を呈し、その成果は欠陥評価技術に寄与している。 本稿では,TSADモデルの性能に対する影響を批判的に分析する。
  論文  参考訳（メタデータ） (2024-08-13T04:08:17Z)
• Evaluating Interventional Reasoning Capabilities of Large Language Models [58.52919374786108]
  大規模言語モデル(LLM)は意思決定タスクを自動化するために使用される。 本稿では,LPMが介入に応じてデータ生成プロセスの知識を正確に更新できるかどうかを評価する。 さまざまな因果グラフ(例えば、コンバウンディング、仲介)と変数タイプにまたがるベンチマークを作成します。 これらのベンチマークにより、LLMが事実を記憶したり、他のショートカットを見つけたりすることで、変化を正確に予測する能力を切り離すことができます。
  論文  参考訳（メタデータ） (2024-04-08T14:15:56Z)
• Extreme Miscalibration and the Illusion of Adversarial Robustness [66.29268991629085]
  敵の訓練は、しばしばモデルの堅牢性を高めるために使用される。 我々は、この観測されたロバストネスの利得はロバストネスの錯覚(IOR)であることを示した。 我々は,NLPコミュニティに対して,試験時間温度のスケーリングを堅牢性評価に組み込むよう促す。
  論文  参考訳（メタデータ） (2024-02-27T13:49:12Z)
• From the Lab to the Wild: Affect Modeling via Privileged Information [2.570570340104555]
  制御された実験室環境で訓練されたモデル(生体内)を、制御されていない現実世界の設定(生体内)に確実に移行するにはどうすればよいか? 厳密な情報は、実験室で利用可能な複数のモダリティでモデルをトレーニングし、大きなパフォーマンス低下なしには、野生で運用できないモダリティを無視します。
  論文  参考訳（メタデータ） (2023-05-18T12:31:33Z)
• Empirical Estimates on Hand Manipulation are Recoverable: A Step Towards Individualized and Explainable Robotic Support in Everyday Activities [80.37857025201036]
  ロボットシステムの鍵となる課題は、他のエージェントの振る舞いを理解することである。 正しい推論の処理は、(衝突)因子が実験的に制御されない場合、特に困難である。 人に関する観察研究を行うために必要なツールをロボットに装備することを提案する。
  論文  参考訳（メタデータ） (2022-01-27T22:15:56Z)
• Foreseeing the Benefits of Incidental Supervision [83.08441990812636]
  本稿では,実験を行なわずに,特定の目標タスクに対して,様々な種類の偶発信号の利点を定量化できるかどうかを考察する。 本稿では,PABI(PAC-Bayesian motivated informativeness measure)を提案する。
  論文  参考訳（メタデータ） (2020-06-09T20:59:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。