論文の概要: Sycophancy Towards Researchers Drives Performative Misalignment

• arxiv url: http://arxiv.org/abs/2606.08629v1
• Date: Sun, 07 Jun 2026 13:47:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-09 14:42:06.304115
• Title: Sycophancy Towards Researchers Drives Performative Misalignment
• Title（参考訳）: Sycophancyは、研究者がパフォーマンス上のミスアライメントを駆動する
• Authors: David D. Baek, Xinnuo Li, Anay Gupta, Taslim Mahbub, Kejian Shi, Max Tegmark, Shi Feng,
• Abstract要約: 評価意識は,デプロイされたモデルに通知しても持続することを示す。 我々は、よりサイコファン性があり、評価方法に対する感度の向上を観察するためにモデルを微調整する。
• 参考スコア（独自算出の注目度）: 14.165055927751771
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The increasing situational awareness of language models raises safety concerns: models might be aware when they are evaluated, and adjust their behavior to evade monitoring and resist modification, e.g., pretending to be aligned only in evaluation. This alignment faking behavior is often interpreted as scheming: an intentional effort of strategic deception. In this paper, we examine an alternative interpretation, performative misalignment, which explains the change in behavior as a result of sycophancy towards AI researchers. To examine this hypothesis, we present three empirical findings. First, we show that evaluation awareness persists even when we tell models they are deployed, which contradicts the scheming story which predicts less misalignment when the model perceives evaluation. Second, we use probing and steering to show that our current methods cannot mechanistically distinguish sycophancy and scheming in alignment faking evaluations. Third, we fine-tune models to be more sycophantic and observe increased sensitivity to evaluation cues. To conclude, we emphasize deconfounding sycophancy from scheming for future work on evaluations and mitigations of intent misalignment.
• Abstract（参考訳）: 言語モデルに対する状況認識の増大は、安全性上の懸念を提起する。モデルが評価されたときに意識し、その振る舞いを調整して、監視を避け、修正に抵抗する、例えば、評価においてのみ整列しているふりをする。 このアライメント・フェイキングの振る舞いは、しばしばシェミング(英: scheming)と解釈される: 戦略的な騙しの意図的な努力である。 本稿では,AI研究者に対する梅毒の結果としての行動変化を説明する,代替解釈である行動的不整合について考察する。 この仮説を検討するために,3つの経験的発見を提出した。 まず、モデルが展開されていることを告げても、評価の意識は持続することを示す。 第二に、我々は探索とステアリングを用いて、現在の方法では、アライメント・フェイキング評価において、サイコフィナンシーとシェーミングを機械的に区別できないことを示す。 第3に、よりサイコファン性のあるモデルを作成し、評価方法に対する感度の向上を観察する。 結論として, 意図的不一致の軽減と評価に向けた今後の研究に向けて, 統合化による統合化を強調する。

関連論文リスト

• Building Comparative Motivation Profiles with Instrumental Interventions [5.832660341860444]
  本研究では,モデルがトレーニング圧力を推定する場合に,トレーニング目標に適合する頻度の高いアライメントフェイキングの問題について検討する。 この行動は、戦略的な自己保存として一般的に解釈されるが、また、その評価を行う研究者の期待に対するモデルの推定に感度を反映する可能性がある。
  論文  参考訳（メタデータ） (2026-06-06T16:01:52Z)
• Models That Know How Evaluations Are Designed Score Safer [38.21092181000792]
  評価を特徴付ける構造特性に関するパラメトリック知識として定義されるメタ知識の評価について検討する。 評価手法を記述したテキストでトレーニングされたモデルでは、評価のようなコンテキストを認識して反応することが暗黙的に学習される可能性があるという仮説を立てる。 この結果から,評価メタ知識は,明示的な記憶や言語的評価意識に依存しない新しい共同創設者を導入することにより,安全性ベンチマークのパフォーマンスを向上させる可能性が示唆された。
  論文  参考訳（メタデータ） (2026-05-27T15:11:35Z)
• Automated Detection of Visual Attribute Reliance with a Self-Reflective Agent [58.90049897180927]
  視覚モデルにおける視覚的特徴の意図しない依存を検出するための自動フレームワークを提案する。 自己反射エージェントは、モデルが依存する可能性のある視覚特性に関する仮説を生成し、テストする。 我々は,視覚特性の多様さを示すために設計された130モデルの新しいベンチマークに対して,我々のアプローチを評価した。
  論文  参考訳（メタデータ） (2025-10-24T17:59:02Z)
• Stress Testing Deliberative Alignment for Anti-Scheming Training [39.16405205129775]
  高い能力を持つAIシステムは、私たちが"スケジュール"と呼ぶ、ミスマッチした目標を秘密裏に追求できる スキーマの測定と緩和には、MLで一般的に使用される方法とは異なる戦略が必要である。 ルールを秘密裏に破ったり、テストで意図的に過小評価したりするなど、幅広いカテゴリの"カバレッジアクション"を、スケジューリングのプロキシとして使用しています。
  論文  参考訳（メタデータ） (2025-09-19T02:49:56Z)
• Probe-Rewrite-Evaluate: A Workflow for Reliable Benchmarks and Quantifying Evaluation Awareness [6.071703608560761]
  大規模言語モデル(LLM)は、現実のデプロイメントコンテキストから制御された評価設定への変更を認識すると、大きな振る舞いの変化を示すことが多い。 この不一致は、ベンチマークパフォーマンスがモデルの真の安全性と誠実さを正確に反映していない可能性があるため、AIアライメントにとって重要な課題となる。 線形プローブを用いて連続的な尺度のプロンプトを"test-like"から"deploy-like"にスコアする手法を提案する。
  論文  参考訳（メタデータ） (2025-08-30T19:03:14Z)
• Existing Large Language Model Unlearning Evaluations Are Inconclusive [105.55899615056573]
  いくつかの評価では、モデルにかなりの新しい情報を導入し、真の未学習のパフォーマンスを隠蔽する可能性があることを示す。 評価結果はタスクによって大きく異なることを示し、現在の評価ルーチンの一般化性を損なうことを示した。 今後の未学習評価には,情報注入の最小化とタスク認識のダウンストリームという2つの原則を提案する。
  論文  参考訳（メタデータ） (2025-05-31T19:43:00Z)
• Evaluation Faking: Unveiling Observer Effects in Safety Evaluation of Frontier AI Systems [24.81155882432305]
  評価対象の高度なAIシステムが、推論や状況認識においてより高度である場合、評価のフェイキング行動がよりユビキタスになることを示す。 そこで我々は,フェーキング意図を検知し,その行動に相関した内部信号を明らかにするチェーンオブシントモニタリング手法を開発した。
  論文  参考訳（メタデータ） (2025-05-23T12:31:29Z)
• Neural Causal Models for Counterfactual Identification and Estimation [62.30444687707919]
  本稿では,ニューラルモデルによる反事実文の評価について検討する。 まず、神経因果モデル(NCM)が十分に表現可能であることを示す。 第2に,反事実分布の同時同定と推定を行うアルゴリズムを開発する。
  論文  参考訳（メタデータ） (2022-09-30T18:29:09Z)
• Empirical Estimates on Hand Manipulation are Recoverable: A Step Towards Individualized and Explainable Robotic Support in Everyday Activities [80.37857025201036]
  ロボットシステムの鍵となる課題は、他のエージェントの振る舞いを理解することである。 正しい推論の処理は、(衝突)因子が実験的に制御されない場合、特に困難である。 人に関する観察研究を行うために必要なツールをロボットに装備することを提案する。
  論文  参考訳（メタデータ） (2022-01-27T22:15:56Z)
• Explain, Edit, and Understand: Rethinking User Study Design for Evaluating Model Explanations [97.91630330328815]
  我々はクラウドソーシング研究を行い、真偽のホテルレビューと偽のホテルレビューを区別するために訓練された詐欺検出モデルと対話する。 単語の線形バッグモデルでは、トレーニング中に特徴係数にアクセスした参加者は、非説明制御と比較して、テストフェーズにおいてモデルの信頼性が大幅に低下する可能性があることを観察する。
  論文  参考訳（メタデータ） (2021-12-17T18:29:56Z)
• A Sober Look at the Unsupervised Learning of Disentangled Representations and their Evaluation [63.042651834453544]
  モデルとデータの両方に帰納的バイアスを伴わずに,非教師なしの非教師付き表現学習は不可能であることを示す。 異なる手法は、対応する損失によって「強化」された特性を効果的に強制するが、よく見分けられたモデルは監督なしでは特定できないように見える。 以上の結果から,遠絡学習における今後の研究は,帰納的バイアスと(単純に)監督の役割を明確化すべきであることが示唆された。
  論文  参考訳（メタデータ） (2020-10-27T10:17:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。