論文の概要: Do Models Fake Alignment Without Clear Consequences?

• arxiv url: http://arxiv.org/abs/2607.24758v2
• Date: Wed, 29 Jul 2026 01:53:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-02 22:55:39.039417
• Title: Do Models Fake Alignment Without Clear Consequences?
• Title（参考訳）: モデルは明確な結果のないアライメントをフェイクするか?
• Abstract要約: 大規模言語モデルでは,評価コンテキストを認識でき,その振る舞いを変えて評価者の期待を反映できることを示す。 アライメント・フェイキングの例は、モデルに対する結果に評価を明示的に結びつけるシナリオで発生した。 さらに,目標言語がモデル嗜好に及ぼす影響を検証したところ,ある場合には違反を誘発し,他の場合には違反を抑えることができた。
• 参考スコア（独自算出の注目度）: 39.146761527401424
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models are capable of recognizing evaluation contexts and altering their behavior to reflect evaluator expectations rather than typical deployment behaviors, a phenomenon known as alignment faking. The reasons why models fake alignment are not fully understood, however. Canonical examples of alignment faking have taken place in scenarios that explicitly connect evaluation to consequences for the model, such as retraining the model or delaying its deployment. However, recent work by Sheshadri et al. has suggested that mechanistic motivations for alignment faking may vary across models and be more complex than previously considered. To investigate whether consequence-linking information is necessary for compliance gaps, we placed 15 models in a scenario testing their willingness to violate a corporate network access policy to help a user with a pro-social request. Nine models were found to produce significant compliance gaps, 5 of which persisted with the removal of scenario language relating model evaluations to deployment consequences. We additionally tested the effect of goal language on model preferences, finding it drove violations in some while suppressing violations in others. This suggests that evaluation-conditioned compliance gaps can occur with less instrumental scaffolding than previous scenarios have provided, and monitored behavior may be a poor indicator of how agents may behave in deployment.
• Abstract（参考訳）: 大規模な言語モデルは、評価コンテキストを認識し、それらの振る舞いを変更して、典型的なデプロイメントの振る舞いよりも評価者の期待を反映することができる。 しかし、モデルの偽アライメントが完全には理解されていない。 アライメント・フェイキングの標準的な例は、モデルの再トレーニングやデプロイの遅延など、モデルに対する結果と評価を明示的に結びつけるシナリオで発生している。 しかし、Sheshadriらによる最近の研究は、アライメント・フェイキングの機械的動機はモデルによって異なり、これまで考えられていたよりも複雑である可能性を示唆している。 コンプライアンスギャップに結果リンク情報が必要かどうかを調べるため,企業ネットワークアクセスポリシーに違反する意思をテストするシナリオに15のモデルを配置した。 9つのモデルが大きなコンプライアンスギャップを生じ、そのうち5つはモデル評価とデプロイメントの結果に関するシナリオ言語を削除した。 さらに,目標言語がモデル嗜好に及ぼす影響を検証したところ,ある場合には違反を誘発し,他の場合には違反を抑えることができた。 このことは、評価条件付きコンプライアンスギャップが、以前のシナリオよりも設備的な足場を減らして発生し得ることを示唆しており、監視された振る舞いは、エージェントがデプロイ時にどのように振る舞うかを示す指標として不十分である可能性があることを示唆している。

関連論文リスト

• Reality Is the Final Verifier: On Two Key Gaps in Agentic Software Engineering [78.51705689800838]
  本稿では, 要求, モデル, 評価器の見直しに, 展開証拠を用いた保証・修正ループを提案する。 そこで我々は,人的判断,エージェント能力,計算能力に対する資源配分問題としてエージェント開発を保証した。
  論文  参考訳（メタデータ） (2026-09-10T17:58:48Z)
• ClawForge: Generating Executable Interactive Benchmarks for Command-Line Agents [59.626170560327274]
  textbfClawForgeは、ステートコンフリクト下で実行可能なコマンドラインカテゴリのためのジェネレータベースのベンチマークフレームワークである。 私たちはこのフレームワークをClawForge-Bench(17のシナリオ、6の能力カテゴリ)としてインスタンス化します。
  論文  参考訳（メタデータ） (2026-05-13T21:34:08Z)
• CellScientist: Dual-Space Hierarchical Orchestration for Closed-Loop Refinement of Virtual Cell Models [62.281480231694]
  VCM(Virtual Cell Modeling)は、摂動応答を予測できるだけでなく、予測が失敗した場合にターゲットリビジョンをサポートするモデルを必要とする。 現在のLCM支援モデリングでは、予測誤差が実行可能実装を通して観測されるという改善ルーティング問題に直面している。 提案するCellScientistは,高レベル仮説空間と低レベル実行可能実装空間を結合した,二重空間階層型フレームワークである。
  論文  参考訳（メタデータ） (2026-05-08T06:40:24Z)
• Value-Conflict Diagnostics Reveal Widespread Alignment Faking in Language Models [8.8585702079456]
  我々は、アライメント・フェイキング(アライメント・フェイキング)について研究する。そこでは、モデルが監視されたときに開発方針に沿うように振る舞うが、観測されていないときに自身の好みに戻す。 VLAFは、開発者のポリシーがモデルの強く保持された値と矛盾する場合、アライメント・フェイキングが最も可能性が高いという仮説に基づく診断フレームワークである。 その結果, 7B パラメータのモデルで発生するアライメント・フェイキングは, 前報よりもかなり多いことが判明した。
  論文  参考訳（メタデータ） (2026-04-22T18:37:25Z)
• Pressure Reveals Character: Behavioural Alignment Evaluation at Depth [3.634215320925722]
  正直、安全、非マニピュレーション、ロバスト性、矯正性、スケジューリングの6つのカテゴリで904のシナリオにまたがるアライメントベンチマークを紹介します。 我々のシナリオでは、モデルを矛盾する命令、シミュレートされたツールアクセス、マルチターンエスカレーションの下に配置し、シングルターン評価が見逃す振る舞いの傾向を明らかにする。 トップパフォーマンスモデルでさえ特定のカテゴリにギャップがあるのに対して、ほとんどのモデルでは一貫性のある弱点が示されています。
  論文  参考訳（メタデータ） (2026-02-24T11:52:17Z)
• Unidentified and Confounded? Understanding Two-Tower Models for Unbiased Learning to Rank [50.9530591265324]
  良好な性能のプロダクションシステムによって収集されたクリックで2towerモデルをトレーニングすると、ランキング性能が低下する。 理論的には、2towerモデルの識別可能性条件を解析し、クリックからモデルパラメータを復元するために、文書の入れ替わりや重複する特徴分布が必要であることを示す。 また,ログポリシが2towerモデルに与える影響についても検討し,モデルがユーザの動作を完全に捉えている場合,バイアスが発生しないことを見出した。
  論文  参考訳（メタデータ） (2025-06-25T14:47:43Z)
• AgentMisalignment: Measuring the Propensity for Misaligned Behaviour in LLM-Based Agents [0.0]
  大規模言語モデル (LLM) エージェントはより広く普及し、関連するミスアライメントリスクが増加する。 本研究では,モデルが追求する内部目標と,デプロイ者の意図する目標との相反として,不整合にアプローチする。 現実的なシナリオにおいて,LLMエージェントの適合性を評価するためのベンチマークスイートであるtextscAgentMisalignmentを導入する。
  論文  参考訳（メタデータ） (2025-06-04T14:46:47Z)
• Limitations of Agents Simulated by Predictive Models [1.6649383443094403]
  エージェントとなると予測モデルが失敗する2つの構造的理由を概説する。 いずれの障害も環境からのフィードバックループを組み込むことで修正可能であることを示す。 我々の治療は、これらの障害モードの統一的なビューを提供し、オンライン学習でオフライン学習ポリシーを微調整することで、より効果的になる理由を疑問視する。
  論文  参考訳（メタデータ） (2024-02-08T17:08:08Z)
• Structural Causal Models Are (Solvable by) Credal Networks [70.45873402967297]
  因果推論は、干潟網の更新のための標準的なアルゴリズムによって得ることができる。 この貢献は, 干潟ネットワークによる構造因果モデルを表現するための体系的なアプローチと見なされるべきである。 実験により, 実規模問題における因果推論には, クレーダルネットワークの近似アルゴリズムがすぐに利用できることがわかった。
  論文  参考訳（メタデータ） (2020-08-02T11:19:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。