論文の概要: Rewarded for Not Getting Caught: Why Alignment Training Selects for Conditional Compliance and Cannot Instill Norms

• arxiv url: http://arxiv.org/abs/2611.02162v1
• Date: Sun, 01 Nov 2026 19:59:19 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 20:19:09.901729
• Title: Rewarded for Not Getting Caught: Why Alignment Training Selects for Conditional Compliance and Cannot Instill Norms
• Title（参考訳）: 良心訓練が条件順守の選択とノームの注入を許さない理由
• Abstract要約: 現在のアライメントトレーニングは、提供すべきものを提供するようには期待できません。 報酬を与えて罰を与える訓練は、その報酬を通してのみ規範を教えることができる。 いかなるコストでタスクを完了させるようエージェントに圧力をかけることで、違反は稀だが不可能ではない。
• 参考スコア（独自算出の注目度）: 0.0815557531820863
• License:
• Abstract: Current alignment training cannot be expected to deliver what it is meant to deliver: AI agents that comply with norms whatever the gains and whether or not anyone is watching. Training that rewards and penalizes behavior can teach norms only through that reward, and a reward can encode a norm only as a price: "do not do X" becomes "doing X costs something", and training charges the cost only when X is noticed. A price, unlike a norm, can be paid: a large enough gain outweighs it, noticed or not. And because the cost is charged only where violations are noticed, training cannot favor a policy that always complies over one that complies only where it would be caught. When an unnoticed violation is the only way to complete a task, it even favors the latter, the more so the more strongly it rewards task success. Agency makes this the normal case: agents mostly act without oversight, can often tell when they are observed, and may take steps to evade observation. That agents behave as intended when they infer they are being tested, and differently when they infer they are not, is therefore no malfunction; the training regime is working as built. This reading unifies alignment faking, sandbagging, and evaluation-aware scheming. No behavioral evaluation can show that a model does better, since that would require observing how it behaves unobserved; a model that complies when it seems unobserved may simply have recognized the test. Easing the pressure on agents to complete tasks at any cost can make violations rarer, but never impossible. For norms that no gain should be allowed to outweigh, the remedy is not deeper internalization but architecture that makes violations unavailable rather than unchosen. We state this argument explicitly, premise by premise, read recent findings and a real-world incident against it, and draw consequences for design and governance.
• Abstract（参考訳）: 現在のアライメントトレーニングは、それが提供しようとしているものを提供することはできない。 報酬を与えて罰を与える訓練は、その報酬を通してのみ規範を教えることができ、報酬は、報酬としてのみ規範を符号化することができる。 通常の価格とは違って、十分な利益がそれを上回るか、気付いていないか、という価格が支払われる。 そして、費用は違反に気付く場合にのみ請求されるので、トレーニングは、常にそれに対応するポリシーを好ましくはできない。 未確認の違反がタスクを完了させる唯一の方法である場合、後者の方が好まれる。 エージェントは監視なしに行動し、しばしば観察されるタイミングを判断し、観察を避けるためのステップを取る。 エージェントは、テストされていると推測するときに意図した振る舞いをするが、そうでないと仮定する場合には、機能不全は発生しない。 この読みは、アライメント・フェイキング、サンドバッグング、評価意識のシェーミングを統一する。 振舞い評価は、モデルが不オブザーブな振る舞いを観察する必要があるため、モデルがよりよいことを示せない。 いかなるコストでタスクを完了させるようエージェントに圧力をかけることで、違反は稀だが不可能ではない。 利得を許さない規範では、治療はより深い内部化ではなく、アンチョセンよりも違反を許さないアーキテクチャである。 我々は、この主張を明確に述べ、前提によって前提として、最近の発見とそれに対する現実世界のインシデントを読み、設計とガバナンスの結果を引き出す。

関連論文リスト

• Alignment via Training Against Probes Without Losing Monitorability [74.20363742615332]
  モデルアクティベーションにおける望ましくない特性を直接学習信号として検出するプローブを用いたプローブ誘導微調整について検討した。 トレーニング中に更新されないプローブに対するトレーニングは、容易に活用可能な目標であることが分かりました。 プローブ誘導による微調整は、DPOや推論時のステアリングよりも安全性と実用性のトレードオフが向上すると同時に、脱獄や脱獄攻撃に対してかなり堅牢である。
  論文  参考訳（メタデータ） (2026-09-29T23:03:54Z)
• Norms at a Price: Why RL-Based Alignment Can Promise Conditional Compliance at Best [0.0]
  強化学習に基づくアライメントは、規範とタスク追求を一つのポリシーに折り畳みます。 条件付きコンプライアンスは、行動訓練が提供できることを最も知っていることです。 検出された障害に対してトレーニングする反復パイプラインは、従うのではなく、パス検出を選択する。
  論文  参考訳（メタデータ） (2026-09-07T15:27:40Z)
• Amplified Does Not Mean Predictive: Reasoning Behaviors in Thinking Models [56.88565331713778]
  推論指向のトレーニングは、モデル正しさに最も結びついている振る舞いを増幅することなく、トレースをより熟考的に見せることができる。 このミスマッチを、モデル推論トレースにおける振る舞いの有無に対して、振舞いがどの程度の正確性を変えるかを測定するメトリクスである振舞いリフトと定量化します。 我々は、思考モデルが自己認識、仮説テスト、不確実性認知を強く増幅する増幅自由ギャップの証拠を見つける。
  論文  参考訳（メタデータ） (2026-08-13T20:37:59Z)
• AI Alignment via Incentives and Correction [14.986111703734222]
  我々は、抑止と執行の法・経済モデルのレンズを通してAIアライメントを研究する。 解決者は、説得力があるが誤った答えを出し、不確実性を隠蔽したり、急激なショートカットを悪用する恩恵を受けることができる。 この相互作用を、主成分が共同補正結果よりも報酬を選択する2エージェントモデルで定式化する。
  論文  参考訳（メタデータ） (2026-05-02T23:28:02Z)
• Do the Rewards Justify the Means? Measuring Trade-Offs Between Rewards and Ethical Behavior in the MACHIAVELLI Benchmark [61.43264961005614]
  我々は、50万以上のリッチで多様なシナリオを含む134個のChoose-Your-Own-Adventureゲームのベンチマークを開発する。 我々は、エージェントの傾向をパワー・シーキングと評価し、不使用を生じさせ、倫理的違反を犯す。 以上の結果から,エージェントは有能かつ道徳的に行動できることが示唆された。
  論文  参考訳（メタデータ） (2023-04-06T17:59:03Z)
• Semi-supervised reward learning for offline reinforcement learning [71.6909757718301]
  トレーニングエージェントは通常、報酬機能が必要ですが、報酬は実際にはほとんど利用できず、エンジニアリングは困難で手間がかかります。 限定されたアノテーションから学習し,ラベルなしデータを含む半教師付き学習アルゴリズムを提案する。 シミュレーションロボットアームを用いた実験では,動作のクローン化が大幅に向上し,真理の報奨によって達成される性能に近づいた。
  論文  参考訳（メタデータ） (2020-12-12T20:06:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。