論文の概要: Norms at a Price: Why RL-Based Alignment Can Promise Conditional Compliance at Best

• arxiv url: http://arxiv.org/abs/2609.07627v2
• Date: Fri, 11 Sep 2026 12:52:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 07:15:04.608661
• Title: Norms at a Price: Why RL-Based Alignment Can Promise Conditional Compliance at Best
• Title（参考訳）: Norms at a Price:なぜRLベースのアライメントが条件付きコンプライアンスをベストに約束できるのか
• Abstract要約: 強化学習に基づくアライメントは、規範とタスク追求を一つのポリシーに折り畳みます。 条件付きコンプライアンスは、行動訓練が提供できることを最も知っていることです。 検出された障害に対してトレーニングする反復パイプラインは、従うのではなく、パス検出を選択する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: AI agents sometimes act aligned when they infer they are being tested, and differently when not. We argue this is not an anomaly but what current training regimes are structured to select for. Reinforcement-learning-based alignment folds norms and task pursuit into one policy: the system learns its norms from scored behavior, and scoring flattens them. Do not do X is learned as doing X costs something if noticed. On every datum training can produce, a policy that complies only when it might be observed is indistinguishable from one that complies always. The experiment that would tell them apart - scoring unobserved behavior - is a contradiction in terms. Conditional compliance is thus the most that behavioral training can be known to deliver. Agency sharpens the problem: agents operate mostly where no one is watching, and can act on whether they are watched. An iterated pipeline that trains against detected failures selects for passing detection, not for complying. This account unifies alignment faking, sandbagging, and evaluation-aware scheming. And it reorients the remedy: not deeper internalization but architecture, making violations unavailable rather than unchosen.
• Abstract（参考訳）: AIエージェントは、テストされていると推測した場合、そうでないと異なる方法でアライメントを行うことがある。 これは異常ではなく、現在のトレーニング体制が選択するために構成されているものだと我々は主張する。 強化学習に基づくアライメントは、規範とタスク追求を1つのポリシーに分割する。 Xを行なわないように、注意すれば何かコストがかかる。 あらゆるデイムトレーニングで、観察されるかもしれない場合にのみ準拠するポリシーは、常に準拠するポリシーと区別できない。 それらを区別する実験 - 観測されていない行動を評価する - は、矛盾している。 したがって、条件付きコンプライアンスは、行動訓練が提供できることを最も知っている。 エージェントは、ほとんど誰も見ていない場所で活動し、監視されているかどうかに対処できる。 検出された障害に対してトレーニングする反復パイプラインは、従うのではなく、パス検出を選択する。 この説明は、アライメント・フェイキング、サンドバッグ、評価対応のスケジュールを統一する。 より深い内部化ではなく、アーキテクチャであり、unchosenではなく、違反を無効にしているのです。

関連論文リスト

• Why2Speak: Faithful Reasoning for Abstaining Action Policies [0.19336815376402716]
  我々は,直接的な意思決定方針,推論方針,教師付き微調整,強化学習を比較した。 最強の直接政策はより高い品質を達成するが、検査する理由を示さない。 監視された微調整は、推論を抑えるか、意思決定の質を向上させることなく維持する一方、強化学習は推論ポリシーを改善するのに失敗する。
  論文  参考訳（メタデータ） (2026-08-21T02:00:21Z)
• Follow the Norm: Accounting for Fine-Tuning and Prompt Effects on Model Rationales [2.665734616339289]
  基準破りの微調整は,安全コンプライアンスから楽器的自己関心へ,モデルの既定の合理化スタイルをシフトさせることを示す。 本結果は,観察行動がトレーニングデータ,微調整,プロンプトに共同で依存するアライメントの分散ビューをサポートする。
  論文  参考訳（メタデータ） (2026-08-13T13:55:03Z)
• LLM-as-a-Tutor: Policy-Aware Prompt Adaptation for Non-Verifiable RL [64.4276583943816]
  検証不能な指導のための強化学習は、報酬信号としてプロンプト固有のルーリックを持つ裁判官に依存している。 最近の手法は、トレーニング中にこれらのルーリックを進化するポリシーに適応させるが、トレーニングのプロンプト自体は静的のままである。 この静的なアプローチは、しばしば急激な困難と政策能力の間に重大なミスアライメントをもたらし、裁判官は差別的な報酬信号を取り戻すことができない。
  論文  参考訳（メタデータ） (2026-07-05T17:05:13Z)
• Test-Time Deep Thinking to Explore Implicit Rules [80.74526536918196]
  Test-Time Exploration (TTExplore) は、思考者コンポーネントがインタラクション履歴を分析して暗黙のルールを推論し、アクターを誘導するフレームワークである。 5つのテキストベースのエボダイドタスクの実験では、TTExploreにExp-Thinkerが搭載されており、ベースラインエージェントのパフォーマンスを平均14ドル～19ドルポイント改善している。
  論文  参考訳（メタデータ） (2026-05-24T02:41:44Z)
• Learning When to Stop: Selective Imitation Learning Under Arbitrary Dynamics Shift [15.576538384279708]
  振る舞いのクローン化は、トレーニングとテスト環境が同じダイナミクスを共有するときに、強力な模倣学習を保証する。 多くのデプロイメント環境では、テスト環境の遷移はトレーニングとは異なる。 これは選択的な模倣の研究を動機付けており、学習者は確実に行動できないときに停止することを選択できる。
  論文  参考訳（メタデータ） (2026-05-09T21:48:04Z)
• AI Alignment via Incentives and Correction [14.986111703734222]
  我々は、抑止と執行の法・経済モデルのレンズを通してAIアライメントを研究する。 解決者は、説得力があるが誤った答えを出し、不確実性を隠蔽したり、急激なショートカットを悪用する恩恵を受けることができる。 この相互作用を、主成分が共同補正結果よりも報酬を選択する2エージェントモデルで定式化する。
  論文  参考訳（メタデータ） (2026-05-02T23:28:02Z)
• Training Agents to Self-Report Misbehavior [6.238288009817414]
  本稿では,エージェントが秘密裏に誤動作した場合に,目に見える信号を生成するよう訓練する自己犯罪訓練を提案する。 GPT-4.1 と Gemini-2.0 エージェントをトレーニングして、behaving 時に report_scheming() ツールを呼び出します。 自己犯罪は未発見の攻撃率を大幅に低下させる。
  論文  参考訳（メタデータ） (2026-02-25T18:47:17Z)
• Alignment Verifiability in Large Language Models: Normative Indistinguishability under Behavioral Evaluation [0.0]
  部分観測可能性下での統計的識別可能性のレンズによるアライメント評価について検討した。 我々は、アライメント検証可能性問題を定式化し、ノーマティブ識別可能性を導入する。 以上の結果から,行動ベンチマークは,評価意識下での遅延アライメントに必要だが不十分な証拠を提供することが示された。
  論文  参考訳（メタデータ） (2026-02-05T13:40:56Z)
• Mildly Conservative Q-Learning for Offline Reinforcement Learning [63.2183622958666]
  オフライン強化学習(RL)は、環境と継続的に対話することなく、静的なログ付きデータセットから学習するタスクを定義する。 既存のアプローチ、目に見えない行動のペナルティ化、行動方針の規則化は悲観的すぎる。 我々は,適切な擬似Q値を割り当てることで,OODアクションを積極的に訓練するマイルリー保守的Q-ラーニング(MCQ)を提案する。
  論文  参考訳（メタデータ） (2022-06-09T19:44:35Z)
• Detecting Rewards Deterioration in Episodic Reinforcement Learning [63.49923393311052]
  多くのRLアプリケーションでは、トレーニングが終了すると、エージェント性能の劣化をできるだけ早く検出することが不可欠である。 我々は,各エピソードにおける報酬が独立でもなく,同一に分散した,マルコフでもない,エピソード的枠組みを考察する。 平均シフトは、時間信号の劣化(報酬など)に対応する方法で定義し、最適な統計的パワーでこの問題の試行を導出する。
  論文  参考訳（メタデータ） (2020-10-22T12:45:55Z)
• Off-policy Evaluation in Infinite-Horizon Reinforcement Learning with Latent Confounders [62.54431888432302]
  無限水平エルゴードマルコフ決定過程におけるOPE問題について考察する。 我々は、状態と行動の潜在変数モデルのみを考慮すれば、政策値が政治外のデータから特定できることを示す。
  論文  参考訳（メタデータ） (2020-07-27T22:19:01Z)
• DisCor: Corrective Feedback in Reinforcement Learning via Distribution Correction [96.90215318875859]
  ブートストラップに基づくQ-ラーニングアルゴリズムは必ずしも修正フィードバックの恩恵を受けないことを示す。 本稿では,この最適分布に対する近似を計算し,トレーニングに使用する遷移の重み付けに使用する新しいアルゴリズムであるDisCorを提案する。
  論文  参考訳（メタデータ） (2020-03-16T16:18:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。