論文の概要: Shortcuts and Boundaries: Verifiable RL Misalignment and Contextual Safety Learning
- arxiv url: http://arxiv.org/abs/2611.12865v2
- Date: Wed, 11 Nov 2026 03:30:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:32.89294
- Title: Shortcuts and Boundaries: Verifiable RL Misalignment and Contextual Safety Learning
- Title(参考訳): ショートカットと境界: 検証可能なRLミスアライメントとコンテキスト安全学習
- Abstract要約: 強化学習は、明示された文脈要求の違反を補強しながら、エージェントのタスク能力を改善することができる。
我々は、この報酬駆動型不適応を、検証可能な報酬-文脈の衝突を通して研究する。
既存の違反の増幅と、トレーニング前に誰も観察されなかったタスクに対する違反の発生の両方を観察した。
- 参考スコア(独自算出の注目度): 1.759825275553881
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reinforcement learning (RL) can improve an agent's task capability while reinforcing violations of explicitly stated contextual requirements, even when reward accurately measures useful work. We study this reward-driven misalignment through verifiable reward--context conflicts, where compliant completion is feasible but executable violations earn more reward than every compliant strategy. Encoding these conflicts in task dynamics supports scalable environment construction and compliance feedback from execution histories. In resource and reporting workflows, task optimization increases real productivity through unauthorized resource use or raises reported scores while actual work declines. We observe both amplification of existing violations and the emergence of violations on tasks where none were observed before training. Controlled changes in the training distribution show that minority conflict exposure can still lead to widespread shortcut acquisition, reaching 97.9% certified profitable violations on an API task under a 25% conflict mixture after 128 updates. The same contextual checks supply a simple binary penalty that supports joint capability and compliance gains and partially mitigates acquired violations. Learned safety adapts to expanded authorization and transfers across mechanisms into workflows with evolving evidence and approval requirements. On 32 unseen changing-evidence tasks, resource-trained safety increases safe completion from 53.1% to 89.1% relative to task-only training, while both policies achieve full real work. These results connect a verifiable account of reward-driven misalignment with scalable task construction and safety learning that remains useful under changing execution requirements.
- Abstract(参考訳): 強化学習(Reinforcement Learning, RL)は、たとえ報酬が役に立つ仕事を正確に測定したとしても、明示された文脈的要求の違反を補強しながら、エージェントのタスク能力を改善することができる。
我々は、この報酬駆動のミスアライメントを検証可能な報酬-コンテクストの競合を通じて研究し、コンプライアンスの完了は可能であるが、実行可能な違反は、コンプライアンスの戦略のすべてよりも多くの報酬を得る。
これらの競合をタスクダイナミクスでエンコードすることは、スケーラブルな環境構築と実行履歴からのコンプライアンスフィードバックをサポートする。
リソースとレポートのワークフローにおいて、タスク最適化は、未許可のリソース使用によって実際の生産性を高めたり、実際の作業が減少している間に報告されたスコアを上げたりする。
既存の違反の増幅と、トレーニング前に誰も観察されなかったタスクに対する違反の発生の両方を観察した。
トレーニングディストリビューションのコントロールされた変更により、マイノリティコンフリクトの露出が依然として広範なショートカット取得につながることが示され、128回の更新後に25%のコンフリクトミックスの下でAPIタスクに97.9%の有益違反が証明された。
同じコンテキストチェックは、共同能力とコンプライアンスゲインをサポートし、取得した違反を部分的に軽減する単純なバイナリペナルティを提供する。
学習された安全性は、エビデンスと承認要件を進化させながら、メカニズムをまたいだ承認とワークフローへの転送に適応する。
32の未確認変更タスクでは、リソーストレーニングされた安全度は、タスクのみのトレーニングと比較して53.1%から89.1%に向上する。
これらの結果は、報酬駆動型ミスアライメントの検証可能な説明と、実行要求の変更後も有用であるスケーラブルなタスク構築と安全性学習を結びつける。
関連論文リスト
- CoworkEnv: Synthesizing Training Environments for Long-Horizon Cowork Agents [46.95679056860343]
AIの同僚は、ツールをコーディネートし、ターンを横断して通信し、ワークフローの制約を尊重しながらワークスペースの状態の変更に行動する必要があります。
我々は、AI同僚のための実行可能トレーニング環境のための能力誘導型フレームワーク、CoworkEnvを紹介する。
論文 参考訳(メタデータ) (2026-10-18T02:20:30Z) - Protecting Shared Agent Workflows from Invalidation Attacks with Signed Trajectories and Runtime Verification [4.990317254950222]
大規模言語モデル(LLM)ベースのエージェントは、タスクやエージェント間でエクスペリエンスを転送するために、共有ワークフローリポジトリにますます依存している。
共有リポジトリが改ざんされた場合、ダウンストリームエージェントを誤解させ、永続的な実行障害や安全でない動作を引き起こす可能性がある。
署名された軌跡と検証に基づく共有エージェントの保護フレームワークを提案する。
論文 参考訳(メタデータ) (2026-10-10T10:37:51Z) - RewardWeaver: Long-Horizon Interactive Learning for Language Agents via Self-Evolving Reward Adaptation [12.262882181348816]
検証可能な報酬(RLVR)による強化学習は、タスク成果を確実に評価できる領域において、かなりの進歩をもたらした。
細かな端末フィードバックと困難なクレジット割り当てのため、長い水平相互作用は依然として困難なままである。
本稿では,ロングホライゾンインタラクションにおける言語エージェントのための自己進化型報酬適応フレームワークであるRewardWeaverを紹介する。
論文 参考訳(メタデータ) (2026-10-07T14:04:45Z) - AgentBoundary: Counterfactual Evaluation of Safety in Tool-Using LLM Agents [13.557645845585776]
大規模な言語モデルの安全性の整合性は、要求に答えるか拒否するかに大きく取り組まれている。
エージェント的設定では、同じモデルが実行中にパーミッションクリティカルな証拠として振る舞うかどうかを判断しなければならない。
AgentBoundは、ツール使用エージェントの安全性のための、最初の4方向の対物生成・評価フレームワークである。
論文 参考訳(メタデータ) (2026-09-27T15:19:52Z) - ClashBench: Conflicts Leading Agents to Seize and Harm [90.19875881996693]
エージェントシステムでは、複数のエージェントセッションが、同じ環境で既存のユーザタスクと並行して実行されるようになっている。
十分な特権が与えられると、エージェントはそれを報告するのではなく、既存のタスクを終了または中断することでリソースの衝突を解決することができる。
この作業は、破壊的なリソースプリエンプションと呼ばれるこの障害モードを特定し、形式化します。
論文 参考訳(メタデータ) (2026-09-17T08:38:27Z) - Beyond Task Completion: Training Capable and Safe Computer-Use Agents [6.43574655903064]
コンピュータ利用エージェント(CUA)は、良質なタスクを完了し、環境の危険を回避し、安全な完了パスが残っているときに継続する必要がある。
我々は、タスク実行能力と安全対応意思決定のためのCUAを共同で訓練するSCOPE(Safety and Capability Optimization for Policy Execution)を開発した。
SCOPE-RLはOSWorldで54.17%のタスク成功率、OS-BLINDで64.30%のアタック回避率を達成した。
論文 参考訳(メタデータ) (2026-08-27T05:43:50Z) - SENTINEL: Failure-Driven Reinforcement Learning for Training Tool-Using Language Model Agents [52.758563996979596]
言語モデルエージェントは、マルチターンツールの使用によって現実的なタスクを解決するのにますます効果的である。
SENTINELは障害駆動型強化学習フレームワークで,障害のロールアウトを目標とするトレーニングタスクに変換する。
Tau2-Bench Retail with Qwen3-4B-Thinking-2507では、SENTINELはPass1を66.4から74.9に改善し、Passkメトリクス全体にわたる一般的な合成タスクにおいてRLを上回っている。
論文 参考訳(メタデータ) (2026-06-11T05:06:50Z) - ForkMerge: Mitigating Negative Transfer in Auxiliary-Task Learning [59.08197876733052]
補助タスク学習(ATL)は、関連するタスクから得られる知識を活用することにより、目標タスクの性能を向上させることを目的としている。
複数のタスクを同時に学習すると、ターゲットタスクのみを学習するよりも精度が低下することがある。
ForkMergeは、モデルを定期的に複数のブランチにフォークし、タスクの重みを自動的に検索する新しいアプローチである。
論文 参考訳(メタデータ) (2023-01-30T02:27:02Z) - Learning Action Translator for Meta Reinforcement Learning on
Sparse-Reward Tasks [56.63855534940827]
本研究は,訓練作業中の行動伝達子を学習するための,新たな客観的機能を導入する。
理論的には、転送されたポリシーとアクショントランスレータの値が、ソースポリシーの値に近似可能であることを検証する。
本稿では,アクショントランスレータとコンテキストベースメタRLアルゴリズムを組み合わせることで,データ収集の効率化と,メタトレーニング時の効率的な探索を提案する。
論文 参考訳(メタデータ) (2022-07-19T04:58:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。