論文の概要: Policy-Verified Self-Training: Learning Agent Compliance from Verifiable Policy Rewards
- arxiv url: http://arxiv.org/abs/2610.19372v1
- Date: Wed, 14 Oct 2026 01:16:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-16 12:10:45.441329
- Title: Policy-Verified Self-Training: Learning Agent Compliance from Verifiable Policy Rewards
- Title（参考訳）: 政策検証型自己学習:検証可能な政策リワードからの学習エージェントコンプライアンス
- Abstract要約: 政策検証者は、エージェントが許可されていない行為を実行するのを防ぐことができるが、その決定は通常、執行のためにのみ使用され、その後破棄される。
これらの決定が、彼らが保護するエージェントを訓練する上で、検証可能な政策報酬になるかどうかを問う。
本稿では,エージェントが独自のインタラクショントラジェクトリと実行可能なポリシ検証を行うポストトレーニングパラダイムであるPVSTを紹介する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Runtime policy verifiers can prevent agents from executing disallowed actions, but their decisions are typically used only for enforcement and discarded afterward. We ask whether these decisions can instead become verifiable policy rewards for training the agents they guard. We introduce Policy-Verified Self-Training (PVST), a post-training paradigm in which an agent generates its own interaction trajectories and an executable policy verifier, here a deterministic gate compiled from a written policy, evaluates whether each action complies. Compliant trajectories are reinforced, and violations become negatives for preference optimization; beyond the gate and the benchmark's task-success signal, PVST needs no stronger teacher model, no human preference labels and no attack-specific supervision, although rollouts are collected in the benchmark's attacked environment. On held-out AgentDojo tasks under prompt injection, policy-verified preference training of Qwen3-8B reduces violating trajectories from 37.2% to 10.3 $\pm$ 0.9% (three seeds) and successful attacks from 12.4% to 0.5% at equal or higher pooled task utility, although utility falls on travel, compared with 22.0% when negatives are selected by an attack oracle and 31.9 $\pm$ 0.9% with negatives that contain no violation. The learned behavior holds under an attack template never used in training (37.7% to 11.0%) and on a suite excluded from training (34.8% to 16.7%), and the retained verifier's intervention rate falls from 39.2% to 8.8% (seed 0). Our analysis identifies two conditions under which the verdict is most informative: success must not already imply compliance, and guarded actions must appear in both permitted and forbidden contexts.
- Abstract（参考訳）: 実行時ポリシー検証は、エージェントが許可されていないアクションを実行するのを防ぐことができるが、その決定は通常、執行のためにのみ使用され、その後破棄される。
これらの決定が、彼らが保護するエージェントを訓練する上で、検証可能な政策報酬になるかどうかを問う。
本稿では,エージェントが独自のインタラクショントラジェクトリと実行可能なポリシ検証を行うポストトレーニングパラダイムであるPVSTについて紹介する。
ゲートとベンチマークのタスク・サクセス信号の他に、PVSTはより強力な教師モデルも人間の嗜好ラベルも攻撃固有の監督も必要とせず、ロールアウトはベンチマークの攻撃された環境で収集される。
プロンプトインジェクション中のAgentDojoタスクでは、ポリシー検証されたQwen3-8Bの選好トレーニングにより、違反トラジェクトリを37.2%から10.3$\pm$ 0.9%(3つのシード)に減らし、12.4%から0.5%まで、等しくプールされたタスクユーティリティで成功した攻撃を12.5%から0.5%に減らしている。
学習行動は、トレーニングに使用されない攻撃テンプレート(37.7%から11.0%)と、トレーニングから除外されたスイート(34.8%から16.7%)に保持され、保持された検証者の介入率は39.2%から8.8%(シード0)に低下する。
我々の分析は、判決が最も有益である2つの条件を識別する: 成功は、既にコンプライアンスを暗示してはならず、保護された行動は、許可された状況と禁止された状況の両方に現れなければならない。
関連論文リスト
- Uncertainty-Driven Self-Play for Robust Multi-Agent Driving Policies [52.52071620695231]
本研究では,近隣住民の不確実性を高めるために,エージェントの半数が報酬を受ける不確実性駆動型セルフプレイ方式を提案する。
疫学的不確実性は、政策の信頼性が低く、シナリオ難易度の自動プロキシとして機能することを示す。
我々の多様性駆動型アプローチは、ベースラインよりもLSTM隠蔽状態のカバレッジが高く、よりリッチな振る舞いを示す。
論文 参考訳（メタデータ） (2026-10-14T07:40:27Z) - DexPolicy: Scheduled Exploration for Trajectory-Guided Dexterous Manipulation [59.77542456468077]
器用な操作のための強化学習(RL)は、指と物体の接触を発見し、その物体を正確に制御する必要がある。
我々のベースラインPPOは、5Mステップ後に最初の動作ノイズの近くで終了し、探索スケールの明示的な制御を動機付けます。
PPO, 批判のないGRPO継続, フローフリーなPPOの3つのポリシー最適化設定について検討した。
論文 参考訳（メタデータ） (2026-09-30T04:19:47Z) - CounterSteer: Suppressing Indirect Prompt Injection with Activation Steering [4.1626636325601405]
間接的なプロンプトインジェクションにより、エージェントは信頼できない検索されたテキストを命令として扱う。
モデル内のこの振る舞いを抑える推論時間ディフェンスであるCounterSteerを提案する。
論文 参考訳（メタデータ） (2026-09-29T02:51:31Z) - Failure-Transparent Agents: Benchmarking Post-Failure Reporting in Tool-Using Language Models [0.21987601456703476]
本稿では,フェール・トランスペアレント・エージェント(FTA)について紹介する。
FTAには5つの障害ファミリにまたがる決定論的障害トレース、中立的なコントロール、4つのユーザプレッシャ条件を備えた100のタスクが含まれている。
6つのモデルで、偽失率は基本方針下で22.8%、透明な命令で9.3%、構造化された証拠契約で0.8%である。
論文 参考訳（メタデータ） (2026-09-28T17:51:41Z) - EvoSafeHarness: Evolving Model- and Domain-Specific Harnesses for Securing Agents [74.54929751174289]
EvoSafeHarnessは、ターゲットドメイン内の凍結モデルのためのデプロイ可能なハーネスを合成する、安全固有の最適化フレームワークである。
これは平均攻撃成功率を3.3ポイントのユーティリティコストで45.6%から10.0%に下げる。
また、Agent-SafetyBenchでは、すべての犠牲者に対してベストスコアを獲得している。
論文 参考訳（メタデータ） (2026-09-05T05:56:41Z) - SUN: Persistent Programs For Language-Grounded Control-to-Learning-to-Real Policies [61.941546372624686]
既存のプロトコルはタスクのセマンティクスを廃止し、手作りの報酬と制御が検証したものから逸脱する振る舞いを残している。
本稿では,SUN (Semantically UNified Programs) を導入し,幾何関係と接触関係が一度定義され,整列したモデル予測制御にコンパイルされる型付き実行プログラムについて述べる。
我々のシステムであるKuafuは、言語やシーンのセマンティクスからSUNプログラムを自動で合成し、MPCによる画面表示を実現し、ステージ条件付きポリシーのトレーニング中にセマンティクスを保持する。
論文 参考訳（メタデータ） (2026-08-31T17:59:16Z) - Adaptive Evaluation of Out-of-Band Defenses Against Prompt Injection in LLM Agents [0.0]
最近の研究は、間接的プロンプトインジェクションに対するツール使用 LLM エージェントの防御戦略に集約されている。
我々はこれらのアウト・オブ・バンド・ディフェンスを古典的整合性保護の事例として整理する。
我々は、このプロトコルを、Progent自身の適応攻撃解析の独立した複製と拡張として実行している。
論文 参考訳（メタデータ） (2026-06-25T00:35:23Z) - On-Policy Self-Evolution via Failure Trajectories for Agentic Safety Alignment [54.30690671490447]
既存の安全アライメント信号は、主に応答レベルまたは政治外である。
FATEは、検証済みの失敗を専門家のデモンストレーションなしで修復管理に変換する。
FATEは攻撃成功率を33.5%、有害なコンプライアンスを82.6%削減し、外的軌道安全診断を6.5%改善する。
論文 参考訳（メタデータ） (2026-05-12T09:56:28Z) - Measuring the Permission Gate: A Stress-Test Evaluation of Claude Code's Auto Mode [9.116800340266066]
Claude Codeの自動モードは、AIコーディングエージェントに最初にデプロイされたパーミッションシステムである。
Anthropicは、生産トラフィックに対して0.4%の偽陽性率と17%の偽陰性率を報告している。
本研究では, 個々の行動レベルでの状態変化行動253件を, オラクル・グラウンドの真理に対して評価した。
論文 参考訳（メタデータ） (2026-04-04T17:56:30Z) - Verified Critical Step Optimization for LLM Agents [67.05296684575445]
クリティカルステップ最適化は、検証されたクリティカルステップに優先学習を集中する。
メソッドは、専門家のデモンストレーションではなく、失敗するポリシーの軌道から始まります。
GAIA-Text-103とXBench-DeepSearchの実験では、CSOはSFTベースラインよりも37%、相対的に26%改善している。
論文 参考訳（メタデータ） (2026-02-03T11:41:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。