論文の概要: Robust Policy Optimization via Adversarial Importance Sampling
- arxiv url: http://arxiv.org/abs/2609.13044v1
- Date: Fri, 11 Sep 2026 16:40:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-15 07:38:31.813594
- Title: Robust Policy Optimization via Adversarial Importance Sampling
- Title（参考訳）: 対数重要度サンプリングによるロバストポリシ最適化
- Abstract要約: 本稿では,トラジェクトリよりも重要なサンプリング手法であるAdversarial Importance Smpling(Advis)を導入し,検証可能な最悪のケースリターンを推定・最適化する。
第二に、既存のメソッドのクリーンでシングルファイルの実装と敵攻撃を提供するモジュール型のPyTorchライブラリであるadvrlを紹介する。
第三に、学習した相手の下での評価を再検討し、最適な敵ハイパーパラメータがエージェント間を移動しないことを示し、その結果、頑健さの過大評価につながる可能性がある。
- 参考スコア（独自算出の注目度）: 9.258167884740898
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Significant progress has been made in safeguarding deep reinforcement learning (DRL) policies against input perturbations. Developing robust DRL involves three main stages: algorithm design, implementation, and evaluation. In this work, we identify and address a key limitation at each stage. First, we introduce Adversarial Importance Sampling (Advis), a method that uses importance sampling over trajectories from standard training to estimate and optimize verifiable worst-case returns. Advis satisfies three desirable criteria not jointly achieved by prior work: it requires no additional environment interactions, no auxiliary networks, and captures long-term robustness. Second, we introduce advrl, a modular PyTorch library that provides clean, single-file implementations of existing robustness methods and adversarial attacks, facilitating rapid prototyping and enabling reproducible and traceable evaluations. Third, we revisit evaluation under learned adversaries and show that optimal adversarial hyperparameters do not transfer across agents, which can lead to an overestimation of robustness when using a limited set of attacker configurations. Accordingly, we evaluate policies against a large and diverse set of attackers, using 6-14x more configurations than prior work. Finally, we evaluate our approach on continuous control environments, demonstrating its effectiveness relative to existing baselines. The code is available at: https://github.com/AmineAndam04/advrl
- Abstract（参考訳）: 入力摂動に対する深層強化学習(DRL)政策の保護において重要な進展がみられた。
堅牢DRLの開発には、アルゴリズム設計、実装、評価の3つの主要な段階がある。
この研究では、各段階で重要な制限を特定し、対処する。
まず,標準訓練からトラジェクトリへの重大サンプリングを用いて,検証可能な最悪のケースリターンを推定し,最適化する手法であるAdversarial Importance Smpling(Advis)を紹介する。
アドビスは3つの望ましい基準を満たす: 追加の環境相互作用を必要とせず、補助的なネットワークを必要とせず、長期の堅牢性を捉える。
第二に、モジュール型のPyTorchライブラリであるadvrlを導入し、既存の堅牢性メソッドと敵攻撃のクリーンで単一ファイルの実装を提供し、迅速なプロトタイピングを容易にし、再現性とトレース可能な評価を可能にする。
第三に、学習者による評価を再検討し、最適対向ハイパーパラメータがエージェント間を移動しないことを示し、攻撃者の限られた構成を用いる場合の頑健さを過大評価する可能性がある。
そこで我々は,従来よりも6～14倍のコンフィギュレーションを使用して,大規模で多様な攻撃者に対するポリシーを評価する。
最後に,従来のベースラインに対して,その有効性を示すとともに,継続的制御環境に対するアプローチを評価した。
コードは、https://github.com/AmineAndam04/advrl.comで入手できる。
関連論文リスト
- A Step Towards Robust Unsupervised Domain Adaptation via Fine-Tuning and Reinforcement Learning [2.436631469537453]
我々は,2段階の堅牢なUDAフレームワークである textbfSFT+RL を提案し,Supervised Fine Tuning と Reinforcement Learning を統合した。
textbfSFT+RLは、清潔な精度で textbf10.2% を平均的に改善し、textbf15.8% を3つのデータセットで比較した。
論文 参考訳（メタデータ） (2026-07-03T20:56:12Z) - REVES: REvision and VErification--Augmented Training for Test-Time Scaling [53.197756110943395]
本稿では,オンラインデータ/プロンプト拡張とポリシー最適化を交互に行う2段階反復フレームワークを提案する。
我々は、RLベースライン上の+6.5点と、標準マルチターントレーニングにおける+4.0点の利得を観察する。
論文 参考訳（メタデータ） (2026-06-17T10:37:23Z) - Trust the Batch, On- or Off-Policy: Adaptive Policy Optimization for RL Post-Training [50.86545293331458]
強化学習は、教師付き学習よりも構造的に難しい。
本稿では,固定クリッピングを政策比率の正規化された有効サンプルサイズに置き換える,単純かつ効果的なバッチ適応目的を提案する。
論文 参考訳（メタデータ） (2026-05-12T16:44:47Z) - AutoResearch-RL: Perpetual Self-Evaluating Reinforcement Learning Agents for Autonomous Neural Architecture Discovery [5.110708177092157]
本稿では、強化学習エージェントが人間の監督なしにオープンエンドニューラルネットワーク研究を行うためのフレームワークであるAutoResearch-RLを提案する。
我々はこれをマルコフ決定過程として定式化し、軽微な仮定の下で収束保証を導出し、1つのGPUナノチャット事前学習ベンチマークで経験的に実証する。
論文 参考訳（メタデータ） (2026-03-07T17:49:44Z) - ProAct: Agentic Lookahead in Interactive Environments [56.50613398808361]
ProActは、2段階のトレーニングパラダイムを通じて、エージェントが正確なルックアヘッド推論を内部化することを可能にするフレームワークである。
そこでは,環境に基づく探索から得られたトラジェクトリの微調整をエージェントが行うGLAD(Grounded LookAhead Distillation)を紹介する。
また,政策段階のアルゴリズムを改良する補助値推定器であるモンテカルロ批判(MC-Critic)を提案する。
論文 参考訳（メタデータ） (2026-02-05T05:45:16Z) - VADE: Variance-Aware Dynamic Sampling via Online Sample-Level Difficulty Estimation for Multimodal RL [38.782188833641676]
GRPOやGSPOのようなグループベースのポリシー最適化手法は、マルチモーダルモデルのトレーニングの標準となっている。
グループ内のすべての応答が同じ報酬を受けると、それらは致命的な急激な消滅問題に悩まされる。
textbfVADEは,オンラインサンプルレベルの難易度を用いたサンプリングフレームワークである。
論文 参考訳（メタデータ） (2025-11-24T08:59:54Z) - Learning to Reason as Action Abstractions with Scalable Mid-Training RL [55.24192942739207]
効果的な中間訓練フェーズは、有用なアクションのコンパクトなセットを特定し、高速な選択を可能にする。
本稿では,スケーラブルなミッドトレーニングアルゴリズムであるReasoning as Action Abstractions (RA3)を提案する。
論文 参考訳（メタデータ） (2025-09-30T05:34:20Z) - Unearthing Gems from Stones: Policy Optimization with Negative Sample Augmentation for LLM Reasoning [41.83677588934301]
負のサンプル拡張(BCPG-NSA)による行動制約付きポリシーのグラディエントを提案する。
BCPG-NSA は,1) サンプルセグメンテーション,2) LLM と PRM を併用した合意に基づくステップ正当性評価,3) 正のステップを負のサンプル内で効果的にマイニングするNSA とのポリシー最適化の3段階を含む,詳細なオフラインフレームワークである。
実験の結果、BCPG-NSAは、同じトレーニングデータセットを使用して、いくつかの挑戦的な数学/コーディング推論ベンチマークのベースラインよりも優れていた。
論文 参考訳（メタデータ） (2025-05-20T14:16:49Z) - Adjustable Robust Reinforcement Learning for Online 3D Bin Packing [11.157035538606968]
現在のオンライン3D-BPPの深層強化学習方法は、いくつかの最悪のシナリオが実現可能な実世界の環境では失敗する。
本研究では,ロバストネス重みの効率的な調整が可能なロバスト強化学習フレームワークを提案する。
実験により、AR2Lはポリシーの堅牢性を向上しつつ、名目上のケースで許容されるパフォーマンスのレベルを維持しつつ、万能であることが示された。
論文 参考訳（メタデータ） (2023-10-06T15:34:21Z) - Robust Deep Reinforcement Learning through Adversarial Loss [74.20501663956604]
近年の研究では、深層強化学習剤は、エージェントの入力に対する小さな逆方向の摂動に弱いことが示されている。
敵攻撃に対する堅牢性を向上した強化学習エージェントを訓練するための原則的フレームワークであるRADIAL-RLを提案する。
論文 参考訳（メタデータ） (2020-08-05T07:49:42Z) - Robust Deep Reinforcement Learning against Adversarial Perturbations on
State Observations [88.94162416324505]
深部強化学習(DRL)エージェントは、自然な測定誤差や対向雑音を含む観測を通して、その状態を観察する。
観測は真の状態から逸脱するので、エージェントを誤解させ、準最適行動を起こすことができる。
本研究は, 従来の手法を, 対人訓練などの分類タスクの堅牢性向上に応用することは, 多くのRLタスクには有効でないことを示す。
論文 参考訳（メタデータ） (2020-03-19T17:59:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。