論文の概要: Robust Adversarial Reinforcement Learning with Risk Sensitivity and Critic Consistency Regularization
- arxiv url: http://arxiv.org/abs/2609.27667v1
- Date: Wed, 23 Sep 2026 10:37:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-25 00:05:17.978132
- Title: Robust Adversarial Reinforcement Learning with Risk Sensitivity and Critic Consistency Regularization
- Title（参考訳）: リスク感性と批判的整合性規則化を用いたロバスト対逆強化学習
- Abstract要約: 強化学習(Reinforcement Learning, RL)は, 逐次的意思決定において高い性能を発揮するが, 動的不確実性や分布変化の下では脆弱なままである。
本稿では,リスクセンシティブの観点から,敵RLを再考する統一的枠組みであるRACERを提案する。
挑戦的な継続的制御ベンチマークに関する総合的な実験は、RACERが強靭なRLベースラインに対するパフォーマンス、堅牢性、およびトレーニング安定性を一貫して改善していることを示している。
- 参考スコア（独自算出の注目度）: 15.028168889991795
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reinforcement learning (RL) achieves strong performance in sequential decision-making but remains brittle under dynamic uncertainty and distributional shifts. Robust Adversarial Reinforcement Learning (RARL) improves robustness via worst-case perturbations, but existing approaches frequently suffer from unstable optimization and degraded value estimation. In particular, overly aggressive adversaries can drive the agent toward uninformative failure states, while adversarial perturbations amplify disagreement between double critics and introduce biased value targets. We propose a unified framework, RACER (Risk-sensitive robust Adversarial critic ConsistEncy-regularized Reinforcement learning), that revisits adversarial RL from a risk-sensitive perspective. First, we introduce a state-dependent adversarial objective that adaptively regulates perturbation strength, suppressing harmful disturbances while preserving informative exploration. Second, we propose critic consistency regularization to reduce disagreement between Q-value estimators and stabilize learning. Comprehensive experiments on challenging continuous control benchmarks demonstrate that RACER consistently improves performance, robustness, and training stability over strong robust RL baselines.
- Abstract（参考訳）: 強化学習(Reinforcement Learning, RL)は, 逐次的意思決定において高い性能を発揮するが, 動的不確実性や分布変化の下では脆弱なままである。
RARL(Robust Adversarial Reinforcement Learning)は、最悪の場合の摂動によって堅牢性を改善するが、既存のアプローチは不安定な最適化と劣化した値推定に悩まされることが多い。
特に、過度に攻撃的な敵はエージェントを非形式的失敗状態へと駆り立てることができる一方、敵対的摂動は二重批判者間の不一致を増幅し、偏りのある価値目標を導入する。
我々は,リスクセンシティブな視点から,敵RLを再考する統一的枠組みであるRACER(Risk-sensitive robust Adversarial critic ConsistEncy-regularized Reinforcement Learning)を提案する。
まず, 摂動強度を適応的に制御し, 情報探索を保ちながら有害な乱れを抑制する国家依存型対向目標を提案する。
第2に、Q値推定器と安定化学習との相違を低減するために、批判整合正則化を提案する。
挑戦的な継続的制御ベンチマークに関する総合的な実験は、RACERが強靭なRLベースラインに対するパフォーマンス、堅牢性、およびトレーニング安定性を一貫して改善していることを示している。
関連論文リスト
- Contrastive Reinforced Policy Optimization via Privileged Self-Distillation [23.840537431318296]
対照的な学習の観点から,エージェント・オン・ポリシィ・セルフ・蒸留(OPSD)を再構成するCRPO(Contrastive Reinforced Policy Optimization)を導入する。
CRPOは、既存の強化学習と自己蒸留ベースラインを一貫して上回る。
論文 参考訳（メタデータ） (2026-07-30T11:14:11Z) - ARMOR: Stabilizing On-Policy LLM RL with Off-Policy Anchor Samples [65.74946647574696]
強化学習(RL)は,大規模言語モデル(LLM)の推論能力を大幅に向上させた。
本研究では,この不安定性の重要源である過最適化について検討する。
我々は,このパラダイムを受動的ペナルティからアクティブ標本安定化に移行するフレームワークARMORを提案する。
論文 参考訳（メタデータ） (2026-07-11T21:22:46Z) - Exploring Agentic Tool-Calling Decisions via Uncertainty-Aligned Reinforcement Learning [63.24624171679711]
大規模言語モデル(LLM)ベースのエージェントは、しばしば最適なツール使用の決定を行う。
本研究では、不確実性分離を維持するための推進力として、不確実性定量化を報酬設計に組み込んだTRUSTを提案する。
論文 参考訳（メタデータ） (2026-06-05T07:08:34Z) - Trust, Geometry, and Rules: A Credibility-Aware Reinforcement Learning Framework for Safe USV Navigation under Uncertainty [32.34854002457735]
本稿では,信頼性を意識した学習,幾何的安全遮蔽,連続ルール認識の埋め込みを組み込んだフレームワークを提案する。
本研究は,直観的不整合に対するトレーニングの堅牢性の向上と衝突回避性の向上,およびベースラインに対するCOLREGのコンプライアンスについて述べる。
論文 参考訳（メタデータ） (2026-05-26T12:59:43Z) - Mitigating Error Amplification in Fast Adversarial Training [58.74042726356826]
FAT(Fast Adversarial Training)は、ネットワークに摂動不変表現の学習を促すことによって、モデルロバスト性の向上に有効であることが証明されている。
FATは、しばしば破滅的なオーバーフィッティング(CO)に悩まされ、モデルがトレーニングアタックに過度に適合し、目に見えないものへの一般化に失敗する。
本稿では、摂動予算と監視信号の両方を動的に調整する分散対応動的ガイダンス(DDG)戦略を提案する。
論文 参考訳（メタデータ） (2026-04-27T11:23:18Z) - Less Approximates More: Harmonizing Performance and Confidence Faithfulness via Hybrid Post-Training for High-Stakes Tasks [52.81286869496811]
大規模な言語モデルは、自信を持って不正確な推論が現実世界の害を引き起こすような、ハイテイクなタスクにますますデプロイされている。
内的フィードバックからの教師なし強化学習と推論・トラス誘導型推論蒸留を併用して協調的に最適化することを提案する。
PRG方式のメトリクスを用いてRDとRLIFを適応的に重み付けするハイブリッドポストトレーニングフレームワークであるHyTuningを紹介する。
論文 参考訳（メタデータ） (2026-04-09T16:50:11Z) - VI-CuRL: Stabilizing Verifier-Independent RL Reasoning via Confidence-Guided Variance Reduction [55.04308051033549]
RLVR(Reinforcement Learning with Verifiable Rewards)は、LLM(Large Language Models)推論を向上するための主要なパラダイムとして登場した。
モデル固有の信頼性を活用して外部検証から独立したカリキュラムを構築するフレームワークであるVerifier-Independent Curriculum Reinforcement Learning (VI-CuRL)を紹介する。
論文 参考訳（メタデータ） (2026-02-13T03:40:52Z) - On Robustness and Chain-of-Thought Consistency of RL-Finetuned VLMs [15.301640007799735]
単純な、制御されたテキストの摂動(キャプションや不正確なチェーン・オブ・シント(CoT)のトレース)は、堅牢性と信頼性が著しく低下していることを示している。
これらの脆弱性をよりよく理解するために、我々はRL微調整力学を分析し、精度と信頼のトレードオフを明らかにする。
論文 参考訳（メタデータ） (2026-02-13T01:12:00Z) - UACER: An Uncertainty-Aware Critic Ensemble Framework for Robust Adversarial Reinforcement Learning [15.028168889991795]
頑健な対人強化学習(UACER)のための新しいアプローチである不確実性に配慮した批判アンサンブルを提案する。
本稿では,頑健な対人強化学習(UACER)のための新しいアプローチ,不確実性に配慮した批判アンサンブルを提案する。
論文 参考訳（メタデータ） (2025-12-11T10:14:13Z) - Robust Deep Reinforcement Learning Through Adversarial Attacks and Training : A Survey [8.1138182541639]
Deep Reinforcement Learning (DRL)は、複雑な環境を横断してシーケンシャルなアクションをとる自律エージェントを訓練するための機械学習のサブフィールドである。
微妙な条件の変化の影響を受けながらも、現実のアプリケーションにおける信頼性への懸念を高めている。
DRLのロバスト性向上手法として, 環境条件の未知の変化と摂動の可能性について考察する。
論文 参考訳（メタデータ） (2024-03-01T10:16:46Z) - Seeing is not Believing: Robust Reinforcement Learning against Spurious
Correlation [57.351098530477124]
国家の異なる部分には、保存されていない共同設立者が引き起こす相関関係が存在しない。
このような役に立たないあるいは有害な相関を学習するモデルは、テストケースの共同創設者がトレーニングケースから逸脱したときに破滅的に失敗する可能性がある。
したがって、単純かつ非構造的な不確実性集合を仮定する既存の頑健なアルゴリズムは、この問題に対処するには不十分である。
論文 参考訳（メタデータ） (2023-07-15T23:53:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。