論文の概要: Model-Free Reinforcement Learning Control for Resilient Cyber-Physical Systems

• arxiv url: http://arxiv.org/abs/2606.19069v1
• Date: Wed, 17 Jun 2026 13:43:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-18 17:16:51.183306
• Title: Model-Free Reinforcement Learning Control for Resilient Cyber-Physical Systems
• Title（参考訳）: レジリエントなサイバー物理システムのためのモデルフリー強化学習制御
• Authors: Hugo O. Garcés, Alejandro J. Rojas, Bernardo A. Hernández, Andrés Escalona, Jonathan M. Palma, Md. Rezwan Parvez, Bhushan Gopaluni, Sirish L. Shah,
• Abstract要約: 本稿では,サイバー攻撃を受ける非線形システムにおけるモデルフリーコントローラの性能を比較した。 精度、コスト、レジリエンスの4つのRL報酬型が分析される。
• 参考スコア（独自算出の注目度）: 32.866295530387376
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper compares the performance of model-free controllers on a nonlinear system under cyberattacks, including false data injection and denial-of-service attacks. Four RL reward types are analyzed for accuracy, cost, and resilience. Results show that the Lyapunov reward offers the best resilience with low tracking error. Exponential mode also provides good trade-offs with acceptable resilience under moderate training conditions. Progressive and linear rewards converge faster but are less robust. RL-MPCs show strong steady-state resilience but require longer training times; RL-PID controllers are faster with significantly less training time. Proximal Policy Optimization outperforms Deep Deterministic Policy Gradient with a significant reduction in KPI variance. This study serves to highlight how well-designed RL rewards can improve performance and resilience against cyber threats.
• Abstract（参考訳）: 本稿では, サイバー攻撃を受ける非線形システムにおいて, 偽データ注入やDoS攻撃を含むモデルフリーコントローラの性能を比較した。 精度、コスト、レジリエンスの4つのRL報酬型が分析される。 結果は、Lyapunovの報酬はトラッキングエラーの少ない最高のレジリエンスを提供することを示している。 指数モードはまた、適度な訓練条件下で許容できる弾力性を備えた良好なトレードオフを提供する。 進歩的報酬と線形報酬はより速く収束するが、より堅牢ではない。 RL-MPCは強い定常レジリエンスを示すが、長いトレーニング時間を必要とする。 近似的政策最適化は、KPIの分散を著しく減少させ、深い決定論的政策グラディエントを上回ります。 この研究は、よく設計されたRL報酬が、サイバー脅威に対するパフォーマンスとレジリエンスをいかに改善するかを強調するのに役立つ。

関連論文リスト

• Learning from Failures: Correction-Oriented Policy Optimization with Verifiable Rewards [73.44333771806282]
  RLVR(Reinforcement Learning with Verifiable Rewards)は,大規模言語モデルの推論能力向上に有効なパラダイムとして登場した。 本稿では,RLVRの簡易かつ効果的な拡張であるCIPO(Correction-Oriented Policy Optimization)を提案する。 CIPOは学習効率を向上し、モデルが自身のエラーを修正する能力を明示的に強化する。
  論文  参考訳（メタデータ） (2026-05-14T08:22:21Z)
• FlashSAC: Fast and Stable Off-Policy Reinforcement Learning for High-Dimensional Robot Control [55.38832429564216]
  強化学習(Reinforcement Learning, RL)は、専門家によるデモンストレーションが利用できない場合のロボット制御における中核的なアプローチである。 我々は,Soft Actor-Critic上に構築された高速で安定なオフポリチィRLアルゴリズムであるFlashSACを提案する。 10のシミュレータで60以上のタスクをこなし、FlashSACは最終的なパフォーマンスとトレーニング効率の両方において、PPOと強力なオフポリシーベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2026-04-06T09:03:41Z)
• Enhancing Agentic RL with Progressive Reward Shaping and Value-based Sampling Policy Optimization [13.475938754147625]
  Tool-Integrated Reasoning (TIR)で強化されたLarge Language Models (LLM)は、反復的に計画し、外部ツールを呼び、返却された情報を統合して、複雑な長期的推論タスクを解決する。 エージェント強化学習(Agentic RL)は、ツール・インタラクションの完全な軌跡よりも、そのようなモデルを最適化する。 1)バイナリ0-1検証信号のようなスパースで非インストラクティブな報酬は、中間ステップの限られたガイダンスと緩やかな収束を与える。 本稿では,PRS(Progressive Reward Shaping)とVSPO(Value-based Sampling Policy Optimization)の2つの補完手法を提案する。
  論文  参考訳（メタデータ） (2025-12-08T11:59:25Z)
• Stabilizing Reinforcement Learning with LLMs: Formulation and Practices [61.361819972410046]
  本稿では,REINFORCEなどの政策勾配法において,真のシーケンスレベルの報酬を代用トークンレベルの目的によって最適化できる理由と条件を示す。 この洞察は、RLトレーニングの安定化において、広く採用されているいくつかのテクニックの重要な役割について、原則化された説明を提供する。
  論文  参考訳（メタデータ） (2025-12-01T07:45:39Z)
• Distributionally Robust Self Paced Curriculum Reinforcement Learning [42.51809641161819]
  分散ロバストな自己適用型カリキュラム強化学習(DR-SPCRL)を提案する。 DR-SPCRLはエージェントの進捗に応じてロバストネス予算を適応的にスケジュールし、名目とロバストパフォーマンスのバランスを可能にする。 複数の環境にまたがる実験結果から,DR-SPCRLはトレーニングを安定させるだけでなく,優れたロバスト性-性能トレードオフを実現することが示された。
  論文  参考訳（メタデータ） (2025-11-07T20:25:43Z)
• Human-in-the-loop Online Rejection Sampling for Robotic Manipulation [55.99788088622936]
  Hi-ORSは、オンライン微調整中に負の報酬を得たサンプルをフィルタリングすることで、値推定を安定化する。 Hi-ORSは、わずか1.5時間でコンタクトリッチな操作をマスターするためのpiベースのポリシーを微調整する。
  論文  参考訳（メタデータ） (2025-10-30T11:53:08Z)
• Towards High Data Efficiency in Reinforcement Learning with Verifiable Reward [54.708851958671794]
  オフラインとオンラインの両方のデータ選択のための最適化戦略を組み合わせた,データ効率のよいポリシ最適化パイプラインを提案する。 オフラインフェーズでは、多様性、影響、適切な難易度に基づいて、トレーニングサンプルの高品質なサブセットをキュレートする。 オンラインRLVRトレーニングにおいて、探索可能性の低いサンプルを動的にフィルタリングするサンプルレベルの探索性指標を導入する。
  論文  参考訳（メタデータ） (2025-09-01T10:04:20Z)
• Efficient Adversarial Training without Attacking: Worst-Case-Aware Robust Reinforcement Learning [14.702446153750497]
  Worst-case-aware Robust RL (WocaR-RL) は、深層強化学習のための堅牢なトレーニングフレームワークである。 我々は,WocaR-RLが様々な攻撃により最先端の性能を達成することを示す。
  論文  参考訳（メタデータ） (2022-10-12T05:24:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。