論文の概要: Worst-Case Discovery and Runtime Protection for RL-Based Network Controllers

• arxiv url: http://arxiv.org/abs/2605.04373v1
• Date: Wed, 06 May 2026 00:42:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-07 18:41:07.586253
• Title: Worst-Case Discovery and Runtime Protection for RL-Based Network Controllers
• Title（参考訳）: RL型ネットワークコントローラの最悪の発見と実行時保護
• Abstract要約: RLベースのコントローラは、混雑制御や適応ストリーミングといったネットワークタスクにおいて、強い平均ケース性能を達成する。 しかし、高いパフォーマンスが達成可能なネットワーク条件下では、パフォーマンスが著しく低下する可能性がある。 ReGuardは、与えられたRLコントローラの最悪のシナリオを発見し、再トレーニングせずに推論時に保護するフレームワークである。
• 参考スコア（独自算出の注目度）: 2.376797525708155
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: RL-based controllers achieve strong average-case performance in networking tasks such as congestion control and adaptive bitrate streaming. Yet their performance can degrade severely under network conditions where strong performance is still achievable. Identifying such conditions and quantifying the resulting performance gap is intractable by enumeration, while the sequential and closed-loop nature of RL controllers makes formal verification methods impractical. We present ReGuard, a framework that discovers worst-case scenarios for a given RL controller and protects it against them at inference time without retraining. Discovery is formulated as a bilevel regret-maximization problem, which yields a certified lower bound on the worst-case performance gap. The discovered trajectories are then analyzed as counterfactuals and compiled into lightweight logic rules that intervene only when a risky state is detected, leaving the controller's behavior unchanged otherwise. We evaluate ReGuard across three RL-based network controllers: Pensieve, Sage, and Park. ReGuard discovers scenarios in which the controller's performance is 43$-$64% worse than what is achievable. ReGuard not only discovers gaps 57% to 6$\times$ larger than those found by the strongest baselines but also shrinks them by 79$-$85% via lightweight rule-based protection while preserving nominal performance. ReGuard's protection extends beyond the scenarios it discovers, improving performance across a wider range of network conditions.
• Abstract（参考訳）: RLベースのコントローラは、混雑制御や適応ビットレートストリーミングといったネットワークタスクにおいて、高い平均ケース性能を達成する。 しかし、高いパフォーマンスが達成可能なネットワーク条件下では、パフォーマンスが著しく低下する可能性がある。 このような条件の同定と結果のパフォーマンスギャップの定量化は列挙によって行うことができ、RLコントローラのシーケンシャルおよびクローズループの性質は形式的検証手法を非現実的にする。 ReGuardは、与えられたRLコントローラの最悪のシナリオを発見し、再トレーニングせずに推論時にそれらから保護するフレームワークである。 発見は二段階の後悔-最大化問題として定式化され、最悪のパフォーマンスギャップに対して証明された低い境界をもたらす。 検出されたトラジェクトリは、反ファクトとして分析され、リスクのある状態が検出された場合にのみ介入する軽量論理ルールにコンパイルされ、コントローラの振舞いは変わらない。 我々は、Pensieve、Sage、Parkの3つのRLベースのネットワークコントローラでReGuardを評価した。 ReGuardは、コントローラのパフォーマンスが達成可能なものよりも43$-$64%悪いシナリオを発見する。 ReGuardは、最強のベースラインで見られるものよりも57%から6$\times$大きなギャップを発見するだけでなく、名目のパフォーマンスを維持しながら、軽量なルールベースの保護を通じて79$～85%縮小する。 ReGuardの保護は、発見するシナリオを超えて拡張され、幅広いネットワーク条件でパフォーマンスが向上する。

関連論文リスト

• When Does Deep RL Beat Calibrated Baselines? A Benchmark Study on Adaptive Resource Control [3.1555521133346685]
  適切に調整されたルールベースのオートスケーラは、テスト対象のワークロード毎に6つのメインストリームの深層強化学習(DRL)アルゴリズムのうち、どれか1つを打ち負かすことができる。 PPO, DQN, A2C, SAC, TD3, DDPGを一致したトレーニング予算下で評価し, 基準基準に対する報酬関数について検討した。
  論文  参考訳（メタデータ） (2026-05-26T01:07:42Z)
• A Heuristic Approach for Performance Tuning in RL-based Quadrotor Control via Reward Design and Termination Conditions [14.576960188691215]
  強化学習(Reinforcement Learning, RL)に基づく四角形制御ポリシは、乱雑な環境での高速ナビゲーションやドローンレースといったタスクにおいて、優れたパフォーマンスを実現している。 報奨設計と終了条件を用いて,RLに基づくクアドロータ制御におけるチューニング可能な性能を実現するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2026-05-18T22:40:30Z)
• Multi-Agent LLM Governance for Safe Two-Timescale Reinforcement Learning in SDN-IoT Defense [5.351146356849584]
  Software-Defined Networking (SDN)は、IoT(Internet-of-Things)ネットワークのセキュア化にますます採用されている。 緩和アクションは、コントローラのワークロード、キューのダイナミクス、ルールのインストール遅延、将来のトラフィック観測に影響を与える。 本稿では、緩やかな政策ガバナンスから高速な緩和を分離した自己回帰的な2時間スケールのソリューションを提案する。
  論文  参考訳（メタデータ） (2026-04-01T16:48:03Z)
• CVeDRL: An Efficient Code Verifier via Difficulty-aware Reinforcement Learning [57.24524263804788]
  コード検証は、LLMベースのコード生成の検証後において重要な役割を果たす。 既存の教師付き微調整手法は、データの不足、高い失敗率、推論効率の低下に悩まされている。 機能的な報酬しか持たない単純RLは、難しいブランチやサンプルに対して効果的な単体テストを生成することができないことを示す。
  論文  参考訳（メタデータ） (2026-01-30T10:33:29Z)
• On Minimizing Adversarial Counterfactual Error in Adversarial RL [18.044879441434432]
  敵の騒音は、安全クリティカルなシナリオにおいて重大なリスクを生じさせる。 我々は,ACoE(Adversarial Counterfactual Error)と呼ばれる新しい目標を導入する。 本手法は, 対向RL問題に対処するための最先端手法を著しく上回っている。
  論文  参考訳（メタデータ） (2024-06-07T08:14:24Z)
• Growing Q-Networks: Solving Continuous Control Tasks with Adaptive Control Resolution [51.83951489847344]
  ロボット工学の応用において、スムーズな制御信号はシステム摩耗とエネルギー効率を減らすために一般的に好まれる。 本研究では,離散的な動作空間を粗い状態から細かい制御分解能まで拡大することにより,この性能ギャップを埋めることを目的とする。 我々の研究は、値分解とアダプティブ・コントロール・リゾリューションが組み合わさることで、単純な批判のみのアルゴリズムが得られ、連続制御タスクにおいて驚くほど高い性能が得られることを示唆している。
  論文  参考訳（メタデータ） (2024-04-05T17:58:37Z)
• Communication-Efficient Orchestrations for URLLC Service via Hierarchical Reinforcement Learning [14.604814002402588]
  制御ループの時間スケールが異なるマルチレベルポリシーの実装を可能にするマルチエージェント階層型RL(HRL)フレームワークを提案する。 従来技術のユースケースでは、HRLフレームワークを用いて、産業機器の最大送電量と送電電力を最適化した。
  論文  参考訳（メタデータ） (2023-07-25T11:23:38Z)
• What can online reinforcement learning with function approximation benefit from general coverage conditions? [53.90873926758026]
  オンライン強化学習(RL)では、マルコフ決定過程(MDP)の標準的な構造仮定を採用する代わりに、特定のカバレッジ条件を使用するだけで十分である。 本研究は,より可能で一般的なカバレッジ条件を掘り下げることにより,この新たな方向性に焦点をあてる。 我々は、集中度の変化である$Lp$の変動、密度比の実現可能性、部分/レストカバレッジ条件でのトレードオフなど、さらに多くの概念を識別する。
  論文  参考訳（メタデータ） (2023-04-25T14:57:59Z)
• Mastering the Unsupervised Reinforcement Learning Benchmark from Pixels [112.63440666617494]
  強化学習アルゴリズムは成功するが、エージェントと環境の間の大量の相互作用を必要とする。 本稿では,教師なしモデルベースRLを用いてエージェントを事前学習する手法を提案する。 我々はReal-Word RLベンチマークにおいて、適応中の環境摂動に対する抵抗性を示唆し、堅牢な性能を示す。
  論文  参考訳（メタデータ） (2022-09-24T14:22:29Z)
• URLB: Unsupervised Reinforcement Learning Benchmark [82.36060735454647]
  教師なし強化学習ベンチマーク(URLB)を紹介する。 URLBは2つのフェーズで構成されている。 評価のために3つのドメインから12の連続制御タスクを提供し、8つの主要な教師なしRLメソッドに対してオープンソースコードを提供する。
  論文  参考訳（メタデータ） (2021-10-28T15:07:01Z)
• Structure-aware reinforcement learning for node-overload protection in mobile edge computing [3.3865605512957457]
  本研究は,エッジノードの過負荷を防止するための適応型入出力制御ポリシーを提案する。 このフレームワークは,ノードオーバーロード保護問題に対して,割引価格設定で動作するように拡張する。 実験により, SALMUTにより得られた全割引コストは, 最先端の深部RLアルゴリズムに類似していることが判明した。
  論文  参考訳（メタデータ） (2021-06-29T18:11:41Z)
• Robust Deep Reinforcement Learning through Adversarial Loss [74.20501663956604]
  近年の研究では、深層強化学習剤は、エージェントの入力に対する小さな逆方向の摂動に弱いことが示されている。 敵攻撃に対する堅牢性を向上した強化学習エージェントを訓練するための原則的フレームワークであるRADIAL-RLを提案する。
  論文  参考訳（メタデータ） (2020-08-05T07:49:42Z)
• Robust Deep Reinforcement Learning against Adversarial Perturbations on State Observations [88.94162416324505]
  深部強化学習(DRL)エージェントは、自然な測定誤差や対向雑音を含む観測を通して、その状態を観察する。 観測は真の状態から逸脱するので、エージェントを誤解させ、準最適行動を起こすことができる。 本研究は, 従来の手法を, 対人訓練などの分類タスクの堅牢性向上に応用することは, 多くのRLタスクには有効でないことを示す。
  論文  参考訳（メタデータ） (2020-03-19T17:59:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。