論文の概要: Inverting Self-Triggered Control: Adversarial Reinforcement Learning for Sparse Denial-of-Service Attacks
- arxiv url: http://arxiv.org/abs/2609.12016v1
- Date: Thu, 10 Sep 2026 07:21:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-15 07:38:31.490258
- Title: Inverting Self-Triggered Control: Adversarial Reinforcement Learning for Sparse Denial-of-Service Attacks
- Title(参考訳): 自己訓練制御の反転:スパース・デニアル・オブ・サービス・アタックに対する逆強化学習
- Abstract要約: 自己訓練型強化学習制御(RL-STC)は、リャプノフの安定性を保ちながら、最もスペースな制御スケジュールを学習する。
本研究は,直近のホールド・ラスト・ミディアス・アクセス・コントロール・アタベナリーに必要な最小ジャム数に対して,プラント・プロパティ・ローバウンドを証明した。
- 参考スコア(独自算出の注目度): 0.27998963147546146
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Self-triggered reinforcement learning control (RL-STC) learns the sparsest control schedule that preserves Lyapunov-decreasing stability under a Run-Time Assurance (RTA) override. We invert this: an adversarial RL agent learns the sparsest jamming or Denial-of-Service (DoS) schedule that destabilizes the closed loop, with a Lyapunov-increase admissibility predicate mirroring the defender's safety certificate. We prove a plant-property lower bound on the minimum jam count required for an immediate hold-last medium-access-control adversary to force a crash against a self-triggered controller (STC) satisfying a Lyapunov contract, and recover a certificate-level analog of the consecutive-grouping optimality of prior count-budget DoS scheduling as a corollary. This extends the DoS-scheduling count-budget analysis from periodic and linear-time-invariant to STC controllers. Empirically, we train against four fixed defenders per plant (one Linear Quadratic Regulator (LQR) and three RL-STC) on Pendulum, CartPole, and Quadrotor2D. The learned adversary is the only adversary that crashes every defender on every plant at $100\%$: greedy misses Quadrotor2D LQR on $42\%$ of episodes and periodic misses Pendulum LQR on $97\%$. On jam-time-per-failure it beats baselines by up to $2.8\times$, and shows its widest absolute margin on Quadrotor2D LQR. Robustness ablations show that Gaussian observation noise exceeding the initial-state magnitude and position-only observation both preserve $100\%$ failure rate and keep the learned adversary strictly ahead of both baselines on jam-time-per-failure.
- Abstract(参考訳): RL-STC(Self-Triggered reinforcement learning Control)は、RTA(Run-Time Assurance)のオーバーライドの下で、リアプノフの安定性を保ちながら、最もスペースな制御スケジュールを学習する。
逆転する: 敵RLエージェントは、閉じたループを不安定化する、最も緩やかなジャミングやDoSスケジュールを学習し、リアプノフの許容度が上昇し、ディフェンダーの安全証明書を反映する。
Lyapunov の契約を満たす自己トリガー制御器 (STC) に対してクラッシュを強制するために, 即時ホールト・ラスト・ミディアム・アクセス・コントロール・ディベロッパに必要な最小ジャム数に対するプラント・プロパティ・ローバウンドを証明し, 事前のカウント・予算 DoS スケジューリングの逐次的グループ最適性の証明レベルアナログをコーナリーとして回収する。
これにより、周期的および線形時間不変からSTCコントローラへのDoSスケジューリングカウント予算解析が拡張される。
実験では,Pendulum,CartPole,Quadrotor2Dの4つの固定ディフェンダー(LQR)と3つのRL-STC)を訓練する。
greedyはQuadrotor2D LQRを42セントで逃し、Pendulum LQRを9.7セントで失う。
jam-time-per-failureでは、ベースラインを最大2.8\times$で上回り、Quadrotor2D LQRで最大のマージンを示している。
ロバスト性改善は、ガウス観測ノイズが初期状態のマグニチュードを超え、位置のみの観測でも100\%の故障率を保ち、ジャムタイム・パー・フェイルの両方のベースラインよりも真に先んじていることを示している。
関連論文リスト
- Agents That Certify Their Own Exploits: Confidence-Scheduled Restricted Responses for Safe Opponent Exploitation [38.06569764716213]
我々は,Emphbudget-Constrained confidence-scheduled limited response (CS-RNR)を導入する。
CS-RNRは、安全保証がエージェントが実際に展開する戦略に基づいて計算する証明書である最初の相手探索方式である。
論文 参考訳(メタデータ) (2026-07-30T16:57:57Z) - Real-Time Rulebook-Aware Nonlinear MPC for Autonomous Driving with Priority-Biased Tiered Slacks [0.8363171780853939]
W-SQPは重み付きタイレッドスラック非線形モデル予測制御器(NMPC)である
We present W-SQP, a weighted tiered-slack non model predictive controller (NMPC)。
We present W-SQP, a weighted tiered-slack non model predictive controller (NMPC)。
論文 参考訳(メタデータ) (2026-07-13T00:40:27Z) - ARMOR: Stabilizing On-Policy LLM RL with Off-Policy Anchor Samples [65.74946647574696]
強化学習(RL)は,大規模言語モデル(LLM)の推論能力を大幅に向上させた。
本研究では,この不安定性の重要源である過最適化について検討する。
我々は,このパラダイムを受動的ペナルティからアクティブ標本安定化に移行するフレームワークARMORを提案する。
論文 参考訳(メタデータ) (2026-07-11T21:22:46Z) - Capacity-Constrained Online Convex Optimization with Delayed Feedback [58.59385794080679]
容量制約下での遅延オンライン凸最適化(OCO)について検討した。
1次フィードバックの場合、容量$C = (log T)$ sufficesで標準遅延OCOレートを対数係数まで回復できることがわかった。
包帯フィードバックの場合、後悔率は$(1 + _textmax/C)$で変調される。
論文 参考訳(メタデータ) (2026-06-10T06:37:06Z) - Anytime-Valid Federated Conformal RAG for LLM Swarms [12.805268849262243]
Anytime-FC-RAGは、ステップごとのキャリブレーション・デベレーション予算の合計に基づいて構築されたシーケンシャルな拡張である。
GPT-2-small + MiniLM SwarmのMMLU、DBpedia、AG Newsでの実験では、予測アラームレート、検出遅延、エンベロープカバレッジ、および14ドルから57%の帯域幅の節約が確認された。
論文 参考訳(メタデータ) (2026-05-27T22:06:57Z) - Survive or Collapse: The Asymmetric Roles of Data Gating and Reward Grounding in Self-Play RL [76.45061154544568]
セルフプレイ強化学習は、言語モデルを独自の生成タスクで訓練し、人間ラベルなしでプロジェクタとソルバを共進化させる。
最近のシステムでは強い推理効果が報告されているが、崩壊と不安定性は広く観察され、理解されていない。
代わりに、自己プレイの安定性は、提案者生成タスクがトレーニングプールに入るかを判断するデータレベルゲートと、すでに認められたタスクに関するポリシーを更新する報酬信号の2つの異なるレバーによって管理されていると論じる。
論文 参考訳(メタデータ) (2026-05-21T09:19:23Z) - Learning When to Act: Communication-Efficient Reinforcement Learning via Run-Time Assurance [0.27998963147546146]
Lyapunov の安全性保護の下で制御入力と通信効率のタイミング決定を単一ポリシで学習できることが示される。
実行時保証層は、1ステップのリアプノフ予測と事前計算されたLQRバックアップを介してポリシーをオーバーライドする。
12-state 3D quadrotor のケーススタディでは、古典的な STC が難解な高次元システムにフレームワークを拡張している。
論文 参考訳(メタデータ) (2026-05-11T23:55:15Z) - What If Consensus Lies? Selective-Complementary Reinforcement Learning at Test Time [57.533031432715084]
TTRL(Test-Time Reinforcement Learning)は、Large Language Models(LLM)が、ラベルのないテストストリームの推論能力を向上することを可能にする。
既存のTTRL法は、正の擬似ラベル戦略にのみ依存している。
本研究では,ラベル雑音増幅を効果的に緩和する堅牢なテスト時間強化学習フレームワークであるSCRLを提案する。
論文 参考訳(メタデータ) (2026-03-20T11:47:12Z) - TCRL: Temporal-Coupled Adversarial Training for Robust Constrained Reinforcement Learning in Worst-Case Scenarios [7.3881187966342905]
制約強化学習(Constrained Reinforcement Learning)は、制約条件下での意思決定ポリシーの最適化を目的とする。
既存のロバストなCRLアプローチは、主に1ステップの摂動と時間的に独立した対向モデルに焦点を当てている。
最悪のシナリオにおいて、頑健な制約付き強化学習(TCRL)のための時間結合型対向学習フレームワークを提案する。
論文 参考訳(メタデータ) (2026-02-13T15:48:20Z) - Time Is All It Takes: Spike-Retiming Attacks on Event-Driven Spiking Neural Networks [87.16809558673403]
スパイキングニューラルネットワーク(SNN)は離散スパイクで計算し、時間構造を利用する。
イベント駆動SNNにおけるスパイク数と振幅を保存しながら、既存のスパイクを繰り返すタイミングのみの敵について検討する。
論文 参考訳(メタデータ) (2026-02-03T09:06:53Z) - Improper Learning for Non-Stochastic Control [78.65807250350755]
逆方向の摂動, 逆方向に選択された凸損失関数, 部分的に観察された状態を含む, 未知の線形力学系を制御することの問題点を考察する。
このパラメトリゼーションにオンライン降下を適用することで、大規模なクローズドループポリシーに対してサブリニア後悔を実現する新しいコントローラが得られる。
我々の境界は、線形力学コントローラの安定化と競合する非確率的制御設定における最初のものである。
論文 参考訳(メタデータ) (2020-01-25T02:12:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。