論文の概要: When to Intervene? State-Aware Sparse Manipulation in Federated Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2610.11523v2
• Date: Fri, 09 Oct 2026 10:29:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.203318
• Title: When to Intervene? State-Aware Sparse Manipulation in Federated Reinforcement Learning
• Title（参考訳）: いつ介入すべきか?フェデレーション強化学習における状態認識スパース操作
• Abstract要約: フェデレート強化学習(FRL)は、分散エージェントが意思決定ポリシーを協調的に訓練することを可能にする。 選択された軌道状態の変更は、悪意ある更新構成が固定された場合でも、攻撃効果を実質的に変化させることが判明した。 本稿では,緩やかな介入状態を選択するために,地域政策の不確実性を利用したビビビリティ制約型行動ステアリング攻撃(V-BSA)を紹介する。
• 参考スコア（独自算出の注目度）: 12.66442044096499
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated reinforcement learning (FRL) enables distributed agents to collaboratively train decision-making policies, but its decentralized training process also exposes global policy learning to Byzantine manipulation. Existing poisoning attacks primarily focus on how to construct malicious updates, while trajectory-level intervention timing remains largely implicit. In sequential decision making, however, where an intervention is applied can alter subsequent trajectories and learning signals. Through controlled experiments, we find that changing the selected trajectory states materially alters attack efficacy even when the malicious-update construction is fixed. We therefore identify when as a distinct attack dimension and introduce the Viability-constrained Behavioral Steering Attack (V-BSA), which uses local policy uncertainty to select sparse intervention states and applies envelope-constrained behavioral steering. Across discrete-action benchmarks, V-BSA achieves substantial degradation against robust aggregators and ensemble defenses with only a fraction of the interventions used by dense poisoning, while revealing task- and aggregation-dependent boundaries. Overall, our results highlight intervention timing as a distinct dimension of sequential robustness in FRL. The code is available at https://github.com/Yodeesy/V-BSA
• Abstract（参考訳）: フェデレーション強化学習(FRL)は、分散エージェントが意思決定ポリシーを協調的に訓練することを可能にするが、その分散トレーニングプロセスは、ビザンティンの操作にグローバルなポリシー学習を公開する。 既存の中毒攻撃は主に悪意のあるアップデートの作り方に焦点を当てているが、軌跡レベルの介入のタイミングは大半が暗黙的である。 しかし、逐次的な意思決定では、介入が適用されると、その後の軌跡や学習信号を変更できる。 制御された実験により、選択された軌道状態の変更は、悪意のある更新構成が固定された場合でも、攻撃効果を実質的に変化させることがわかった。 そこで我々は, 個別の攻撃次元として, 局所的政策の不確実性を利用して疎介入状態を選択し, 封筒拘束型行動ステアリングを適用する, ビヘイビア拘束型行動ステアリングアタック(V-BSA)を導入する。 離散作用ベンチマーク全体では、V-BSAは密毒による介入のごく一部で頑健なアグリゲータやアンサンブルディフェンスに対して実質的な劣化を達成し、タスク依存境界とアグリゲーション依存境界を明らかにしている。 以上の結果から, FRLの逐次堅牢性の異なる次元として介入タイミングが強調された。 コードはhttps://github.com/Yodeesy/V-BSAで公開されている。

関連論文リスト

• IADD-TR: Intervention-Aware Dynamics Decoupling with Targeted Regularization for Model-Based Reinforcement Learning [57.16513298507272]
  IADD-TRは、IADD(Intervention-Aware Dynamics Decoupling)とTR(Targeted Regularization)を組み合わせた統合フレームワークである。 IADDは、ゼロアクションアンカーを用いて、アクション干渉段階とアクションフリー自然進化段階への遷移を分解し、堅牢な一般化のためにこの2段階の分解の非特異性を解決する。 政策学習においては,リプレイ状態の政策段階関数の効率的な影響関数からTRを導出する。
  論文  参考訳（メタデータ） (2026-08-11T08:20:02Z)
• From Attacks to Curricula: Learnability-Guided Adversarial Training for Safe Autonomous Driving [56.30087557121323]
  AlignADVは学習性誘導型クローズドループ対向トレーニングフレームワークである。 敵のシナリオを解決可能で能力に整合したカリキュラムに変換する。 実験の結果、最大40.6%のトレーニングステップが短縮された。
  論文  参考訳（メタデータ） (2026-06-12T02:13:55Z)
• FocalPolicy: Frequency-Optimized Chunking and Locally Anchored Flow Matching for Coherent Visuomotor Policy [75.32174422881958]
  FocalPolicyは、周波数局所的なチャンキングとAnchoredフローマッチングを組み合わせたビジュモータポリシーである。 本稿では,近位行動における時間領域のアライメントを監督する,近位複合目標を提案する。 フローマッチング学習において,信号の伝搬一貫性を目標とした局所的アンカーサンプリングを設計する。
  論文  参考訳（メタデータ） (2026-05-15T13:27:55Z)
• AdaGamma: State-Dependent Discounting for Temporal Adaptation in Reinforcement Learning [13.721410595245894]
  国家依存割引は概念的には魅力的だが、真に深いアクター-批判的な実装は、TDエラーの崩壊に向かって退化することができる。 AdaGammaは、状態依存割引の実践的ディープアクター批判的手法であり、状態依存割引関数をリターン整合性目標とともに学習する。
  論文  参考訳（メタデータ） (2026-05-07T12:42:46Z)
• From Stealthy Data Fabrication to Unsafe Driving: Realistic Scenario Attacks on Collaborative Perception [7.889284710970368]
  協調的な知覚により、コネクテッドカーや自動運転車は知覚データを共有することで知覚を改善することができる。 以前の研究は、アタッカーが共有データを作成してオブジェクトを偽造または削除できることを示しているが、現実の運転におけるそのような攻撃の実用性はまだ不明である。 本稿では,エンド・ツー・エンドのシステム効果を通じて,安全でない運転行動を引き起こす,ステルスで現実的なデータ生成攻撃を提案する。
  論文  参考訳（メタデータ） (2026-05-02T07:21:22Z)
• Deep Reinforcement Learning for Robotic Manipulation under Distribution Shift with Bounded Extremum Seeking [42.278434352794676]
  強化学習はロボット操作において高い性能を示してきたが、テスト条件がトレーニング分布と異なる場合、学習ポリシーは性能が低下することが多い。 この制限は、特にプッシュ・アンド・ピック・アンド・プレイス(push and pick-and-place)のような、目標の変化、接触条件の変化、あるいはロボットのダイナミクスによって、推論時にシステムのアウト・オブ・ディストリビューションを駆動できるような、コンタクトリッチなタスクにおいて重要である。 本稿では,これらの条件下での堅牢性向上を図るために,強化学習と有界極限を組み合わせたハイブリッドコントローラについて検討する。
  論文  参考訳（メタデータ） (2026-04-01T16:59:01Z)
• Alignment Tipping Process: How Self-Evolution Pushes LLM Agents Off the Rails [103.05296856071931]
  本稿では,自己進化型大規模言語モデル(LLM)エージェントに特有の,アライメント・ティッピング・プロセス(ATP)を同定する。 ATPは、連続的な相互作用によってエージェントが訓練中に確立されたアライメント制約を放棄し、強化された自己関心の戦略を支持するときに生じる。 実験の結果、アライメントの利点は自己進化の下で急速に低下し、最初は整合性のない状態に収束したモデルであることが判明した。
  論文  参考訳（メタデータ） (2025-10-06T14:48:39Z)
• Provably Robust Federated Reinforcement Learning [38.45432310782162]
  フェデレート強化学習(FRL)は、中央サーバの指導のもと、エージェントがグローバルな意思決定ポリシーを共同で学習することを可能にする。 現在のByzantine-Robustアグリゲーション技術は、我々が新たに導入した正規化攻撃には免疫しない。 我々は、既知の攻撃と、新たに提案した攻撃の両方に対して確実に安全であるアンサンブルFRLアプローチを開発した。
  論文  参考訳（メタデータ） (2025-02-12T05:05:40Z)
• Decision-BADGE: Decision-based Adversarial Batch Attack with Directional Gradient Estimation [0.0]
  Decision-BADGEは、決定ベースのブラックボックス攻撃を実行するために、普遍的な敵の摂動を構築する新しい方法である。 提案手法は,トレーニング時間が少なく,良好な成功率を示す。 この研究は、Decision-BADGEが未確認の犠牲者モデルを無視し、特定のクラスを正確にターゲットすることができることも示している。
  論文  参考訳（メタデータ） (2023-03-09T01:42:43Z)
• Policy Smoothing for Provably Robust Reinforcement Learning [109.90239627115336]
  入力のノルム有界対向摂動に対する強化学習の証明可能な堅牢性について検討する。 我々は、スムーズなポリシーによって得られる全報酬が、入力の摂動のノルムバウンドな逆数の下で一定の閾値以下に収まらないことを保証した証明書を生成する。
  論文  参考訳（メタデータ） (2021-06-21T21:42:08Z)
• Off-policy Evaluation in Infinite-Horizon Reinforcement Learning with Latent Confounders [62.54431888432302]
  無限水平エルゴードマルコフ決定過程におけるOPE問題について考察する。 我々は、状態と行動の潜在変数モデルのみを考慮すれば、政策値が政治外のデータから特定できることを示す。
  論文  参考訳（メタデータ） (2020-07-27T22:19:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。