Fugu-MT 論文翻訳(概要): FoSeRL: Formal Sequential Robustness Certification for Reinforcement Learning Policies

論文の概要: FoSeRL: Formal Sequential Robustness Certification for Reinforcement Learning Policies

arxiv url: http://arxiv.org/abs/2610.04754v1
Date: Sat, 03 Oct 2026 20:43:47 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-11 17:08:04.51254
Title: FoSeRL: Formal Sequential Robustness Certification for Reinforcement Learning Policies
Title（参考訳）: FoSeRL:強化学習政策のための形式的逐次ロバスト性証明
Abstract要約: 本稿では、時間的にスパースな攻撃攻撃に対して、デプロイされたRLポリシーを認証するためのフレームワークであるFoSeRLを紹介する。認証には、共有ランダム性と独立したワンステップの後継クエリをサポートするリセット可能なシミュレータが必要である。 FoSeRLは、非自明な基数-マグニチュードの堅牢性を証明し、ポリシーのスムーズ化よりもはるかに大きな認定予算を達成し、同等の同等のパフォーマンスを持つポリシー間の顕著な差異を明らかにしている。
参考スコア（独自算出の注目度）: 0.9187159782788578
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Even a few action perturbations can substantially degrade the performance of a deployed decision policy. Certifying the resulting return loss is challenging in stochastic environments, where returns vary even without an attack. We introduce FoSeRL, a framework for certifying deployed RL policies against precommitted, temporally sparse action attacks. The deployed policy is unchanged, with no smoothing or retraining. Certification requires a resettable simulator supporting shared randomness and independent one-step successor queries, but no analytical dynamics model. FoSeRL certifies that an attacked episode loses no more than a prescribed amount of return relative to the same episode unattacked, with at least a target probability and at a user-specified confidence level. Both runs share the initial state and randomness, so the measured loss reflects the attack, not the episode; carrying the running return gap as a state coordinate makes it the terminal value, reducing trajectory-level certification to terminal safety. Time-dependent barrier conditions on the augmented state bound the terminal failure probability: satisfied exactly, they certify every admissible precommitted attack; learned from sampled trajectories and verified on held-out data, they certify the same guarantee under a specified attack-episode setting. Across six stochastic continuous-control environments and three RL policy families (TD3, SAC, and PPO), FoSeRL certifies non-trivial cardinality--magnitude robustness frontiers, achieves substantially larger certified budgets than policy smoothing, and reveals marked robustness differences among policies with comparable nominal performance.
Abstract（参考訳）: 少数の行動摂動でさえ、デプロイされた決定ポリシーのパフォーマンスを著しく低下させることができる。攻撃なしでもリターンが変化する確率的な環境では、結果のリターン損失の証明は困難である。本稿では,FoSeRL(FoSeRL)について紹介する。デプロイされたポリシーは変更されず、スムーズ化や再トレーニングは行われない。認証には、共有ランダム性と独立した1ステップ後継クエリをサポートするリセット可能なシミュレータが必要であるが、解析力学モデルはない。 FoSeRLは、攻撃されたエピソードが、攻撃されていない同じエピソードに対して、少なくとも目標確率とユーザ特定信頼レベルで、所定量のリターンを失うことを証明する。どちらのランも初期状態とランダム性を共有するため、測定された損失はエピソードではなく攻撃を反映する。拡張状態上の時間依存障壁条件は、端末の障害確率を拘束する: 正確には、許容可能な全てのプリコミットされた攻撃を認証する; サンプル軌跡から学習し、保持されたデータに基づいて検証し、特定の攻撃エピソード設定の下で同じ保証を認証する。 6つの確率的連続制御環境と3つのRLポリシーファミリー(TD3、SAC、PPO)にまたがって、FoSeRLは非自明な基数-マグニチュード・ロバスト性フロンティアを認定し、ポリシーの平滑化よりもはるかに大きな認定予算を達成し、同等の名目的性能を持つポリシー間で顕著な堅牢性の違いを明らかにしている。

関連論文リスト

Q-learning Penalized Transformer for Safe Offline Reinforcement Learning [59.26714065630563]
本稿では、オフラインデータセットを用いた安全制約を満たすためのポリシーのトレーニングを含む、安全なオフライン強化学習の問題に対処する。本稿では,制約認識値推定による条件付きシーケンスモデリングを橋渡しする,訓練・推論一貫したフレームワークであるQ-learning Penalized Transformer Policy (QPT)を提案する。本稿では,Q-penalized conditional generation がいかに安全性と性能を向上するかを特徴付ける,スタイリングされた近決定性CMDPの原理解析を行う。
論文参考訳（メタデータ） (2026-09-28T06:43:22Z)
Arrive and Survive: Scaling Safe Goal-Conditioned Policy Learning from One-Bit Failure Signals [1.7496207597922033]
コントラスト強化学習は、政策学習を自己監督的コントラスト目標にキャストすることで、ゴール条件付きタスクにおいて効果的にスケールする。我々の理論的分析は、この省略がゴール到達値の体系的過大評価バイアスを引き起こすことを示している。質量重み付きInfoNCEは、批判的学習における短命な未来を過度に補正し、ログサバイバルマススコアは、政策最適化において欠落した生存質量を復元する。
論文参考訳（メタデータ） (2026-08-27T03:24:56Z)
Certified Policy Optimisation for Nested Causal Bandits via PAC-Bayes Risk [0.0]
問題クラスをNested Contextual Causal Bandits (NCCBs) として定式化する。我々の主要な理論的結果は、任意のデプロイメントポリシーを認定する因果的PAC-Bayesian過剰リスク境界である。
論文参考訳（メタデータ） (2026-05-28T11:39:51Z)
Trust the Batch, On- or Off-Policy: Adaptive Policy Optimization for RL Post-Training [50.86545293331458]
強化学習は、教師付き学習よりも構造的に難しい。本稿では,固定クリッピングを政策比率の正規化された有効サンプルサイズに置き換える,単純かつ効果的なバッチ適応目的を提案する。
論文参考訳（メタデータ） (2026-05-12T16:44:47Z)
Robust Regularized Policy Iteration under Transition Uncertainty [6.7431287237221085]
我々は、オフラインRLをロバストなポリシー最適化として定式化し、遷移カーネルを不確実性集合内の決定変数として扱う。本稿では、抽出可能な最大最小二レベル目標を、抽出可能なKL正規化サロゲートに置き換えるロバスト正規化ポリシーイテレーション(RRPI)を提案する。 D4RLベンチマークの実験では、RRPIは高い平均性能を示し、最近のベースラインを上回っている。
論文参考訳（メタデータ） (2026-03-10T08:18:27Z)
Improving Search Agent with One Line of Code [68.58667107354253]
ツールベースのエージェント強化学習(TARL)は,検索エージェントが外部ツールと対話できるようにトレーニングするための,有望なパラダイムとして登場した。 textbfSearch textbfAgent textbfPolicy textbfOptimization (textbfSAPO)を提案する。
論文参考訳（メタデータ） (2026-03-10T04:07:39Z)
Bayesian Conservative Policy Optimization (BCPO): A Novel Uncertainty-Calibrated Offline Reinforcement Learning with Credible Lower Bounds [1.2183405753834562]
オフライン強化学習(RL)は、ログ化された遷移の固定バッチから決定ポリシーを学ぶことを目的としている。本稿では,不確実性を即興的に保守的な政策改善に変換する統一的な枠組みであるEmphBayesian conservative Policy Optimization (BCPO)を提案する。 BCPOは環境/価値モデルよりも階層的なベイズ的後縁を維持し、アクション値に基づいてエンフレッシブルな下界(LCB)を構築し、明示的なKL正規化の下でポリシー更新を行う。
論文参考訳（メタデータ） (2026-03-06T01:46:02Z)
COPA: Certifying Robust Policies for Offline Reinforcement Learning against Poisoning Attacks [49.15885037760725]
本研究は, 中毒発生時におけるオフライン強化学習(RL)の堅牢性を検証することに注力する。本報告では, 許容可能な毒素トラジェクトリの数を認証する最初の認証フレームワークであるCOPAを提案する。提案手法のいくつかは理論的に厳密であり,一部はNP-Complete問題であることを示す。
論文参考訳（メタデータ） (2022-03-16T05:02:47Z)
Policy Smoothing for Provably Robust Reinforcement Learning [109.90239627115336]
入力のノルム有界対向摂動に対する強化学習の証明可能な堅牢性について検討する。我々は、スムーズなポリシーによって得られる全報酬が、入力の摂動のノルムバウンドな逆数の下で一定の閾値以下に収まらないことを保証した証明書を生成する。
論文参考訳（メタデータ） (2021-06-21T21:42:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。