Fugu-MT 論文翻訳(概要): Beyond $L_\infty$-Norm Sets: Synthesizing Interpretable Non-Uniform Uncertainty Sets for Evaluation-Time State-Adversarial Robustness

論文の概要: Beyond $L_\infty$-Norm Sets: Synthesizing Interpretable Non-Uniform Uncertainty Sets for Evaluation-Time State-Adversarial Robustness

arxiv url: http://arxiv.org/abs/2611.02576v1
Date: Mon, 02 Nov 2026 06:01:30 GMT
ステータス: 情報取得中
システム内更新日: 2026-11-03 20:08:41.013908
Title: Beyond $L_\infty$-Norm Sets: Synthesizing Interpretable Non-Uniform Uncertainty Sets for Evaluation-Time State-Adversarial Robustness
Title（参考訳）: L_\infty$-Norm 集合を超えて: 解析可能な非一様不確かさ集合を合成して評価-時間的状態-逆ロバスト性を実現する
Abstract要約: 連続制御タスクでは、異なる状態次元は異なる物理的意味を持ち、異なる程度に政策行動に影響を与える。 textbfPerformance-textbfDegradation textbfNon-textbfUniform textbfUncertainty textbfSet (method)を提案する。
参考スコア（独自算出の注目度）: 2.9439848714137438
License:
Abstract: Deep reinforcement learning (DRL) agents are vulnerable to perturbations of their observed state inputs. Prior works often constrain state adversaries with $L_p$-norm uncertainty sets and evaluate policy performance under the resulting perturbations. However, in continuous control tasks like robotics control, different state dimensions have distinct physical meanings and influence policy behavior to different degrees, which $L_p$-norm sets fail to capture or explain. Moreover, it is important to identify when and along which state dimensions a policy is vulnerable, independently of the algorithm used to train it. In this paper, we focus on evaluation-time attacks applied to pretrained policies. We propose \textbf{P}erformance-\textbf{D}egradation \textbf{N}on-\textbf{U}niform \textbf{U}ncertainty \textbf{S}et (\method{}), an interpretable formulation of uncertainty sets for state perturbations. \method{} is state-dependent, dimension-wise non-uniform, and can be synthesized online during policy evaluation. We first formulate an ideal constrained optimization problem for \method{} computation, then introduce a surrogate constraint to make the problem tractable. Experiments across multiple continuous-control environments, policy algorithms, and state attacks show that \method{} reveals variation in policy sensitivity across states and dimensions, while its performance degradation is moderately controlled.
Abstract（参考訳）: 深部強化学習(DRL)エージェントは、観測された状態入力の摂動に弱い。以前の作業は、しばしば$L_p$-normの不確実性セットで状態の敵を拘束し、結果として生じる摂動の下でポリシー性能を評価する。しかし、ロボット制御のような連続的な制御タスクでは、異なる状態次元は異なる物理的意味を持ち、ポリシーの振る舞いに異なる度合いで影響を及ぼすため、$L_p$-normセットはキャプチャーや説明に失敗する。さらに、ポリシーのどの状態次元が脆弱であるかを、トレーニングに使用するアルゴリズムとは無関係に特定することが重要である。本稿では,事前訓練された政策に適用される評価時間攻撃に着目した。状態摂動に対する不確実性集合の解釈可能な定式化である \textbf{P}erformance-\textbf{D}egradation \textbf{N}on-\textbf{U}ncertainty \textbf{U}ncertainty \textbf{S}et (\method{}) を提案する。 \method{} は状態依存的、次元的に非一様であり、政策評価中にオンラインで合成することができる。まず,<method{} 計算に対して理想的な制約付き最適化問題を定式化し,その問題を抽出可能とする代用制約を導入する。複数の連続制御環境、ポリシーアルゴリズム、状態アタックに対する実験では、状態や次元間でのポリシー感度の変化が示され、性能劣化は適度に制御されている。

関連論文リスト

Evaluating AI Investment Strategies [0.0]
我々は、観測可能な入力と出力のみからブラックボックスのアルゴリズム決定を監査する問題について検討する。厳密な条件下では、動的ポリシーの累積的表現は、コストベクトルとポリシーの決定の間の周期毎の共分散の和と等しい。我々は、そのアイデンティティがコストと平均偏見のないマルコフポリシーの真下にあることを証明し、非定常および時変ケースに対する閉形式バイアス補正を導出し、割引された水平アナログを確立する。
論文参考訳（メタデータ） (2026-06-07T19:16:50Z)
Robustness Analysis of POMDP Policies to Observation Perturbations [12.74304759862804]
本研究は,POMDP観測モデルにおける偏差に対するロバスト性について研究する。我々は,POMDPの観測モデルにおける最大偏差を決定するために,ポリシー観測ロバストネス問題を導入する。本稿では,粘着型と非粘着型の両方に対して,音質と収束性を保証するアルゴリズムであるRobust Interval Searchを提案する。
論文参考訳（メタデータ） (2026-04-23T03:57:08Z)
Beyond Slater's Condition in Online CMDPs with Stochastic and Adversarial Constraints [33.41566575424402]
本研究では, エンフォリンエピソード制約マルコフ決定過程(CMDP)について, 双方の制約下で検討した。ストラディらによって導入された最先端のベスト・オブ・ボディーズ・アルゴリズムを大幅に改善する新しいアルゴリズムを提案する。 Slater の条件を使わずにサブリニア制約違反を保証し,インフン制約された最適値に対してサブリニア$alpha$-regret を保証する。
論文参考訳（メタデータ） (2025-09-24T13:38:32Z)
Bounded Robustness in Reinforcement Learning via Lexicographic Objectives [54.00072722686121]
強化学習における政策の堅牢性は、いかなるコストでも望ましいものではないかもしれない。本研究では,任意の観測ノイズに対して,政策が最大限に頑健になる方法について検討する。本稿では,どのような政策アルゴリズムにも適用可能なロバストネス誘導方式を提案する。
論文参考訳（メタデータ） (2022-09-30T08:53:18Z)
Off-Policy Evaluation with Policy-Dependent Optimization Response [90.28758112893054]
我々は,テキスト政治に依存した線形最適化応答を用いた非政治評価のための新しいフレームワークを開発した。摂動法による政策依存推定のための非バイアス推定器を構築する。因果介入を最適化するための一般的なアルゴリズムを提供する。
論文参考訳（メタデータ） (2022-02-25T20:25:37Z)
Offline Reinforcement Learning with Soft Behavior Regularization [0.8937096931077437]
本研究では,オフライン設定で使用可能な新しいポリシー学習目標を導出する。以前のアプローチで使用されていた状態非依存の正規化とは異なり、このテキストソフト正規化はポリシー逸脱のより自由な自由を可能にする。実験結果から,SBACは連続的な制御ロコモーションと操作タスクのセットにおいて,最先端技術に適合または優れることが示された。
論文参考訳（メタデータ） (2021-10-14T14:29:44Z)
Robust Value Iteration for Continuous Control Tasks [99.00362538261972]
シミュレーションから物理システムへ制御ポリシを転送する場合、そのポリシは、動作の変動に対して堅牢でなければならない。本稿では、動的プログラミングを用いて、コンパクトな状態領域上での最適値関数を計算するRobust Fitted Value Iterationを提案する。より深い強化学習アルゴリズムや非ロバストなアルゴリズムと比較して、ロバストな値の方が頑健であることを示す。
論文参考訳（メタデータ） (2021-05-25T19:48:35Z)
Privacy-Constrained Policies via Mutual Information Regularized Policy Gradients [54.98496284653234]
報酬を最大化しつつ、行動を通じて特定の機密状態変数の開示を最小限に抑えながら、報酬を最大化する政策を訓練する課題を考察する。本稿では, 感性状態と行動の相互情報に基づく正則化器を導入することで, この問題を解決する。プライバシ制約のあるポリシーを最適化するためのモデルベース推定器を開発した。
論文参考訳（メタデータ） (2020-12-30T03:22:35Z)
Doubly Robust Off-Policy Value and Gradient Estimation for Deterministic Policies [80.42316902296832]
本研究では,行動継続時の非政治データから決定論的政策の政策値と勾配を推定する。この設定では、密度比が存在しないため、標準重要度サンプリングとポリシー値と勾配の2倍の頑健な推定が失敗する。異なるカーネル化アプローチに基づく2つの新しい頑健な推定器を提案する。
論文参考訳（メタデータ） (2020-06-06T15:52:05Z)
Confounding-Robust Policy Evaluation in Infinite-Horizon Reinforcement Learning [70.01650994156797]
教育医療などのバッチ強化学習において、観察データからのシーケンシャルな意思決定方針のオフ・アセスメントが必要である。我々は、ある政策の境界を推定するアプローチを開発する。より凝縮したデータを集めることで、シャープな境界への収束を証明します。
論文参考訳（メタデータ） (2020-02-11T16:18:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。