論文の概要: Corruption-Robust Offline Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2106.06630v1
• Date: Fri, 11 Jun 2021 22:41:53 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-20 01:53:07.061335
• Title: Corruption-Robust Offline Reinforcement Learning
• Title（参考訳）: 汚職-ロバストオフライン強化学習
• Authors: Xuezhou Zhang, Yiding Chen, Jerry Zhu, Wen Sun
• Abstract要約: オフライン強化学習における対向的堅牢性について検討する。 最悪な$Omega(デプシロン)最適性ギャップは避けられないことを示す。 本稿では,Last-Square Value Iteration (LSVI)アルゴリズムのロバストな変種を提案する。
• 参考スコア（独自算出の注目度）: 19.300465320692066
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study the adversarial robustness in offline reinforcement learning. Given a batch dataset consisting of tuples $(s, a, r, s')$, an adversary is allowed to arbitrarily modify $\epsilon$ fraction of the tuples. From the corrupted dataset the learner aims to robustly identify a near-optimal policy. We first show that a worst-case $\Omega(d\epsilon)$ optimality gap is unavoidable in linear MDP of dimension $d$, even if the adversary only corrupts the reward element in a tuple. This contrasts with dimension-free results in robust supervised learning and best-known lower-bound in the online RL setting with corruption. Next, we propose robust variants of the Least-Square Value Iteration (LSVI) algorithm utilizing robust supervised learning oracles, which achieve near-matching performances in cases both with and without full data coverage. The algorithm requires the knowledge of $\epsilon$ to design the pessimism bonus in the no-coverage case. Surprisingly, in this case, the knowledge of $\epsilon$ is necessary, as we show that being adaptive to unknown $\epsilon$ is impossible.This again contrasts with recent results on corruption-robust online RL and implies that robust offline RL is a strictly harder problem.
• Abstract（参考訳）: オフライン強化学習における対向的堅牢性について検討する。 tuples $(s, a, r, s')$からなるバッチデータセットが与えられると、敵はタプルの$\epsilon$ fractionを任意に変更することができる。 破損したデータセットから学習者は、ほぼ最適ポリシーをしっかりと識別することを目指している。 最初に、最悪の場合の$\omega(d\epsilon)$ optimality gap は、たとえ敵がタプル内の報酬要素を損なうだけであっても、次元$d$の線形mdpでは避けられないことを示した。 これは、ロバストな教師付き学習における次元自由な結果と、汚職を伴うオンラインRL設定における最もよく知られている下位バウンドとは対照的である。 次に,完全データカバレッジの有無に関わらずほぼ一致した性能を実現する,ロバストな教師付き学習オラクルを用いた最小二乗値反復(lsvi)アルゴリズムのロバストな変種を提案する。 このアルゴリズムは、非被覆の場合のペシミズムボーナスを設計するために$\epsilon$の知識を必要とする。 驚くべきことに、このケースでは、未知の$\epsilon$に適応することが不可能であることを示すために、$\epsilon$の知識が必要である。

関連論文リスト

• Misspecified $Q$-Learning with Sparse Linear Function Approximation: Tight Bounds on Approximation Error [25.777423855881878]
  我々は、$Oleft(Hepsilonright)$-optimal Policyを得ることができることを示す新しい除去アルゴリズムを示す。 我々は上界を$widetildeOmegaleft(Hepsilonright)$-optimality lower boundで補い、この問題の完全な図面を与える。
  論文  参考訳（メタデータ） (2024-07-18T15:58:04Z)
• Robust Reinforcement Learning from Corrupted Human Feedback [86.17030012828003]
  人間からのフィードバックからの強化学習(RLHF)は、AIシステムと人間の嗜好データを調整するための原則化されたフレームワークを提供する。 我々はRLHFのロバストなアプローチ-$R3M$を提案し、これは、潜在的に破損した選好ラベルをスパースアウトリーとしてモデル化する。 大規模言語モデル(LLM)を用いたロボット制御と自然言語生成の実験により、R3M$は、好みデータに対する様々な摂動に対する報酬の堅牢性を向上することを示した。
  論文  参考訳（メタデータ） (2024-06-21T18:06:30Z)
• Towards Robust Model-Based Reinforcement Learning Against Adversarial Corruption [60.958746600254884]
  本研究は、モデルベース強化学習(RL)における敵対的腐敗の課題に取り組む。 本稿では,MLE に対する不確実性重みとして全変量 (TV) に基づく情報比を利用する,汚損楽観的 MLE (CR-OMLE) アルゴリズムを提案する。 我々は、重み付け手法をオフライン設定にまで拡張し、汚損性悲観的MLE (CR-PMLE) というアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-02-14T07:27:30Z)
• Corruption-Robust Offline Reinforcement Learning with General Function Approximation [60.91257031278004]
  一般関数近似を用いたオフライン強化学習(RL)における劣化問題について検討する。 我々のゴールは、崩壊しないマルコフ決定プロセス(MDP)の最適方針に関して、このような腐敗に対して堅牢で、最適でないギャップを最小限に抑える政策を見つけることである。
  論文  参考訳（メタデータ） (2023-10-23T04:07:26Z)
• A Robust Phased Elimination Algorithm for Corruption-Tolerant Gaussian Process Bandits [118.22458816174144]
  そこで本稿では,エポックで動作するロバストな除去型アルゴリズムを提案し,探索と頻繁な切替を併用して,小さなアクションサブセットを選択し,各アクションを複数タイミングで実行する。 我々のアルゴリズムであるGP Robust Phased Elimination (RGP-PE) は、探索とエクスプロイトによる汚職に対するロバストネスのバランスに成功している。 GPバンディット設定におけるロバスト性の最初の実証的研究を行い,アルゴリズムが様々な敵攻撃に対してロバストであることを示す。
  論文  参考訳（メタデータ） (2022-02-03T21:19:36Z)
• Linear Contextual Bandits with Adversarial Corruptions [91.38793800392108]
  本稿では,敵対的腐敗の存在下での線形文脈的包帯問題について検討する。 逆汚染レベルに適応する分散認識アルゴリズムをC$で提案する。
  論文  参考訳（メタデータ） (2021-10-25T02:53:24Z)
• Online Apprenticeship Learning [58.45089581278177]
  見習い学習(AL)では、コスト関数にアクセスせずにマルコフ決定プロセス(MDP)が与えられます。 目標は、事前に定義されたコスト関数のセットで専門家のパフォーマンスに一致するポリシーを見つけることです。 ミラー下降型ノンレグレットアルゴリズムを2つ組み合わせることで,OAL問題を効果的に解くことができることを示す。
  論文  参考訳（メタデータ） (2021-02-13T12:57:51Z)
• Robust Policy Gradient against Strong Data Corruption [30.910088777897045]
  対人汚職下での堅牢な強化学習の課題を報酬と移行の両面から検討する。 攻撃モデルでは、エピソード内の各ステップで報酬と移行を任意に破壊できるテクティタダプティブな敵を仮定する。 我々はフィルタポリシグラディエントアルゴリズムを開発し、汚職に対する報酬を許容し、$O(epsilon1/4)$-optimal Policy を見つけることができる。
  論文  参考訳（メタデータ） (2021-02-11T01:48:38Z)
• Towards Deep Learning Models Resistant to Large Perturbations [0.0]
  敵対的堅牢性は、機械学習アルゴリズムの必須特性であることが証明されている。 とよばれるアルゴリズムは、大きくても合理的で摂動のマグニチュードが与えられたディープニューラルネットワークのトレーニングに失敗することを示した。
  論文  参考訳（メタデータ） (2020-03-30T12:03:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。