論文の概要: Order-Optimal Instance-Dependent Bounds for Offline Reinforcement Learning with Preference Feedback

• arxiv url: http://arxiv.org/abs/2406.12205v1
• Date: Tue, 18 Jun 2024 02:03:12 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-19 23:08:33.412228
• Title: Order-Optimal Instance-Dependent Bounds for Offline Reinforcement Learning with Preference Feedback
• Title（参考訳）: 優先フィードバックを用いたオフライン強化学習のための順序最適インスタンス依存境界
• Authors: Zhirui Chen, Vincent Y. F. Tan,
• Abstract要約: 我々は、暗黙の報酬が未知パラメータの線形関数である、好みフィードバックによるオフライン強化学習について検討する。 そこで我々は,UnderlineLocally Underline Underline Weights あるいは sc RL-LOW を用いたアルゴリズムを提案する。 我々は,sc RL-LOWの次数次最適性を示すため,単純な後悔マッチングの指数において,下限と上限が順序的に一致することが観察された。
• 参考スコア（独自算出の注目度）: 56.6950165117658
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We consider offline reinforcement learning (RL) with preference feedback in which the implicit reward is a linear function of an unknown parameter. Given an offline dataset, our objective consists in ascertaining the optimal action for each state, with the ultimate goal of minimizing the {\em simple regret}. We propose an algorithm, \underline{RL} with \underline{L}ocally \underline{O}ptimal \underline{W}eights or {\sc RL-LOW}, which yields a simple regret of $\exp ( - \Omega(n/H) )$ where $n$ is the number of data samples and $H$ denotes an instance-dependent hardness quantity that depends explicitly on the suboptimality gap of each action. Furthermore, we derive a first-of-its-kind instance-dependent lower bound in offline RL with preference feedback. Interestingly, we observe that the lower and upper bounds on the simple regret match order-wise in the exponent, demonstrating order-wise optimality of {\sc RL-LOW}. In view of privacy considerations in practical applications, we also extend {\sc RL-LOW} to the setting of $(\varepsilon,\delta)$-differential privacy and show, somewhat surprisingly, that the hardness parameter $H$ is unchanged in the asymptotic regime as $n$ tends to infinity; this underscores the inherent efficiency of {\sc RL-LOW} in terms of preserving the privacy of the observed rewards. Given our focus on establishing instance-dependent bounds, our work stands in stark contrast to previous works that focus on establishing worst-case regrets for offline RL with preference feedback.
• Abstract（参考訳）: 我々は、暗黙の報酬が未知パラメータの線形関数である選好フィードバックを持つオフライン強化学習(RL)を考える。 オフラインのデータセットが与えられた場合、我々の目標は各状態に対する最適なアクションを確認することであり、その最終的な目的は単に後悔を最小化することである。 提案するアルゴリズムは \underline{L}ocally \underline{O}ptimal \underline{W}eights or {\sc RL-LOW} で、$\exp ( - \Omega(n/H) )$で$n$はデータサンプルの数であり、$H$は各アクションの最適度差に明示的に依存するインスタンス依存の硬度量を表す。 さらに、優先フィードバックを伴うオフラインRLにおいて、一意のインスタンス依存の低バウンドを導出する。 興味深いことに、単純後悔点上の下限と上限は指数において順序的に一致し、次数的に RL-LOW の最適性を示す。 実用アプリケーションにおけるプライバシーの考慮事項として、我々は、$(\varepsilon,\delta)$-differential privacy の設定にまで拡張し、少し意外なことに、asymptotic regimeでは$H$が不変であり、$n$は無限大となる傾向があることを示します。 インスタンス依存のバウンダリを確立することに注力していることを考えると、私たちの作業は、好みのフィードバックを持ったオフラインRLに対する最悪の後悔の解決に焦点を当てた以前の作業とは対照的です。

関連論文リスト

• On Instance-Dependent Bounds for Offline Reinforcement Learning with Linear Function Approximation [80.86358123230757]
  本稿では,Bootstrapped and Constrained Pessimistic Value Iteration (BCP-VI) というアルゴリズムを提案する。 部分的なデータカバレッジの仮定の下で、BCP-VI は最適な Q-値関数に正のギャップがあるときに、オフライン RL に対して $tildemathcalO(frac1K)$ の高速レートを得る。 これらは、アダプティブデータからの線形関数近似を持つオフラインRLに対してそれぞれ、最初の$tildemathcalO(frac1K)$boundと絶対零部分最適境界である。
  論文  参考訳（メタデータ） (2022-11-23T18:50:44Z)
• Provably Efficient Offline Reinforcement Learning with Trajectory-Wise Reward [66.81579829897392]
  我々はPessimistic vAlue iteRaTionとrEward Decomposition (PARTED)という新しいオフライン強化学習アルゴリズムを提案する。 PartEDは、最小2乗ベースの報酬再分配を通じて、ステップごとのプロキシ報酬に軌道を分解し、学習したプロキシ報酬に基づいて悲観的な値を実行する。 私たちの知る限りでは、PartEDは、トラジェクティブな報酬を持つ一般のMDPにおいて、証明可能な効率のよい最初のオフラインRLアルゴリズムである。
  論文  参考訳（メタデータ） (2022-06-13T19:11:22Z)
• Pessimism in the Face of Confounders: Provably Efficient Offline Reinforcement Learning in Partially Observable Markov Decision Processes [99.26864533035454]
  半可観測マルコフ決定過程におけるオフライン強化学習(RL)について検討する。 本稿では,UnderlineProxy変数 underlinePessimistic UnderlinePolicy UnderlineOptimization (textttP3O)アルゴリズムを提案する。 textttP3Oは、確立されたデータセットを持つPOMDPのための証明可能な最初のオフラインRLアルゴリズムである。
  論文  参考訳（メタデータ） (2022-05-26T19:13:55Z)
• Settling the Sample Complexity of Model-Based Offline Reinforcement Learning [50.5790774201146]
  オフライン強化学習(RL)は、事前収集されたデータを用いて、さらなる探索を行わずに学習する。 事前のアルゴリズムや分析は、最適なサンプルの複雑さに悩まされるか、サンプルの最適性に到達するために高いバーンインコストがかかるかのいずれかである。 モデルベース(あるいは"プラグイン")アプローチは,バーンインコストを伴わずに,最小限のサンプル複雑性を実現することを実証する。
  論文  参考訳（メタデータ） (2022-04-11T17:26:19Z)
• Towards Instance-Optimal Offline Reinforcement Learning with Pessimism [34.54294677335518]
  我々は、未知マルコフ決定過程(MDP)における報酬最大化ポリシーの学習を目標とするオフライン強化学習(オフラインRL)問題について検討する。 本研究では、適応悲観的値反復法(APVI)アルゴリズムを分析し、[Oleft(sum_h=1Hsum_s_h,a_hdpistar_h(s_h,a_h)sqrtfracmathrmmathrmVar_]とほぼ一致する準最適上限を導出する。
  論文  参考訳（メタデータ） (2021-10-17T01:21:52Z)
• Online Sub-Sampling for Reinforcement Learning with General Function Approximation [111.01990889581243]
  本稿では,RLアルゴリズムによって収集されたデータポイントの情報取得量を測定する,効率的なオンラインサブサンプリングフレームワークを確立する。 複雑性バウンド関数クラスを持つ値ベースのメソッドの場合、$proptooperatornamepolylog(K)$ timesに対してのみポリシーを更新する必要がある。 少なくとも$Omega(K)$倍のポリシーを更新する既存のアプローチとは対照的に、当社のアプローチはポリシーの解決における最適化コールの数を劇的に削減します。
  論文  参考訳（メタデータ） (2021-06-14T07:36:25Z)
• Near-Optimal Offline Reinforcement Learning via Double Variance Reduction [36.027428493021716]
  Off-Policy Double Variance Reductionは、オフラインRLのための分散化に基づく新しいアルゴリズムである。 OPDVRは$widetildeO(H2/d_mepsilon2)$ episodes of offline dataで$epsilon$-optimal Policyを確実に特定している。 また、OPDVRは、代替設定下でのレート最適化サンプルの複雑さも達成できることを示す。
  論文  参考訳（メタデータ） (2021-02-02T20:47:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。