論文の概要: Sample Complexity of Preference-Based Nonparametric Off-Policy Evaluation with Deep Networks

• arxiv url: http://arxiv.org/abs/2310.10556v1
• Date: Mon, 16 Oct 2023 16:27:06 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-17 12:59:10.376892
• Title: Sample Complexity of Preference-Based Nonparametric Off-Policy Evaluation with Deep Networks
• Title（参考訳）: 深層ネットワークを用いた予測に基づく非パラメトリックオフポリティ評価のサンプル複雑性
• Authors: Zihao Li, Xiang Ji, Minshuo Chen, Mengdi Wang
• Abstract要約: 我々は、OPEのサンプル効率を人間の好みで研究し、その統計的保証を確立する。 ReLUネットワークのサイズを適切に選択することにより、マルコフ決定過程において任意の低次元多様体構造を活用できることが示される。
• 参考スコア（独自算出の注目度）: 58.469818546042696
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A recently popular approach to solving reinforcement learning is with data from human preferences. In fact, human preference data are now used with classic reinforcement learning algorithms such as actor-critic methods, which involve evaluating an intermediate policy over a reward learned from human preference data with distribution shift, known as off-policy evaluation (OPE). Such algorithm includes (i) learning reward function from human preference dataset, and (ii) learning expected cumulative reward of a target policy. Despite the huge empirical success, existing OPE methods with preference data often lack theoretical understanding and rely heavily on heuristics. In this paper, we study the sample efficiency of OPE with human preference and establish a statistical guarantee for it. Specifically, we approach OPE by learning the value function by fitted-Q-evaluation with a deep neural network. By appropriately selecting the size of a ReLU network, we show that one can leverage any low-dimensional manifold structure in the Markov decision process and obtain a sample-efficient estimator without suffering from the curse of high data ambient dimensionality. Under the assumption of high reward smoothness, our results \textit{almost align with the classical OPE results with observable reward data}. To the best of our knowledge, this is the first result that establishes a \textit{provably efficient} guarantee for off-policy evaluation with RLHF.
• Abstract（参考訳）: 最近普及している強化学習のアプローチは、人間の好みのデータによるものだ。 実際、人間の嗜好データは、人間の嗜好データから学習した報酬と、オフ・ポリティィ・アセスメント(OPE)と呼ばれる分布シフトによる中間ポリシーを評価するアクター・クリティカルな手法のような古典的な強化学習アルゴリズムで使用されている。 このようなアルゴリズムには (i)人間選好データセットからの学習報酬機能、 (二)目標政策の累積報酬を期待すること。 経験的成功にもかかわらず、嗜好データを持つ既存のOPE法は理論的な理解に欠け、ヒューリスティックスに大きく依存することが多い。 本稿では,人選好によるOPEのサンプル効率について検討し,その統計的保証を確立する。 具体的には,ディープニューラルネットワークを用いた適合q評価により,値関数を学習することでopeにアプローチする。 ReLUネットワークのサイズを適切に選択することにより,マルコフ決定過程において任意の低次元多様体構造を活用でき,高データ環境次元の呪いに悩まされることなく,サンプル効率のよい推定器が得られることを示す。 高報酬の滑らかさを前提に、この結果が従来のope結果とほぼ一致し、観測可能な報酬データとなる。 我々の知る限りでは、これはRLHFによる政治外評価の‘textit{provably efficient’保証を確立する最初の結果である。

関連論文リスト

• Reward-Augmented Data Enhances Direct Preference Alignment of LLMs [63.32585910975191]
  報奨条件付き大言語モデル(LLM)を導入し、データセット内の応答品質のスペクトル全体から学習する。 そこで本稿では,品質スコアに優先ペアを条件付け,報酬を加算したデータセットを構築する,効果的なデータレバーベリング手法を提案する。
  論文  参考訳（メタデータ） (2024-10-10T16:01:51Z)
• Fine-Tuning Language Models with Reward Learning on Policy [68.70065254564642]
  人間からのフィードバックからの強化学習(RLHF)は、大きな言語モデル(LLM)を人間の好みに合わせる効果的なアプローチとして現れている。 その人気にもかかわらず、(固定された)報酬モデルが不正確な流通に悩まされることがある。 本稿では、政策サンプルを用いて報酬モデルを洗練し、流通を継続する、教師なしのフレームワークであるポリシーに関する報酬学習(RLP)を提案する。
  論文  参考訳（メタデータ） (2024-03-28T10:02:10Z)
• Querying Easily Flip-flopped Samples for Deep Active Learning [63.62397322172216]
  アクティブラーニング(英: Active Learning)は、ラベルのないデータを戦略的に選択してクエリすることで、モデルの性能を向上させることを目的とした機械学習パラダイムである。 効果的な選択戦略の1つはモデルの予測の不確実性に基づくもので、サンプルがどの程度情報的であるかの尺度として解釈できる。 本稿では,予測されたラベルの不一致の最小確率として,最小不一致距離(LDM)を提案する。
  論文  参考訳（メタデータ） (2024-01-18T08:12:23Z)
• Optimal Sample Selection Through Uncertainty Estimation and Its Application in Deep Learning [22.410220040736235]
  コアセット選択とアクティブラーニングの両方に対処するための理論的に最適な解を提案する。 提案手法であるCOPSは,サブサンプルデータに基づいてトレーニングされたモデルの損失を最小限に抑えるために設計されている。
  論文  参考訳（メタデータ） (2023-09-05T14:06:33Z)
• Quantile Off-Policy Evaluation via Deep Conditional Generative Learning [21.448553360543478]
  Off-Policy Evaluation (OPE) は、潜在的に異なる行動ポリシーによって生成されたオフラインデータを用いて、新しいターゲットポリシーを評価することに関心がある。 本稿では、逐次決定における量子OPEの2倍のロス率推論手順を提案する。 本提案手法の利点は,シミュレーションと,ショートビデオプラットフォームによる実世界のデータセットの両方を用いて示す。
  論文  参考訳（メタデータ） (2022-12-29T22:01:43Z)
• Using Sum-Product Networks to Assess Uncertainty in Deep Active Learning [3.7507283158673212]
  本稿では,畳み込みニューラルネットワーク(CNN)を用いた深層能動学習における不確かさの計算方法を提案する。 CNN が抽出した特徴表現を Sum-Product Network (SPN) のトレーニングデータとして利用する。
  論文  参考訳（メタデータ） (2022-06-20T14:28:19Z)
• SURF: Semi-supervised Reward Learning with Data Augmentation for Feedback-efficient Preference-based Reinforcement Learning [168.89470249446023]
  我々は、大量のラベルなしサンプルとデータ拡張を利用する半教師付き報酬学習フレームワークSURFを提案する。 報奨学習にラベルのないサンプルを活用するために,選好予測器の信頼性に基づいてラベルのないサンプルの擬似ラベルを推定する。 本実験は, ロボット操作作業における嗜好に基づく手法のフィードバック効率を有意に向上させることを実証した。
  論文  参考訳（メタデータ） (2022-03-18T16:50:38Z)
• Invariance Learning in Deep Neural Networks with Differentiable Laplace Approximations [76.82124752950148]
  我々はデータ拡張を選択するための便利な勾配法を開発した。 我々はKronecker-factored Laplace近似を我々の目的とする限界確率に近似する。
  論文  参考訳（メタデータ） (2022-02-22T02:51:11Z)
• Monocular Depth Estimation via Listwise Ranking using the Plackett-Luce Model [15.472533971305367]
  多くの実世界のアプリケーションでは、画像内の物体の相対的な深さがシーン理解に不可欠である。 近年のアプローチでは, この問題を回帰課題として扱うことにより, 単眼画像の深度予測の問題に対処している。 しかし、ランク付け手法は回帰の自然な代替として自らを示唆しており、実際、ペア比較を利用したランク付け手法はこの問題に対して有望な性能を示している。
  論文  参考訳（メタデータ） (2020-10-25T13:40:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。