論文の概要: Data-dependent Exploration for Online Reinforcement Learning from Human Feedback

• arxiv url: http://arxiv.org/abs/2605.04477v1
• Date: Wed, 06 May 2026 03:56:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-07 18:41:07.639179
• Title: Data-dependent Exploration for Online Reinforcement Learning from Human Feedback
• Title（参考訳）: 人のフィードバックによるオンライン強化学習のためのデータ依存探索
• Abstract要約: 人的フィードバックからのオンライン強化学習(RLHF)は、トレーニング中に新たな嗜好フィードバックを継続的に収集することにより、大規模言語モデル(LLM)を整合させるための有望なパラダイムとして登場した。 既存の調査戦略は、しばしば政治上の期待を通じてボーナスを導き出すが、これは訓練中に利用できる限られた歴史的嗜好データから確実に見積もることが難しい。 高不確実性領域に対する余分な不確実性ボーナスを構築するために、履歴データを活用するシンプルでスケーラブルなデータ依存型選好最適化法(DEPO)を提案する。
• 参考スコア（独自算出の注目度）: 50.34161049551627
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Online reinforcement learning from human feedback (RLHF) has emerged as a promising paradigm for aligning large language models (LLMs) by continuously collecting new preference feedback during training. A foundational challenge in this setting is exploration, which requires algorithms that enable the LLMs to generate informative comparisons that improve sample-efficiency in online RLHF. Existing exploration strategies often derive bonuses via on-policy expectations, which are difficult to estimate reliably from the limited historical preference data available during training; as a result, the policy can prematurely down-weight under-explored regions that may contain high-value behaviors. In this paper, we propose data-dependent exploration for preference optimization (DEPO), a simple and scalable method that leverages historical data to construct an extra uncertainty bonus for high-uncertainty regions, encouraging exploration toward potentially high-value data. Theoretically, we provide a data-dependent regret bound for the proposed algorithm, showing that it adapts to the hardness of the learning task itself and can be tighter than worst-case bounds in practice. Empirically, the proposed method consistently outperforms strong baselines across benchmarks, demonstrating improved sample efficiency.
• Abstract（参考訳）: 人的フィードバックからのオンライン強化学習(RLHF)は、トレーニング中に新たな嗜好フィードバックを継続的に収集することにより、大規模言語モデル(LLM)を整合させるための有望なパラダイムとして登場した。 この設定の基本的な課題は探索であり、LLMがオンラインRLHFのサンプル効率を改善するための情報比較を生成できるアルゴリズムを必要とする。 既存の調査戦略は、訓練中に利用可能な限られた歴史的嗜好データから確実に見積もることの難しい、政治上の期待を通じてボーナスを導き出すことが多く、結果として、高価値な振る舞いを含む可能性のある調査対象地域を未熟に減らすことができる。 本稿では,データ依存による選好最適化手法(DEPO)を提案する。この手法は歴史的データを利用して,不確実な領域に対する余分な不確実性ボーナスを構築し,潜在的に高価値なデータへの探索を奨励する。 理論的には,提案アルゴリズムは学習課題自体の硬さに適応し,実際最悪のケース境界よりも厳密であることを示す。 実験により,提案手法はベンチマーク間の強いベースラインを一貫して上回り,サンプル効率の向上を実証した。

関連論文リスト

• Reinforcement Learning on Pre-Training Data [55.570379963147424]
  我々は,大規模言語モデル(LLM)を最適化するための新しい訓練時間スケーリングパラダイムである,事前学習データ(R)の強化学習を紹介する。 Rは、有意義な軌道を自律的に探索し、事前学習データから学び、強化学習(RL)を通してその能力を向上させる。 複数のモデルにわたる一般領域および数学的推論ベンチマークの広範な実験は、Rの有効性を検証した。
  論文  参考訳（メタデータ） (2025-09-23T17:10:40Z)
• Towards High Data Efficiency in Reinforcement Learning with Verifiable Reward [54.708851958671794]
  オフラインとオンラインの両方のデータ選択のための最適化戦略を組み合わせた,データ効率のよいポリシ最適化パイプラインを提案する。 オフラインフェーズでは、多様性、影響、適切な難易度に基づいて、トレーニングサンプルの高品質なサブセットをキュレートする。 オンラインRLVRトレーニングにおいて、探索可能性の低いサンプルを動的にフィルタリングするサンプルレベルの探索性指標を導入する。
  論文  参考訳（メタデータ） (2025-09-01T10:04:20Z)
• Sharpe Ratio-Guided Active Learning for Preference Optimization in RLHF [67.48004037550064]
  本稿では,プロンプトと選好のペアを効率的に選択する能動的学習手法を提案する。 提案手法は,モデル更新に対する影響を評価するために,すべての潜在的選好アノテーションの勾配を評価する。 実験の結果,提案手法は,選択した完了に対する勝利率を最大5%向上させることがわかった。
  論文  参考訳（メタデータ） (2025-03-28T04:22:53Z)
• LEASE: Offline Preference-based Reinforcement Learning with High Sample Efficiency [9.32396532269159]
  本稿では、ラベルなしの嗜好データを生成するために、高サンプル効率(LEASE)アルゴリズムを用いたoffLine prEference-bAsed RLを提案する。 事前学習した報奨モデルがラベルのないデータに対して誤ったラベルを生成する可能性があることを考慮し、報奨モデルの性能を確保するための不確実性を考慮したメカニズムを設計する。
  論文  参考訳（メタデータ） (2024-12-30T15:10:57Z)
• Reward-Augmented Data Enhances Direct Preference Alignment of LLMs [63.32585910975191]
  報奨条件付き大言語モデル(LLM)を導入し、データセット内の応答品質のスペクトル全体から学習する。 当社のアプローチは,DPOをかなりのマージンで継続的に向上させることを示す。 本手法は,嗜好データの有用性を最大化するだけでなく,未学習の問題も軽減し,データ拡張を超えてその広範な効果を実証する。
  論文  参考訳（メタデータ） (2024-10-10T16:01:51Z)
• Preference-Guided Reinforcement Learning for Efficient Exploration [14.058764537783086]
  LOPE: textbfLearning textbfOnline with trajectory textbfPreferencedanctextbfE, a end-to-end preference-guided RL framework。 我々の直感では、LOPEは人的フィードバックをガイダンスとして考慮し、オンライン探索の焦点を直接調整する。 LOPEは収束率と全体的な性能の点で、最先端のいくつかの手法より優れている。
  論文  参考訳（メタデータ） (2024-07-09T02:11:12Z)
• Sample Complexity of Preference-Based Nonparametric Off-Policy Evaluation with Deep Networks [58.469818546042696]
  我々は、OPEのサンプル効率を人間の好みで研究し、その統計的保証を確立する。 ReLUネットワークのサイズを適切に選択することにより、マルコフ決定過程において任意の低次元多様体構造を活用できることが示される。
  論文  参考訳（メタデータ） (2023-10-16T16:27:06Z)
• Optimal Sample Selection Through Uncertainty Estimation and Its Application in Deep Learning [22.410220040736235]
  コアセット選択とアクティブラーニングの両方に対処するための理論的に最適な解を提案する。 提案手法であるCOPSは,サブサンプルデータに基づいてトレーニングされたモデルの損失を最小限に抑えるために設計されている。
  論文  参考訳（メタデータ） (2023-09-05T14:06:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。