論文の概要: Active Human Feedback Collection via Neural Contextual Dueling Bandits

• arxiv url: http://arxiv.org/abs/2504.12016v1
• Date: Wed, 16 Apr 2025 12:16:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-17 14:38:58.938430
• Title: Active Human Feedback Collection via Neural Contextual Dueling Bandits
• Title（参考訳）: ニューラルコンテキストデュエルバンドによるアクティブヒューマンフィードバックコレクション
• Authors: Arun Verma, Xiaoqiang Lin, Zhongxiang Dai, Daniela Rus, Bryan Kian Hsiang Low,
• Abstract要約: 本稿では,人間の嗜好フィードバックを抽出するアルゴリズムであるNeural-ADBを提案する。 優先フィードバックがBradley-Terry-Luceモデルに従うと、Neural-ADBが学習したポリシーの最悪の準最適差は、選好データセットが増加するにつれて、サブ線形速度で減少することを示す。
• 参考スコア（独自算出の注目度）: 84.7608942821423
• License:
• Abstract: Collecting human preference feedback is often expensive, leading recent works to develop principled algorithms to select them more efficiently. However, these works assume that the underlying reward function is linear, an assumption that does not hold in many real-life applications, such as online recommendation and LLM alignment. To address this limitation, we propose Neural-ADB, an algorithm based on the neural contextual dueling bandit framework that provides a principled and practical method for collecting human preference feedback when the underlying latent reward function is non-linear. We theoretically show that when preference feedback follows the Bradley-Terry-Luce model, the worst sub-optimality gap of the policy learned by Neural-ADB decreases at a sub-linear rate as the preference dataset increases. Our experimental results on problem instances derived from synthetic preference datasets further validate the effectiveness of Neural-ADB.
• Abstract（参考訳）: 人間の嗜好フィードバックの収集は、しばしばコストがかかるため、最近の研究は、より効率的に選び出すためのアルゴリズムの開発に繋がる。 しかしながら,これらの研究は,オンラインレコメンデーションやLLMアライメントなど,現実の多くの応用に当てはまらないような,基礎となる報酬関数が線形であると仮定する。 この制限に対処するため,ニューラルADB(Neural-ADB)を提案する。ニューラルADB(Neural-ADB)は,ニューラルネットワークのコンテキスト・デュエル・バンディット・フレームワークをベースとしたアルゴリズムで,基礎となる潜在報酬関数が非線形である場合に,人間の嗜好フィードバックを収集する原理的かつ実践的な手法を提供する。 理論的には、嗜好フィードバックがBradley-Terry-Luceモデルに従うと、Neural-ADBが学習したポリシーの最悪の準最適差は、選好データセットが増加するにつれて、サブ線形速度で減少する。 合成選好データセットから得られた問題事例に対する実験結果により,Neural-ADBの有効性がさらに検証された。

関連論文リスト

• Best Policy Learning from Trajectory Preference Feedback [15.799929216215672]
  嗜好型強化学習(PbRL)における最良政策識別の問題に対処する。 本稿では,Top-Two Thompson Smplingにヒントを得た新しいアルゴリズムであるPosterior Smpling for Preference Learning(mathsfPSPL$)を提案する。 この設定で PbRL に関する最初の理論的保証を提供し、単純ベイズ的後悔の上限を確立する。
  論文  参考訳（メタデータ） (2025-01-31T03:55:10Z)
• Unrolled denoising networks provably learn optimal Bayesian inference [54.79172096306631]
  我々は、近似メッセージパッシング(AMP)のアンロールに基づくニューラルネットワークの最初の厳密な学習保証を証明した。 圧縮センシングでは、製品から引き出されたデータに基づいてトレーニングを行うと、ネットワークの層がベイズAMPで使用されるのと同じデノイザーに収束することを示す。
  論文  参考訳（メタデータ） (2024-09-19T17:56:16Z)
• Online Bandit Learning with Offline Preference Data [15.799929216215672]
  ノイズの多い選好フィードバックを持つオフラインデータセットでウォームスタートできるオンライン学習のための後部サンプリングアルゴリズムを提案する。 生成した専門家の能力」をモデル化することで、そのようなデータセットを最も効果的に利用できることを示す。
  論文  参考訳（メタデータ） (2024-06-13T20:25:52Z)
• A Unified Linear Programming Framework for Offline Reward Learning from Human Demonstrations and Feedback [6.578074497549894]
  Inverse Reinforcement Learning (IRL) と Reinforcement Learning from Human Feedback (RLHF) は報酬学習における重要な方法論である。 本稿では,オフライン報酬学習に適した新しい線形プログラミング(LP)フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-20T23:59:26Z)
• Contrastive Preference Learning: Learning from Human Feedback without RL [71.77024922527642]
  本稿では、報酬関数を学習せずに好みから最適なポリシーを学習するアルゴリズムであるContrastive Preference Learning (CPL)を紹介する。 CPLは完全に非政治的であり、単純なコントラスト目的のみを使用し、任意のMDPに適用できる。
  論文  参考訳（メタデータ） (2023-10-20T16:37:56Z)
• Sample Complexity of Preference-Based Nonparametric Off-Policy Evaluation with Deep Networks [58.469818546042696]
  我々は、OPEのサンプル効率を人間の好みで研究し、その統計的保証を確立する。 ReLUネットワークのサイズを適切に選択することにより、マルコフ決定過程において任意の低次元多様体構造を活用できることが示される。
  論文  参考訳（メタデータ） (2023-10-16T16:27:06Z)
• Optimal Sample Selection Through Uncertainty Estimation and Its Application in Deep Learning [22.410220040736235]
  コアセット選択とアクティブラーニングの両方に対処するための理論的に最適な解を提案する。 提案手法であるCOPSは,サブサンプルデータに基づいてトレーニングされたモデルの損失を最小限に抑えるために設計されている。
  論文  参考訳（メタデータ） (2023-09-05T14:06:33Z)
• Sample-Then-Optimize Batch Neural Thompson Sampling [50.800944138278474]
  我々はトンプソンサンプリング(TS)ポリシーに基づくブラックボックス最適化のための2つのアルゴリズムを提案する。 入力クエリを選択するには、NNをトレーニングし、トレーニングされたNNを最大化してクエリを選択するだけです。 我々のアルゴリズムは、大きなパラメータ行列を逆転する必要性を助長するが、TSポリシーの妥当性は保たれている。
  論文  参考訳（メタデータ） (2022-10-13T09:01:58Z)
• Offline Neural Contextual Bandits: Pessimism, Optimization and Generalization [42.865641215856925]
  本稿では,ニューラルネットワーク関数近似を用いた効率の良いオフラインコンテキスト帯域幅を提案する。 本手法は,従来のOPL法よりも分布シフトの軽度な条件下で,未知の文脈を一般化することを示す。 また, 実世界のOPL問題において, 提案手法の実証的有効性を示す。
  論文  参考訳（メタデータ） (2021-11-27T03:57:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。