論文の概要: DOPL: Direct Online Preference Learning for Restless Bandits with Preference Feedback

• arxiv url: http://arxiv.org/abs/2410.05527v1
• Date: Mon, 7 Oct 2024 22:14:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-01 18:08:20.590714
• Title: DOPL: Direct Online Preference Learning for Restless Bandits with Preference Feedback
• Title（参考訳）: DOPL: 優先フィードバックによるレストレスバンドの直接オンライン選好学習
• Authors: Guojun Xiong, Ujwal Dinesha, Debajoy Mukherjee, Jian Li, Srinivas Shakkottai,
• Abstract要約: 優先信号の存在下でのRMABモデルであるPref-RMABを紹介する。 しかし、選好フィードバックはスカラー報酬よりも情報が少ないため、Pref-RMABはより困難に思える。 本稿では,Pref-RMABのためのオンライン嗜好学習(DOPL)アルゴリズムを提案し,未知の環境を効率的に探索する。
• 参考スコア（独自算出の注目度）: 14.637904095608876
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Restless multi-armed bandits (RMAB) has been widely used to model constrained sequential decision making problems, where the state of each restless arm evolves according to a Markov chain and each state transition generates a scalar reward. However, the success of RMAB crucially relies on the availability and quality of reward signals. Unfortunately, specifying an exact reward function in practice can be challenging and even infeasible. In this paper, we introduce Pref-RMAB, a new RMAB model in the presence of preference signals, where the decision maker only observes pairwise preference feedback rather than scalar reward from the activated arms at each decision epoch. Preference feedback, however, arguably contains less information than the scalar reward, which makes Pref-RMAB seemingly more difficult. To address this challenge, we present a direct online preference learning (DOPL) algorithm for Pref-RMAB to efficiently explore the unknown environments, adaptively collect preference data in an online manner, and directly leverage the preference feedback for decision-makings. We prove that DOPL yields a sublinear regret. To our best knowledge, this is the first algorithm to ensure $\tilde{\mathcal{O}}(\sqrt{T\ln T})$ regret for RMAB with preference feedback. Experimental results further demonstrate the effectiveness of DOPL.
• Abstract（参考訳）: レストレス・マルチアーム・バンディット(RMAB)は、マルコフ連鎖に従って各レストレスアームの状態が進化し、各状態遷移がスカラー報酬を生成するような制約付きシーケンシャルな意思決定問題をモデル化するために広く用いられている。 しかし、RMABの成功は報酬信号の可用性と品質に大きく依存している。 残念ながら、正確に報酬関数を実際に指定することは困難であり、不可能である。 本稿では,選択信号の存在下での新たなRMABモデルであるPref-RMABを紹介する。 しかし、選好フィードバックはスカラー報酬よりも情報が少ないため、Pref-RMABはより困難に思える。 この課題に対処するために、Pref-RMAB の直接オンライン嗜好学習(DOPL)アルゴリズムを提案し、未知の環境を効率的に探索し、オンライン形式で嗜好データを適応的に収集し、意思決定のための選好フィードバックを直接活用する。 DOPLがサブリニアな後悔をもたらすことを証明します。 我々の知る限り、このアルゴリズムはRMABが優先的なフィードバックで$\tilde{\mathcal{O}}(\sqrt{T\ln T})を後悔することを保証する最初のアルゴリズムである。 実験の結果,DOPLの有効性がさらに示された。

関連論文リスト

• Reward Modeling with Ordinal Feedback: Wisdom of the Crowd [9.034189257088762]
  人間の好みから報酬モデル(RM)を学ぶことは、大きな言語モデルを調整する上で重要な要素である。 順序フィードバックの下でRMを学習するためのフレームワークを提案する。 我々は,Rademacher複雑性の低減の観点から,順序フィードバックの統計的利点を証明した。
  論文  参考訳（メタデータ） (2024-11-19T20:17:04Z)
• Optimal Design for Reward Modeling in RLHF [83.3614658277817]
  我々は,人間からの強化学習における報酬訓練モデルを定式化する。 有効なデータセットの選択は、単純な後悔の最小化タスクとしてフレーム化します。 適切な前提の下では、単純な後悔に縛られる。
  論文  参考訳（メタデータ） (2024-10-22T14:36:44Z)
• Reward-Augmented Data Enhances Direct Preference Alignment of LLMs [56.24431208419858]
  報奨条件付き大言語モデル(LLM)を導入し、データセット内の応答品質のスペクトル全体から学習する。 そこで本稿では,品質スコアに優先ペアを条件付け,報酬を加算したデータセットを構築する,効果的なデータレバーベリング手法を提案する。
  論文  参考訳（メタデータ） (2024-10-10T16:01:51Z)
• Neural Dueling Bandits [58.90189511247936]
  ニューラルネットワークを用いて、予め選択した腕の好みフィードバックを用いて報酬関数を推定する。 次に、理論結果を二項フィードバックによる文脈的帯域幅問題に拡張し、それはそれ自体は自明な寄与ではない。
  論文  参考訳（メタデータ） (2024-07-24T09:23:22Z)
• Robust Preference Optimization through Reward Model Distillation [68.65844394615702]
  言語モデル (LM) は、好みのアノテーションから派生した報酬関数を最大化する。 DPOは、報酬モデルや強化学習を適用することなく、優先データに直接ポリシーを訓練する一般的なオフラインアライメント手法である。 この現象を解析し, 生成対よりも真の嗜好分布のより良いプロキシを得るため, 蒸留を提案する。
  論文  参考訳（メタデータ） (2024-05-29T17:39:48Z)
• RIME: Robust Preference-based Reinforcement Learning with Noisy Preferences [23.414135977983953]
  嗜好に基づく強化学習(PbRL)は、報酬信号として人間の嗜好を活用することにより、報酬工学の必要性を回避する。 雑音の選好から効果的な報酬学習のための頑健なPbRLアルゴリズムであるRIMEを提案する。
  論文  参考訳（メタデータ） (2024-02-27T07:03:25Z)
• Direct Preference Optimization: Your Language Model is Secretly a Reward Model [119.65409513119963]
  本稿では,RLHFにおける報酬モデルの新たなパラメータ化について紹介する。 DPO(Direct Preference Optimization)と呼ばれる結果のアルゴリズムは、安定的で、性能が高く、計算的にも軽量である。 我々の実験は、DPOが人間の好みに合わせて微調整できるだけでなく、既存の方法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-29T17:57:46Z)
• Markov Decision Process modeled with Bandits for Sequential Decision Making in Linear-flow [73.1896399783641]
  会員/加入者の獲得と保持では、複数のページを連続してマーケティングコンテンツを推奨する必要がある。 遷移確率行列をモデル化するためにBandits を用いた MDP としてこの問題を定式化することを提案する。 提案したMDPのBanditsアルゴリズムは,$epsilon$-greedyと$epsilon$-greedy,$epsilon$,IndependentBandits,InteractionBanditsでQ-learningを上回っている。
  論文  参考訳（メタデータ） (2021-07-01T03:54:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。