論文の概要: Biased Dueling Bandits with Stochastic Delayed Feedback

• arxiv url: http://arxiv.org/abs/2408.14603v1
• Date: Mon, 26 Aug 2024 19:49:12 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-28 15:44:05.399453
• Title: Biased Dueling Bandits with Stochastic Delayed Feedback
• Title（参考訳）: 確率遅延フィードバックを用いたバイアスデュエルバンド
• Authors: Bongsoo Yi, Yue Kang, Yao Li,
• Abstract要約: 遅延を伴う状況に対処するアルゴリズムを2つ提案する。 完全遅延分布情報を必要とする第1のアルゴリズムは,遅延のない場合の遅延帯域問題に対する最適後悔境界を達成できる。 第2のアルゴリズムは、分布が不明な状況に最適化されるが、遅延の期待値のみが利用可能である。
• 参考スコア（独自算出の注目度）: 6.167074802065416
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The dueling bandit problem, an essential variation of the traditional multi-armed bandit problem, has become significantly prominent recently due to its broad applications in online advertising, recommendation systems, information retrieval, and more. However, in many real-world applications, the feedback for actions is often subject to unavoidable delays and is not immediately available to the agent. This partially observable issue poses a significant challenge to existing dueling bandit literature, as it significantly affects how quickly and accurately the agent can update their policy on the fly. In this paper, we introduce and examine the biased dueling bandit problem with stochastic delayed feedback, revealing that this new practical problem will delve into a more realistic and intriguing scenario involving a preference bias between the selections. We present two algorithms designed to handle situations involving delay. Our first algorithm, requiring complete delay distribution information, achieves the optimal regret bound for the dueling bandit problem when there is no delay. The second algorithm is tailored for situations where the distribution is unknown, but only the expected value of delay is available. We provide a comprehensive regret analysis for the two proposed algorithms and then evaluate their empirical performance on both synthetic and real datasets.
• Abstract（参考訳）: 近年、オンライン広告、レコメンデーションシステム、情報検索などの幅広い応用により、従来のマルチアームバンディット問題の本質的な変化であるデュエルバンディット問題が顕著になっている。 しかし、現実世界の多くのアプリケーションでは、アクションに対するフィードバックは避けられない遅延を伴い、エージェントはすぐには利用できない。 この部分的に観察可能な問題は、エージェントがいかに素早く正確にポリシーを更新できるかに大きく影響するため、既存のデュエル・バンディット文学にとって大きな課題となる。 本稿では,確率的遅延フィードバックによるバイアスド・デュリング・バンディット問題の導入と検討を行い,この新たな実践的問題は,選択間の優先バイアスを含むより現実的で興味深いシナリオに発展することを明らかにした。 遅延を伴う状況に対処するアルゴリズムを2つ提案する。 完全遅延分布情報を必要とする第1のアルゴリズムは,遅延のない場合の遅延帯域問題に対する最適後悔境界を達成できる。 第2のアルゴリズムは、分布が不明な状況に最適化されるが、遅延の期待値のみが利用可能である。 提案した2つのアルゴリズムに対して総合的後悔分析を行い、合成データセットと実データセットの両方で実験性能を評価する。

関連論文リスト

• Multi-Armed Bandits with Abstention [62.749500564313834]
  本稿では, 新たな戦略要素である禁忌を取り入れた, 正準多重武装バンディット問題の拡張を提案する。 この強化されたフレームワークでは、エージェントは各タイムステップでアームを選択することだけでなく、観察する前に即時報酬を受け付けないオプションも備えている。
  論文  参考訳（メタデータ） (2024-02-23T06:27:12Z)
• Variance-Aware Regret Bounds for Stochastic Contextual Dueling Bandits [53.281230333364505]
  本稿では, 一般化線形モデル(GLM)から, デュエルアームのバイナリ比較を生成するコンテキストデュエルバンド問題について検討する。 本稿では,SupLinUCB型アルゴリズムを提案する。このアルゴリズムは,計算効率と分散を意識したリセットバウンド$tilde Obig(dsqrtsum_t=1Tsigma_t2 + dbig)$を提案する。 我々の後悔は、比較が決定論的である場合の直感的な期待と自然に一致し、アルゴリズムは$tilde O(d)$ regretにのみ悩まされる。
  論文  参考訳（メタデータ） (2023-10-02T08:15:52Z)
• A Best-of-both-worlds Algorithm for Bandits with Delayed Feedback with Robustness to Excessive Delays [24.998122268199797]
  本稿では,フィードバックが可変に遅延するバンディットのためのベスト・オブ・ボス・ワールドス・アルゴリズムを提案する。 我々のアルゴリズムは任意の過剰な遅延を許容し、$T$をオーダーすることができる。
  論文  参考訳（メタデータ） (2023-08-21T12:17:40Z)
• Delayed Feedback in Generalised Linear Bandits Revisited [5.349852254138085]
  一般化線形包帯における遅延報酬の現象を理論的に研究する。 遅延フィードバックに対する楽観的なアルゴリズムの自然な適応は、遅延に対するペナルティが地平線から独立であるような後悔境界を達成することを示す。
  論文  参考訳（メタデータ） (2022-07-21T23:35:01Z)
• Multi-Armed Bandit Problem with Temporally-Partitioned Rewards: When Partial Feedback Counts [53.579515853222986]
  時間分割リワード(TP-MAB)を用いたマルチアーメッド・バンディット(Multi-Armed Bandit)について検討する。 この設定は、プル後の有限時間スパン上で報酬が拡張されるケースに対する遅延フィードバックバンディットの自然な拡張である。 本稿では,TP-UCB-FRとTP-UCB-EWの2つのアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-06-01T15:56:59Z)
• Nonstochastic Bandits and Experts with Arm-Dependent Delays [17.272515865592542]
  遅延が時間と腕に依存するような遅延環境で,非確率的な盗賊や専門家について検討する。 私たちの分析では、ドリフトに縛られた小説にヒンジを付け、1ラウンドのルックアヘッドを与えられた場合、アルゴリズムがどれだけの精度で実行できるかを測定しました。
  論文  参考訳（メタデータ） (2021-11-02T13:36:11Z)
• Stochastic Multi-Armed Bandits with Unrestricted Delay Distributions [54.25616645675032]
  アルゴリズムが受信したフィードバックにランダムな遅延を伴うマルチアーマッド・バンドイット(MAB)問題について検討する。 報酬非依存の遅延設定は、報酬非依存の遅延設定と、報酬非依存の遅延設定に依存する可能性がある。 私たちの主な貢献は、それぞれの設定でほぼ最適に後悔するアルゴリズムです。
  論文  参考訳（メタデータ） (2021-06-04T12:26:06Z)
• Batched Neural Bandits [107.5072688105936]
  BatchNeuralUCBはニューラルネットワークと楽観性を組み合わせ、探索と探索のトレードオフに対処する。 BatchNeuralUCBは、完全なシーケンシャルバージョンと同じ後悔を達成しつつ、ポリシー更新の数を大幅に減らしています。
  論文  参考訳（メタデータ） (2021-02-25T17:36:44Z)
• Stochastic bandits with arm-dependent delays [102.63128271054741]
  我々は、単純なUCBベースのアルゴリズムであるPatentBanditsを提案する。 問題に依存しない境界も問題に依存しない境界も、性能の低い境界も提供します。
  論文  参考訳（メタデータ） (2020-06-18T12:13:58Z)
• Delay-Adaptive Learning in Generalized Linear Contextual Bandits [18.68458152442088]
  遅延設定に適応した2つのよく知られたアルゴリズムの性能について検討する。 本稿では,この2つのアルゴリズムを遅延処理に適応させる方法について述べる。 この結果は,文脈的盗賊文学の広範な景観に寄与する。
  論文  参考訳（メタデータ） (2020-03-11T09:12:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。