論文の概要: Fusing Reward and Dueling Feedback in Stochastic Bandits

• arxiv url: http://arxiv.org/abs/2504.15812v1
• Date: Tue, 22 Apr 2025 11:51:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-30 20:41:28.11193
• Title: Fusing Reward and Dueling Feedback in Stochastic Bandits
• Title（参考訳）: 確率帯域におけるFusing RewardとDueling Feedback
• Authors: Xuchuang Wang, Qirun Zeng, Jinhang Zuo, Xutong Liu, Mohammad Hajiesmaili, John C. S. Lui, Adam Wierman,
• Abstract要約: 本研究では,各決定ラウンドで両フィードバックタイプが収集される帯域における絶対(逆)フィードバックと相対(遅延)フィードバックの融合について検討する。 我々は、効率の良いアルゴリズムが、各腕の報酬と決闘に基づく後悔のうち、より小さな部分しか生じないことを証明し、後悔の少ない境界を導出する。
• 参考スコア（独自算出の注目度）: 37.151617544329895
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper investigates the fusion of absolute (reward) and relative (dueling) feedback in stochastic bandits, where both feedback types are gathered in each decision round. We derive a regret lower bound, demonstrating that an efficient algorithm may incur only the smaller among the reward and dueling-based regret for each individual arm. We propose two fusion approaches: (1) a simple elimination fusion algorithm that leverages both feedback types to explore all arms and unifies collected information by sharing a common candidate arm set, and (2) a decomposition fusion algorithm that selects the more effective feedback to explore the corresponding arms and randomly assigns one feedback type for exploration and the other for exploitation in each round. The elimination fusion experiences a suboptimal multiplicative term of the number of arms in regret due to the intrinsic suboptimality of dueling elimination. In contrast, the decomposition fusion achieves regret matching the lower bound up to a constant under a common assumption. Extensive experiments confirm the efficacy of our algorithms and theoretical results.
• Abstract（参考訳）: 本稿では,確率的包帯における絶対フィードバック(逆フィードバック)と相対フィードバック(逆フィードバック)の融合について検討する。 我々は、効率の良いアルゴリズムが、各腕の報酬と決闘に基づく後悔のうち、より小さな部分しか生じないことを証明し、後悔の少ない境界を導出する。 そこで我々は,(1) 両フィードバック型を併用してすべてのアームを探索し,共通の候補アームセットを共有して収集情報を統一する単純な解離融合アルゴリズム,(2) 対応するアームを探索するためのより効果的なフィードバックを選択する分解融合アルゴリズム,および,各ラウンドにおける活用のためのフィードバックタイプをランダムに割り当てる。 除去融合は、デューリング除去の本質的な準最適性により、後悔の腕の数を最適に乗算する項を経験する。 対照的に、分解融合は、共通の仮定の下で下界が定数に一致することを後悔する。 大規模な実験により,アルゴリズムの有効性と理論的結果が確認された。

関連論文リスト

• Best Arm Identification with Minimal Regret [55.831935724659175]
  最高の腕識別問題 優雅にアマルガメートは、最小化とBAIを後悔している。 エージェントの目標は、所定の信頼度で最高の腕を特定することである。 二重KL-UCBアルゴリズムは、信頼度がゼロになる傾向があるため、最適性を達成する。
  論文  参考訳（メタデータ） (2024-09-27T16:46:02Z)
• Neural Dueling Bandits: Preference-Based Optimization with Human Feedback [58.90189511247936]
  ニューラルネットワークを用いて、予め選択した腕の好みフィードバックを用いて報酬関数を推定する。 また、理論的結果を文脈的包括的問題に拡張し、二元的フィードバックは、それ自体は非自明な貢献である。
  論文  参考訳（メタデータ） (2024-07-24T09:23:22Z)
• Multi-Armed Bandits with Abstention [62.749500564313834]
  本稿では, 新たな戦略要素である禁忌を取り入れた, 正準多重武装バンディット問題の拡張を提案する。 この強化されたフレームワークでは、エージェントは各タイムステップでアームを選択することだけでなく、観察する前に即時報酬を受け付けないオプションも備えている。
  論文  参考訳（メタデータ） (2024-02-23T06:27:12Z)
• Dueling Bandits: From Two-dueling to Multi-dueling [40.4378338001229]
  エージェントが複数の選択肢を同時に比較し、最適な腕を選択することで後悔を最小限に抑える、一般的なマルチダウリングバンディット問題について検討する。 この設定は従来の二段バンディット問題を一般化し、複数の選択肢に対する主観的なフィードバックを含む現実世界の多くのアプリケーションを見つける。
  論文  参考訳（メタデータ） (2022-11-16T22:00:54Z)
• Near-Optimal Collaborative Learning in Bandits [15.456561090871244]
  本稿では,各エージェントが有限個のアームに対向する一般マルチエージェントバンディットモデルを提案する。 ツイストは、各エージェントの最適なアームは最大の混合報酬を持つアームであり、アームの混合報酬は全てのエージェントに対するこのアームの報酬の重み付けの和である。 純粋探索のための近似アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-05-31T21:11:47Z)
• Versatile Dueling Bandits: Best-of-both-World Analyses for Online Learning from Preferences [28.79598714109439]
  両環境および敵環境における$K$武器のデュエルバンディットの問題について検討する。 まず,マルチアームのバンディットに対して,任意の(一般的な)デュエル・バンドレットから新たなリダクションを提案する。 提案アルゴリズムは,コンドルチェット・ウィンナーベンチマークに対して最適な$O(sum_i = 1K fraclog TDelta_i)$ regret boundを達成した最初のアルゴリズムでもある。
  論文  参考訳（メタデータ） (2022-02-14T13:37:23Z)
• Bias-Robust Bayesian Optimization via Dueling Bandit [57.82422045437126]
  ベイジアン最適化は、観測が逆偏りとなるような環境において考慮する。 情報指向サンプリング(IDS)に基づくダリングバンディットの新しい手法を提案する。 これにより、累積的後悔保証を伴う帯域幅の並列化のための、最初の効率的なカーネル化アルゴリズムが得られる。
  論文  参考訳（メタデータ） (2021-05-25T10:08:41Z)
• Efficient Pure Exploration for Combinatorial Bandits with Semi-Bandit Feedback [51.21673420940346]
  コンビナーシャルバンディットはマルチアームバンディットを一般化し、エージェントが腕のセットを選択し、選択したセットに含まれる各腕の騒々しい報酬を観察します。 我々は, 最善の腕を一定の信頼度で識別する純粋爆発問題と, 応答集合の構造が動作集合の1つと異なるような, より一般的な設定に注目する。 有限多面体に対するプロジェクションフリーオンライン学習アルゴリズムに基づいて、凸的に最適であり、競争力のある経験的性能を持つ最初の計算効率の良いアルゴリズムである。
  論文  参考訳（メタデータ） (2021-01-21T10:35:09Z)
• Adaptive Algorithms for Multi-armed Bandit with Composite and Anonymous Feedback [32.62857394584907]
  複合および匿名フィードバックによるマルチアームバンディット(MAB)問題を研究する。 本稿では,逆の場合と非逆の場合の適応アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-12-13T12:25:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。