論文の概要: Pairwise Elimination with Instance-Dependent Guarantees for Bandits with Cost Subsidy

• arxiv url: http://arxiv.org/abs/2501.10290v1
• Date: Fri, 17 Jan 2025 16:34:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-20 13:59:13.063077
• Title: Pairwise Elimination with Instance-Dependent Guarantees for Bandits with Cost Subsidy
• Title（参考訳）: コストサブシディを有する帯域に対するインスタンス依存型保証によるペアワイズ除去
• Authors: Ishank Juneja, Carlee Joe-Wong, Osman Yağan,
• Abstract要約: マルチアーム・バンディット(Multi-armed bandits、MAB)は、オンライン意思決定において一般的に用いられる。 Pairwise-Elimination(PE)アルゴリズムは、既知の参照アームの変種に対して導入し、補助金付きベスト報酬変種に対してPEをPE-CSに一般化する。 PE と PE-CS のインスタンス依存分析により,両アルゴリズムはコストと品質レグレクトの順に対数的な上限を持つことが明らかとなった。
• 参考スコア（独自算出の注目度）: 11.389019661082415
• License:
• Abstract: Multi-armed bandits (MAB) are commonly used in sequential online decision-making when the reward of each decision is an unknown random variable. In practice however, the typical goal of maximizing total reward may be less important than minimizing the total cost of the decisions taken, subject to a reward constraint. For example, we may seek to make decisions that have at least the reward of a reference ``default'' decision, with as low a cost as possible. This problem was recently introduced in the Multi-Armed Bandits with Cost Subsidy (MAB-CS) framework. MAB-CS is broadly applicable to problem domains where a primary metric (cost) is constrained by a secondary metric (reward), and the rewards are unknown. In our work, we address variants of MAB-CS including ones with reward constrained by the reward of a known reference arm or by the subsidized best reward. We introduce the Pairwise-Elimination (PE) algorithm for the known reference arm variant and generalize PE to PE-CS for the subsidized best reward variant. Our instance-dependent analysis of PE and PE-CS reveals that both algorithms have an order-wise logarithmic upper bound on Cost and Quality Regret, making our policies the first with such a guarantee. Moreover, by comparing our upper and lower bound results we establish that PE is order-optimal for all known reference arm problem instances. Finally, experiments are conducted using the MovieLens 25M and Goodreads datasets for both PE and PE-CS revealing the effectiveness of PE and the superior balance between performance and reliability offered by PE-CS compared to baselines from the literature.
• Abstract（参考訳）: マルチアーム・バンディット(MAB)は、各決定の報酬が未知のランダム変数である場合、シーケンシャルなオンライン意思決定で一般的に使用される。 しかし、実際には、報酬の最大化という典型的なゴールは、報酬の制約を受ける決定の総コストを最小化することよりも重要ではないかもしれない。 例えば、少なくとも ``default'' 決定の報酬を持つ決定を、可能な限り低コストで行おうとするかもしれません。 この問題は、最近Multi-Armed Bandits with Cost Subsidy (MAB-CS)フレームワークで導入された。 MAB-CSは、プライマリメトリック(コスト)が二次メトリック(リワード)によって制約され、報酬が不明な問題領域に広く適用されている。 本研究では、既知の参照アームの報酬や助成金の報酬に制約された報酬を含む、MAB-CSの変種に対処する。 Pairwise-Elimination(PE)アルゴリズムは、既知の参照アームの変種に対して導入し、補助金付きベスト報酬変種に対してPEをPE-CSに一般化する。 PE と PE-CS のインスタンス依存分析により,両アルゴリズムがコストと品質レグレットの順に対数的上限を持つことが明らかとなった。 さらに、上界と下界の比較により、PEが既知のすべての参照アーム問題インスタンスに最適であることを示す。 最後に,PEとPE-CSの両方を対象としたMovieLens 25MとGoodreadsデータセットを用いて実験を行った。

関連論文リスト

• Principal-Agent Reward Shaping in MDPs [50.914110302917756]
  主要な問題とは、ある政党が他の政党に代わって行動し、利害対立を引き起こすことである。 本研究では,主役とエージェントが異なる報酬関数を持つ2人プレイのスタックゲームについて検討し,エージェントは両プレイヤーに対してMDPポリシーを選択する。 この結果は,有限の地平線を持つ木と決定論的決定過程を確立した。
  論文  参考訳（メタデータ） (2023-12-30T18:30:44Z)
• Model-Based Epistemic Variance of Values for Risk-Aware Policy Optimization [59.758009422067]
  モデルベース強化学習における累積報酬に対する不確実性を定量化する問題を考察する。 我々は、解が値の真後分散に収束する新しい不確実性ベルマン方程式(UBE)を提案する。 本稿では,リスク・サーキングとリスク・アバース・ポリシー最適化のいずれにも適用可能な汎用ポリシー最適化アルゴリズムQ-Uncertainty Soft Actor-Critic (QU-SAC)を導入する。
  論文  参考訳（メタデータ） (2023-12-07T15:55:58Z)
• Bandits with Replenishable Knapsacks: the Best of both Worlds [26.786438972889208]
  非単調な資源利用を可能にするBwKフレームワークの自然な一般化について検討する。 入力モデルの下で、我々のアルゴリズムはインスタンスに依存しない $tildeO(T1/2)$ regret bound を生成する。
  論文  参考訳（メタデータ） (2023-06-14T12:34:00Z)
• Budgeted Multi-Armed Bandits with Asymmetric Confidence Intervals [0.9831489366502302]
  予算的マルチアーマッド・バンドイット(MAB)問題について検討し、プレイヤーが期待できない報酬とコストでK$アームから選択する。 非対称な信頼区間を用いた新しいアッパー信頼境界(UCB)サンプリングポリシーである$omega$-UCBを提案する。 これらの間隔は、サンプル平均とランダム変数の境界との間の距離でスケールし、報酬コスト比をより正確かつ厳密に推定する。
  論文  参考訳（メタデータ） (2023-06-12T12:35:16Z)
• Differentially Private Episodic Reinforcement Learning with Heavy-tailed Rewards [12.809396600279479]
  差分プライバシ(DP)制約下での重み付き報酬を伴うマルコフ決定プロセス(MDP)の問題について検討する。 報酬に対するロバストな平均推定器を利用することで、まず重み付きMDPのための2つのフレームワークを提案する。 我々は,自家用RLとガウシアン以下のRLと,重み付き報酬とに根本的な相違があることを指摘した。
  論文  参考訳（メタデータ） (2023-06-01T20:18:39Z)
• A Unifying Framework for Online Optimization with Long-Term Constraints [62.35194099438855]
  我々は,意思決定者が長期的制約の対象となる一連の意思決定をしなければならないオンライン学習問題について検討する。 目標は、全報酬を最大化し、同時に、$T$ラウンド全体で小さな累積違反を達成することである。 本稿では,この一般クラス問題に対して,未知のモデルに基づいて報酬と制約が選択された場合と,各ラウンドで敵が選択した場合の双方において,最良世界型アルゴリズムを提示する。
  論文  参考訳（メタデータ） (2022-09-15T16:59:19Z)
• Batch-Size Independent Regret Bounds for Combinatorial Semi-Bandits with Probabilistically Triggered Arms or Independent Arms [59.8188496313214]
  半帯域 (CMAB) について検討し, 半帯域 (CMAB) におけるバッチサイズ (K$) の依存性の低減に着目した。 まず,確率的に引き起こされるアーム(CMAB-T)を用いたCMABの設定に対して,分散を考慮した信頼区間を持つBCUCB-Tアルゴリズムを提案する。 次に,独立アームを用いた非トリガ型CMABの設定に対して,TPVM条件の非トリガ型を利用したSESCBアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-08-31T13:09:39Z)
• Bayesian decision-making under misspecified priors with applications to meta-learning [64.38020203019013]
  トンプソンサンプリングやその他のシーケンシャルな意思決定アルゴリズムは、文脈的包帯における探索と探索のトレードオフに取り組むための一般的なアプローチである。 性能は不特定な事前条件で優雅に低下することを示す。
  論文  参考訳（メタデータ） (2021-07-03T23:17:26Z)
• Output-Weighted Sampling for Multi-Armed Bandits with Extreme Payoffs [11.1546439770774]
  極度のペイオフを伴うバンディット問題におけるオンライン意思決定のための新しいタイプの獲得機能を提示する。 我々は,最も関連性が高いと考えられる盗賊を探索する新しいタイプの上位信頼境界(UCB)取得関数を定式化する。
  論文  参考訳（メタデータ） (2021-02-19T18:36:03Z)
• Confidence-Budget Matching for Sequential Budgeted Learning [69.77435313099366]
  問合せ予算で意思決定問題を定式化する。 我々は,多腕バンディット,線形バンディット,強化学習問題を考察する。 我々は,CBMに基づくアルゴリズムが逆性の存在下で良好に動作することを示す。
  論文  参考訳（メタデータ） (2021-02-05T19:56:31Z)
• A One-Size-Fits-All Solution to Conservative Bandit Problems [32.907883501286]
  我々は、サンプルパス報酬制約を伴う保守的なバンディット問題(CBP)のファミリーについて研究する。 CBPに対するOne-Size-Fits-Allソリューションを提案し、その応用を3つの包括問題に提示する。
  論文  参考訳（メタデータ） (2020-12-14T08:50:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。