論文の概要: Contextual Bandits with Arm Request Costs and Delays

• arxiv url: http://arxiv.org/abs/2410.13109v2
• Date: Sat, 19 Oct 2024 02:46:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-28 17:07:36.679393
• Title: Contextual Bandits with Arm Request Costs and Delays
• Title（参考訳）: アーム要求コストと遅延を考慮したコンテキスト帯域
• Authors: Lai Wei, Ambuj Tewari, Michael A. Cianfrocco,
• Abstract要約: 本稿では,時間的遅延と関連するコストを伴って,新たなアームセットを要求できるコンテキスト的バンディット問題の拡張を提案する。 この設定では、学習者は、各選択が1つの時間単位を取るように、決定セットから複数のアームを選択することができる。 我々は、武器を効果的に選択し、新しい武器を要求する適切な時間を決定するアルゴリズムを設計し、彼らの後悔を最小限に抑える。
• 参考スコア（独自算出の注目度）: 19.263086804406786
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce a novel extension of the contextual bandit problem, where new sets of arms can be requested with stochastic time delays and associated costs. In this setting, the learner can select multiple arms from a decision set, with each selection taking one unit of time. The problem is framed as a special case of semi-Markov decision processes (SMDPs). The arm contexts, request times, and costs are assumed to follow an unknown distribution. We consider the regret of an online learning algorithm with respect to the optimal policy that achieves the maximum average reward. By leveraging the Bellman optimality equation, we design algorithms that can effectively select arms and determine the appropriate time to request new arms, thereby minimizing their regret. Under the realizability assumption, we analyze the proposed algorithms and demonstrate that their regret upper bounds align with established results in the contextual bandit literature. We validate the algorithms through experiments on simulated data and a movie recommendation dataset, showing that their performance is consistent with theoretical analyses.
• Abstract（参考訳）: 本稿では,新しいアームセットを確率的時間遅延と関連するコストで要求できるコンテキスト的バンディット問題の拡張を提案する。 この設定では、学習者は、各選択が1つの時間単位を取るように、決定セットから複数のアームを選択することができる。 この問題は、半マルコフ決定過程(SMDP)の特別な場合として考えられている。 アームコンテキスト、要求時間、コストは未知の分布に従うと仮定される。 我々は,最大平均報酬を達成できる最適ポリシーに関して,オンライン学習アルゴリズムの後悔を考察する。 ベルマン最適性方程式を利用して、武器を効果的に選択し、新しい武器を要求する適切な時間を決定するアルゴリズムを設計し、その後悔を最小限に抑える。 実現可能性の仮定に基づき,提案したアルゴリズムを解析し,それらの後悔の上界が,文脈的バンディット文学において確立された結果と一致していることを示す。 シミュレーションデータと映画レコメンデーションデータセットを用いた実験により,アルゴリズムの性能が理論的解析と一致していることを示す。

関連論文リスト

• Exploiting Concavity Information in Gaussian Process Contextual Bandit Optimization [2.1046873879077794]
  文脈的帯域幅フレームワークは、逐次最適化問題を解決するために広く使われている。 我々は、平均報酬が各固定されたコンテキストに対するアクションの凹凸関数であることが知られている設定について検討する。 本稿では,この凹凸情報に基づいてベイジアンガウス過程モデルの後部を条件にすることで,最適化を加速するコンテキスト的帯域幅アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-03-13T19:35:54Z)
• Empirical Bound Information-Directed Sampling for Norm-Agnostic Bandits [0.0]
  本稿では,アキュメレーションデータを用いて,真のパラメータノルム上の高確率上限を反復的に改善する,新しい頻繁なIDSアルゴリズムを提案する。 提案手法は,当初仮定されたパラメータノルム境界に依存しないアルゴリズムに対する後悔境界を確立し,その手法が最先端IDSおよびUPBアルゴリズムより優れていることを示す。
  論文  参考訳（メタデータ） (2025-03-07T02:33:37Z)
• Neural Dueling Bandits [58.90189511247936]
  ニューラルネットワークを用いて、予め選択した腕の好みフィードバックを用いて報酬関数を推定する。 次に、理論結果を二項フィードバックによる文脈的帯域幅問題に拡張し、それはそれ自体は自明な寄与ではない。
  論文  参考訳（メタデータ） (2024-07-24T09:23:22Z)
• Optimal Multi-Fidelity Best-Arm Identification [65.23078799972188]
  バンディットのベストアーム識別において、アルゴリズムは、できるだけ早く特定の精度で、最高平均報酬の腕を見つけることを任務とする。 マルチフィデリティのベストアーム識別について検討し、低コストで低いフィデリティ(正確な平均推定値を持たない)で腕をサンプリングすることを選択できる。 この問題に対処するためのいくつかの方法が提案されているが、その最適性は、特に最適な腕を特定するのに必要な総コストのゆるやかな下限のため、未解決のままである。
  論文  参考訳（メタデータ） (2024-06-05T08:02:40Z)
• A Gaussian Process-based Streaming Algorithm for Prediction of Time Series With Regimes and Outliers [0.0]
  最近提案されたINTELアルゴリズムは,システムスイッチングの可能な時系列のオンライン予測に専門家によるアプローチの産物を提供する。 LINTELを紹介します。これは、一定時間更新を伴う時間$t$の正確なフィルタリング分布を使用します。 提案手法は,適切な条件下でのINELよりも5倍以上高速で,良好な品質予測が可能であることを示す。
  論文  参考訳（メタデータ） (2024-06-01T22:55:33Z)
• Multi-Armed Bandits with Abstention [62.749500564313834]
  本稿では, 新たな戦略要素である禁忌を取り入れた, 正準多重武装バンディット問題の拡張を提案する。 この強化されたフレームワークでは、エージェントは各タイムステップでアームを選択することだけでなく、観察する前に即時報酬を受け付けないオプションも備えている。
  論文  参考訳（メタデータ） (2024-02-23T06:27:12Z)
• Best Arm Identification with Fixed Budget: A Large Deviation Perspective [54.305323903582845]
  我々は、様々な武器の報酬間の経験的ギャップに基づいて、あらゆるラウンドで腕を拒絶できる真に適応的なアルゴリズムであるsredを提示する。 特に、様々な武器の報酬の間の経験的ギャップに基づいて、あらゆるラウンドで腕を拒絶できる真に適応的なアルゴリズムであるsredを提示する。
  論文  参考訳（メタデータ） (2023-12-19T13:17:43Z)
• Online Continuous Hyperparameter Optimization for Generalized Linear Contextual Bandits [55.03293214439741]
  文脈的包帯では、エージェントは過去の経験に基づいた時間依存アクションセットから順次アクションを行う。 そこで本稿では,文脈的包帯のためのオンライン連続型ハイパーパラメータチューニングフレームワークを提案する。 理論上はサブ線形の後悔を達成でき、合成データと実データの両方において既存のすべての手法よりも一貫して優れた性能を発揮することを示す。
  論文  参考訳（メタデータ） (2023-02-18T23:31:20Z)
• Best Arm Identification for Stochastic Rising Bandits [84.55453174601826]
  SRB(Rising Bandits)は、選択される度に選択肢の期待される報酬が増加する、シーケンシャルな意思決定の問題をモデル化する。 本稿では,SRBの固定予算ベストアーム識別(BAI)問題に焦点をあてる。 R-UCBE と R-SR の2つのアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-02-15T08:01:37Z)
• A Reduction-based Framework for Sequential Decision Making with Delayed Feedback [53.79893086002961]
  汎用マルチエージェントシーケンシャル意思決定における遅延フィードバックについて検討する。 本稿では, 逐次的意思決定のためのマルチバッチアルゴリズムを, 即時フィードバックにより, サンプル効率のよいアルゴリズムに変換する, 新たなリダクションベースフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-02-03T01:16:09Z)
• Stochastic Rising Bandits [40.32303434592863]
  本研究は、腕が単調に非減少している、安静時および安静時バンディットの特定の症例について検討する。 この特性により、ペイオフの規則性を利用して、厳密な後悔の限界を提供する、特別に構築されたアルゴリズムを設計することができる。 我々は,本アルゴリズムを実世界のデータセットに対するオンラインモデル選択問題や,複数の合成されたタスクに対する非定常MABの最先端手法と経験的に比較した。
  論文  参考訳（メタデータ） (2022-12-07T17:30:45Z)
• Multi-Armed Bandit Problem with Temporally-Partitioned Rewards: When Partial Feedback Counts [53.579515853222986]
  時間分割リワード(TP-MAB)を用いたマルチアーメッド・バンディット(Multi-Armed Bandit)について検討する。 この設定は、プル後の有限時間スパン上で報酬が拡張されるケースに対する遅延フィードバックバンディットの自然な拡張である。 本稿では,TP-UCB-FRとTP-UCB-EWの2つのアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-06-01T15:56:59Z)
• Finding Optimal Arms in Non-stochastic Combinatorial Bandits with Semi-bandit Feedback and Finite Budget [6.759124697337311]
  有限サンプリング予算制約の下では,半帯域フィードバックによる帯域幅問題を考える。 アクションは、一組のアームを選択し、選択されたセット内の各アームに対するフィードバックが受信される。 本稿では,アーム除去戦略の全スペクトルをカバーするのに適した汎用アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-02-09T14:36:05Z)
• Machine Learning for Online Algorithm Selection under Censored Feedback [71.6879432974126]
  オンラインアルゴリズム選択(OAS)では、アルゴリズム問題クラスのインスタンスがエージェントに次々に提示され、エージェントは、固定された候補アルゴリズムセットから、おそらく最高のアルゴリズムを迅速に選択する必要がある。 SAT(Satisfiability)のような決定問題に対して、品質は一般的にアルゴリズムのランタイムを指す。 本研究では,OASのマルチアームバンディットアルゴリズムを再検討し,この問題に対処する能力について議論する。 ランタイム指向の損失に適応し、時間的地平線に依存しない空間的・時間的複雑さを維持しながら、部分的に検閲されたデータを可能にする。
  論文  参考訳（メタデータ） (2021-09-13T18:10:52Z)
• Max-Utility Based Arm Selection Strategy For Sequential Query Recommendations [16.986870945319293]
  オンライン情報収集や探索分析のようなクローズドループ対話型学習環境におけるクエリレコメンデーション問題について考察する。 この問題は、数え切れないほど多くの腕を持つマルチアーマッド・バンド(MAB)フレームワークを使って、自然にモデル化することができる。 このような選択戦略がしばしば高い累積的後悔をもたらすことを示し、この結果から、武器の最大有効性に基づく選択戦略を提案する。
  論文  参考訳（メタデータ） (2021-08-31T13:03:30Z)
• PAC Best Arm Identification Under a Deadline [101.10352416022559]
  我々は、$(epsilon, delta)$-PACベストアーム識別について研究し、意思決定者は、アームプル(サンプル)の数を最小化しながら、少なくとも1 - delta$の確率で最適なアームを識別しなければならない。 この作業では、決定者はT$ラウンドの期限が与えられ、各ラウンドで、どのアームを引っ張るか、何回引っ張るかを適応的に選ぶことができる。 本稿では,この設定のための新しいアルゴリズムであるElastic Batch Racing (EBR)を提案する。
  論文  参考訳（メタデータ） (2021-06-06T19:48:32Z)
• Online Model Selection: a Rested Bandit Formulation [49.69377391589057]
  静止したバンディット設定における最善のアーム識別問題を紹介し,解析する。 我々は、この問題の後悔の新しい概念を定義し、ゲームの終わりに最小の期待損失を持つ腕を常に再生するポリシーと比較します。 最近のバンディット文献における既知のモデル選択の試みとは異なり、アルゴリズムは問題の特定の構造を利用して、予想される損失関数の未知のパラメータを学習する。
  論文  参考訳（メタデータ） (2020-12-07T08:23:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。