論文の概要: Information Capacity Regret Bounds for Bandits with Mediator Feedback

• arxiv url: http://arxiv.org/abs/2402.10282v1
• Date: Thu, 15 Feb 2024 19:18:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-19 18:32:58.361912
• Title: Information Capacity Regret Bounds for Bandits with Mediator Feedback
• Title（参考訳）: 媒介者フィードバックを有する帯域に対する情報容量レグレクト境界
• Authors: Khaled Eldowa, Nicol\`o Cesa-Bianchi, Alberto Maria Metelli, Marcello Restelli
• Abstract要約: 我々は,政策セットの複雑さに対する情報理論尺度として,政策セットの容量を導入する。 古典的なEXP4アルゴリズムを採用することで、ポリシーセットの容量に応じて、新たな後悔の限界を提供する。 ポリシーセットファミリの選択については、キャパシティと同じようなスケールで、ほぼ整合性の低い境界を証明します。
• 参考スコア（独自算出の注目度）: 55.269551124587224
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This work addresses the mediator feedback problem, a bandit game where the decision set consists of a number of policies, each associated with a probability distribution over a common space of outcomes. Upon choosing a policy, the learner observes an outcome sampled from its distribution and incurs the loss assigned to this outcome in the present round. We introduce the policy set capacity as an information-theoretic measure for the complexity of the policy set. Adopting the classical EXP4 algorithm, we provide new regret bounds depending on the policy set capacity in both the adversarial and the stochastic settings. For a selection of policy set families, we prove nearly-matching lower bounds, scaling similarly with the capacity. We also consider the case when the policies' distributions can vary between rounds, thus addressing the related bandits with expert advice problem, which we improve upon its prior results. Additionally, we prove a lower bound showing that exploiting the similarity between the policies is not possible in general under linear bandit feedback. Finally, for a full-information variant, we provide a regret bound scaling with the information radius of the policy set.
• Abstract（参考訳）: 本研究は、決定セットが複数のポリシーで構成され、それぞれが共通の結果空間上の確率分布に関連付けられるバンディットゲームである仲介者フィードバック問題に対処する。 方針を選択すると、学習者はその分布からサンプリングされた結果を観察し、現在のラウンドにおいてこの結果に割り当てられた損失を負う。 我々は,政策セットの複雑さに対する情報理論尺度として,政策セットの容量を導入する。 古典的なEXP4アルゴリズムを応用し、逆数と確率的設定の両方におけるポリシーセットの容量に応じて、新たな後悔境界を提供する。 ポリシセットファミリの選択については、キャパシティと同様にスケーリングすることで、下限にほぼ一致することを証明します。 また, 方針の分布がラウンドごとに異なる場合も考慮し, 関連するバンディットに専門家のアドバイス問題を加え, 先行する結果から改善する。 さらに, 線形バンディットフィードバックでは, ポリシー間の類似性を利用した場合, 一般には不可能であることを示す下界を証明した。 最後に、全情報型については、ポリシーセットの情報半径に制限されたスケーリングを提供する。

関連論文リスト

• Off-Policy Evaluation for Large Action Spaces via Policy Convolution [60.6953713877886]
  ポリシ・コンボリューション(Policy Convolution)のファミリーは、アクション内の潜在構造を使用して、ログとターゲットポリシを戦略的に畳み込みます。 合成およびベンチマークデータセットの実験では、PCを使用する場合の平均二乗誤差(MSE)が顕著に改善されている。
  論文  参考訳（メタデータ） (2023-10-24T01:00:01Z)
• Piecewise-Stationary Combinatorial Semi-Bandit with Causally Related Rewards [5.347237827669861]
  本稿では,因果関係の報酬を用いた定常半帯域問題について検討する。 非定常環境では、ベースアームの分布の変化、報酬間の因果関係、またはその両方が報酬生成プロセスを変化させる。 この問題は半帯域設定で増加し、意思決定者は選択したアームの束の結果のみを観察する。
  論文  参考訳（メタデータ） (2023-07-26T12:06:13Z)
• Reproducible Bandits [95.8830340560603]
  バンディット環境におけるポリシーは、2つの異なる実行において全く同じ腕列を高い確率で引き出すと再現可能と呼ばれる。 再現可能なポリシが存在するだけでなく、時間的地平線の観点から、ほぼ同じ(再現不可能な)後悔境界を達成することを示す。 以上の結果から,無作為化が探索・探索トレードオフに不可欠であるにもかかわらず,同一の腕を2回の異なるラウンドで引き抜いて最適なバランスをとれることが示唆された。
  論文  参考訳（メタデータ） (2022-10-04T20:36:45Z)
• Reward-Free Policy Space Compression for Reinforcement Learning [39.04317877999891]
  強化学習では,環境と相互作用するエージェントの潜在的な振る舞いを無限のポリシーにエンコードする。 我々は、政策空間の報酬のない圧縮を、代表政策の有限集合に求めている。 政策空間のこの圧縮は集合被覆問題として定式化できることを示し、本質的にNPハードである。
  論文  参考訳（メタデータ） (2022-02-22T18:11:57Z)
• Continuous Mean-Covariance Bandits [39.820490484375156]
  本稿では,選択肢相関を考慮した連続平均共分散帯域モデルを提案する。 CMCBでは、与えられた選択肢の重みベクトルを逐次選択し、決定に従ってランダムなフィードバックを観察する学習者がいる。 最適な後悔(対数的因子を含む)を伴う新しいアルゴリズムを提案し、それらの最適性を検証するために一致した下界を提供する。
  論文  参考訳（メタデータ） (2021-02-24T06:37:05Z)
• Off-Policy Evaluation of Slate Policies under Bayes Risk [70.10677881866047]
  スレートのスロット上でロギングポリシーが因子化される典型的なケースにおいて、スレート帯のオフポリシ評価の問題について検討する。 PIによるリスク改善はスロット数とともに線形に増加し、スロットレベルの分岐の集合の算術平均と調和平均とのギャップによって線形に増加することを示す。
  論文  参考訳（メタデータ） (2021-01-05T20:07:56Z)
• Policy Optimization as Online Learning with Mediator Feedback [46.845765216238135]
  ポリシー最適化(PO)は、継続的制御タスクに対処するための広く使われているアプローチである。 本稿では、政策分野におけるオンライン学習問題としてpoを枠組みとする仲介者フィードバックの概念を紹介する。 本稿では,再帰的最小化のために,RIST (Multiple Importance Smpling with Truncation) を用いたアルゴリズム RANDomized-Exploration Policy Optimization を提案する。
  論文  参考訳（メタデータ） (2020-12-15T11:34:29Z)
• Variational Policy Propagation for Multi-agent Reinforcement Learning [68.26579560607597]
  本稿では,エージェント間の相互作用を通じて,共役ポリシーを学習するために,変動ポリシー伝搬 (VPP) という,共役型多エージェント強化学習アルゴリズムを提案する。 共同政策がマルコフランダム場(Markov Random Field)であることは、いくつかの穏やかな条件下で証明し、それによって政策空間を効果的に減少させる。 我々は、マルコフ確率場から効率的に行動をサンプリングでき、全体的な政策が微分可能であるようなポリシーにおいて、変動推論を特別な微分可能な層として統合する。
  論文  参考訳（メタデータ） (2020-04-19T15:42:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。