論文の概要: Partially Observable Contextual Bandits with Linear Payoffs

• arxiv url: http://arxiv.org/abs/2409.11521v1
• Date: Tue, 17 Sep 2024 19:47:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-19 19:59:44.515780
• Title: Partially Observable Contextual Bandits with Linear Payoffs
• Title（参考訳）: 線形ペイオフによる部分観測可能なコンテキスト帯域
• Authors: Sihan Zeng, Sujay Bhatt, Alec Koppel, Sumitra Ganesh,
• Abstract要約: 我々は、部分的に観測可能で相関したコンテキストと線形ペイオフを持つ新しい帯域設定を考える。 本稿では,EMKF-Banditというアルゴリズムパイプラインを提案する。
• 参考スコア（独自算出の注目度）: 18.593061465167363
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The standard contextual bandit framework assumes fully observable and actionable contexts. In this work, we consider a new bandit setting with partially observable, correlated contexts and linear payoffs, motivated by the applications in finance where decision making is based on market information that typically displays temporal correlation and is not fully observed. We make the following contributions marrying ideas from statistical signal processing with bandits: (i) We propose an algorithmic pipeline named EMKF-Bandit, which integrates system identification, filtering, and classic contextual bandit algorithms into an iterative method alternating between latent parameter estimation and decision making. (ii) We analyze EMKF-Bandit when we select Thompson sampling as the bandit algorithm and show that it incurs a sub-linear regret under conditions on filtering. (iii) We conduct numerical simulations that demonstrate the benefits and practical applicability of the proposed pipeline.
• Abstract（参考訳）: 標準的なコンテキスト帯域幅フレームワークは、完全に観測可能で実行可能なコンテキストを前提としている。 本研究では,時間的相関を示し,十分に観察されていない市場情報に基づいて意思決定を行う金融のアプリケーションによって動機付けられた,部分的に観測可能な相関コンテキストと線形ペイオフを備えた新たなバンディット設定について考察する。 統計的信号処理のアイデアと包帯との結合に以下の貢献をする。 i)提案するEMKF-Banditというアルゴリズムパイプラインは,システム同定,フィルタリング,古典的文脈帯域幅アルゴリズムを,潜在パラメータ推定と意思決定を交互に行う反復的手法に統合する。 (II)トンプソンサンプリングをバンディットアルゴリズムとして選択した場合にEMKF-Banditを解析し,フィルタ条件下でのサブ線形後悔を生じさせることを示す。 3) 提案したパイプラインの利点と実用性を示す数値シミュレーションを行う。

関連論文リスト

• Feel-Good Thompson Sampling for Contextual Dueling Bandits [49.450050682705026]
  FGTS.CDBという名前のトンプソンサンプリングアルゴリズムを提案する。 われわれのアルゴリズムの核心は、デュエルバンディットに適した新しいFeel-Good探索用語である。 我々のアルゴリズムは最小限の誤差、すなわち $tildemathcalO(dsqrt T)$, $d$ はモデル次元、$T$ は時間水平線である。
  論文  参考訳（メタデータ） (2024-04-09T04:45:18Z)
• Thompson Sampling for Stochastic Bandits with Noisy Contexts: An Information-Theoretic Regret Analysis [4.297070083645049]
  本研究では,エージェントが真コンテキストのノイズや破損したバージョンを観測するコンテキスト線形帯域問題について検討する。 我々の目標は、託宣の「近似可能なアクションポリシー」を設計することである。
  論文  参考訳（メタデータ） (2024-01-21T18:57:38Z)
• Online learning in bandits with predicted context [8.257280652461159]
  エージェントがコンテキストの騒々しいバージョンにしかアクセスできない場合、コンテキスト的帯域幅の問題を考える。 この設定は、意思決定の真のコンテキストが守られない広範囲のアプリケーションによって動機付けられている。 本研究では,この設定において,軽度条件下でのサブ線形後悔保証を用いた最初のオンラインアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-07-26T02:33:54Z)
• $K$-Nearest-Neighbor Resampling for Off-Policy Evaluation in Stochastic Control [0.6906005491572401]
  歴史的データからポリシーの性能を推定するための,新規な$K$-nearest 隣人パラメトリック手法を提案する。 私たちの分析は、ほとんどのアプリケーションで一般的なプラクティスであるように、エピソード全体のサンプリングを可能にします。 他のOPE手法と比較して、我々のアルゴリズムは最適化を必要とせず、木に基づく近接探索と並列化によって効率的に実装することができ、環境のダイナミクスのパラメトリックモデルを明示的に仮定することはない。
  論文  参考訳（メタデータ） (2023-06-07T23:55:12Z)
• Linear Partial Monitoring for Sequential Decision-Making: Algorithms, Regret Bounds and Applications [70.67112733968654]
  部分的なモニタリングは、シーケンシャルな意思決定のための表現力のあるフレームワークである。 本稿では,部分的モニタリングをシンプルかつ統一的に分析し,そのモデルをさらに文脈的かつカーネル化された設定に拡張する。
  論文  参考訳（メタデータ） (2023-02-07T18:58:25Z)
• Contextual bandits with concave rewards, and an application to fair ranking [108.48223948875685]
  CBCR (Contextual Bandits with Concave Rewards) に対する反省点のある最初のアルゴリズムを提案する。 我々は,スカラー・リワード問題に対するCBCRの後悔から,新たな縮小を導出した。 推薦の公正さによって動機づけられたCBCRの特別事例として,ランク付けと公正を意識した目的について述べる。
  論文  参考訳（メタデータ） (2022-10-18T16:11:55Z)
• Analysis of Thompson Sampling for Partially Observable Contextual Multi-Armed Bandits [1.8275108630751844]
  我々は、部分的に観測可能なコンテキスト多重武装バンディットのためのトンプソンサンプリングアルゴリズムを提案する。 提示された政策の後悔は、時間と武器の数に応じて対数的にスケールし、寸法と直線的にスケールすることを示す。
  論文  参考訳（メタデータ） (2021-10-23T08:51:49Z)
• A Unifying Theory of Thompson Sampling for Continuous Risk-Averse Bandits [91.3755431537592]
  本稿では,多腕バンディット問題に対するリスク-逆トンプソンサンプリングアルゴリズムの解析を統一する。 大規模偏差理論における収縮原理を用いることで、連続リスク汎関数に対する新しい濃度境界が証明される。 リスク関数の幅広いクラスと「ニセ」関数が連続性条件を満たすことを示す。
  論文  参考訳（メタデータ） (2021-08-25T17:09:01Z)
• Markov Decision Process modeled with Bandits for Sequential Decision Making in Linear-flow [73.1896399783641]
  会員/加入者の獲得と保持では、複数のページを連続してマーケティングコンテンツを推奨する必要がある。 遷移確率行列をモデル化するためにBandits を用いた MDP としてこの問題を定式化することを提案する。 提案したMDPのBanditsアルゴリズムは,$epsilon$-greedyと$epsilon$-greedy,$epsilon$,IndependentBandits,InteractionBanditsでQ-learningを上回っている。
  論文  参考訳（メタデータ） (2021-07-01T03:54:36Z)
• Output-Weighted Sampling for Multi-Armed Bandits with Extreme Payoffs [11.1546439770774]
  極度のペイオフを伴うバンディット問題におけるオンライン意思決定のための新しいタイプの獲得機能を提示する。 我々は,最も関連性が高いと考えられる盗賊を探索する新しいタイプの上位信頼境界(UCB)取得関数を定式化する。
  論文  参考訳（メタデータ） (2021-02-19T18:36:03Z)
• Risk-Constrained Thompson Sampling for CVaR Bandits [82.47796318548306]
  CVaR(Conditional Value at Risk)として知られる量的ファイナンスにおける一般的なリスク尺度について考察する。 本稿では,トンプソンサンプリングに基づくCVaR-TSアルゴリズムの性能について検討する。
  論文  参考訳（メタデータ） (2020-11-16T15:53:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。