論文の概要: Provably Efficient Learning in Partially Observable Contextual Bandit
- arxiv url: http://arxiv.org/abs/2308.03572v2
- Date: Mon, 4 Sep 2023 11:41:54 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-07 03:47:24.513051
- Title: Provably Efficient Learning in Partially Observable Contextual Bandit
- Title（参考訳）: 部分観測可能なコンテキスト帯域における確率的学習
- Authors: Xueping Gong and Jiheng Zhang
- Abstract要約: 古典的帯域幅アルゴリズムの改善に因果境界をどのように適用できるかを示す。
本研究は,実世界の応用における文脈的包括的エージェントの性能を高める可能性を秘めている。
- 参考スコア（独自算出の注目度）: 4.910658441596583
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: In this paper, we investigate transfer learning in partially observable
contextual bandits, where agents have limited knowledge from other agents and
partial information about hidden confounders. We first convert the problem to
identifying or partially identifying causal effects between actions and rewards
through optimization problems. To solve these optimization problems, we
discretize the original functional constraints of unknown distributions into
linear constraints, and sample compatible causal models via sequentially
solving linear programmings to obtain causal bounds with the consideration of
estimation error. Our sampling algorithms provide desirable convergence results
for suitable sampling distributions. We then show how causal bounds can be
applied to improving classical bandit algorithms and affect the regrets with
respect to the size of action sets and function spaces. Notably, in the task
with function approximation which allows us to handle general context
distributions, our method improves the order dependence on function space size
compared with previous literatures. We formally prove that our causally
enhanced algorithms outperform classical bandit algorithms and achieve orders
of magnitude faster convergence rates. Finally, we perform simulations that
demonstrate the efficiency of our strategy compared to the current
state-of-the-art methods. This research has the potential to enhance the
performance of contextual bandit agents in real-world applications where data
is scarce and costly to obtain.
- Abstract（参考訳）: 本稿では,エージェントが他のエージェントからの知識や隠れた共同設立者に関する情報を限定した,部分的に観察可能なコンテキストバンディットにおける転送学習について検討する。
まず、最適化問題を通じて、行動と報酬の間の因果効果を識別または部分的に識別する。
これらの最適化問題を解決するために、未知分布の本来の機能的制約を線形制約に分類し、線形プログラミングを逐次解き、推定誤差を考慮した因果境界を求める。
サンプリングアルゴリズムは適切なサンプリング分布に対して望ましい収束結果を与える。
次に,因果境界を古典的なバンディットアルゴリズムの改善に適用し,動作集合や関数空間の大きさに対する後悔に影響を与えることを示す。
特に,一般的な文脈分布を処理可能な関数近似のタスクでは,従来の文献と比較して関数空間サイズの順序依存性が改善される。
因果的に拡張されたアルゴリズムが古典的なバンディットアルゴリズムよりも優れており、収束率が桁違いに速いことを正式に証明する。
最後に,現在の最先端手法と比較して,戦略の効率性を示すシミュレーションを行う。
本研究は,データが少なく,取得に費用がかかる実世界のアプリケーションにおいて,文脈的盗聴エージェントの性能を向上させる可能性がある。
関連論文リスト
- Efficient Differentiable Discovery of Causal Order [14.980926991441342]
Intersortは、変数の因果順序を発見するためのスコアベースの方法である。
我々は、差別化可能なソートとランキング技術を用いてインターソートを再構築する。
我々の研究は、因果順の正規化を微分可能なモデルの訓練に効率的に組み込むための扉を開く。
論文 参考訳（メタデータ） (2024-10-11T13:11:55Z) - Multi-modal Causal Structure Learning and Root Cause Analysis [67.67578590390907]
根本原因局所化のためのマルチモーダル因果構造学習手法であるMulanを提案する。
ログ選択言語モデルを利用してログ表現学習を行い、ログシーケンスを時系列データに変換する。
また、モダリティの信頼性を評価し、最終因果グラフを共同学習するための新しいキーパフォーマンスインジケータ対応アテンション機構も導入する。
論文 参考訳（メタデータ） (2024-02-04T05:50:38Z) - Interactive Graph Convolutional Filtering [79.34979767405979]
インタラクティブ・レコメンダ・システム(IRS)は、パーソナライズされた記事レコメンデーション、ソーシャルメディア、オンライン広告など、さまざまな領域でますます利用されている。
これらの問題は、コールドスタート問題とデータスポーサリティ問題によって悪化する。
既存のMulti-Armed Bandit手法は、慎重に設計された探査戦略にもかかわらず、しばしば初期の段階で満足な結果を提供するのに苦労する。
提案手法は,ユーザとアイテム間の協調フィルタリング性能を向上させるため,協調フィルタリングをグラフモデルに拡張する。
論文 参考訳（メタデータ） (2023-09-04T09:02:31Z) - Learning Prompt-Enhanced Context Features for Weakly-Supervised Video
Anomaly Detection [37.99031842449251]
弱い監督下での映像異常検出は重大な課題を呈する。
本稿では,効率的なコンテキストモデリングとセマンティック識別性の向上に焦点をあてた,弱教師付き異常検出フレームワークを提案する。
提案手法は,特定の異常なサブクラスの検出精度を大幅に向上させ,その実用的価値と有効性を裏付けるものである。
論文 参考訳（メタデータ） (2023-06-26T06:45:16Z) - dugMatting: Decomposed-Uncertainty-Guided Matting [83.71273621169404]
そこで本稿では, 明確に分解された不確かさを探索し, 効率よく効率よく改善する, 分解不確実性誘導型マッチングアルゴリズムを提案する。
提案したマッチングフレームワークは,シンプルで効率的なラベリングを用いて対話領域を決定する必要性を緩和する。
論文 参考訳（メタデータ） (2023-06-02T11:19:50Z) - On data-driven chance constraint learning for mixed-integer optimization
problems [0.0]
本稿では,混合整数線形最適化問題に着目したCCL手法を提案する。
CCLは線形化可能な機械学習モデルを使用して、学習変数の条件量子を推定する。
実践者が使用するオープンアクセスソフトウェアが開発されている。
論文 参考訳（メタデータ） (2022-07-08T11:54:39Z) - Fusion and Orthogonal Projection for Improved Face-Voice Association [15.938463726577128]
顔と声の関連性について検討する。
両モードの相補的手がかりを利用して, リッチなフューズド埋め込みを形成する軽量なプラグアンドプレイ機構を提案する。
論文 参考訳（メタデータ） (2021-12-20T12:33:33Z) - Accurate and Robust Feature Importance Estimation under Distribution
Shifts [49.58991359544005]
PRoFILEは、新しい特徴重要度推定法である。
忠実さと頑健さの両面で、最先端のアプローチよりも大幅に改善されていることを示す。
論文 参考訳（メタデータ） (2020-09-30T05:29:01Z) - Differentiable Causal Discovery from Interventional Data [141.41931444927184]
本稿では、介入データを活用可能なニューラルネットワークに基づく理論的基盤化手法を提案する。
提案手法は,様々な環境下での美術品の状態と良好に比較できることを示す。
論文 参考訳（メタデータ） (2020-07-03T15:19:17Z) - Task-Feature Collaborative Learning with Application to Personalized
Attribute Prediction [166.87111665908333]
本稿では,TFCL(Task-Feature Collaborative Learning)と呼ばれる新しいマルチタスク学習手法を提案する。
具体的には、まず、特徴とタスクの協調的なグループ化を活用するために、不均一なブロック対角構造正規化器を用いたベースモデルを提案する。
実際の拡張として,重なり合う機能と難易度を区別することで,基本モデルを拡張します。
論文 参考訳（メタデータ） (2020-04-29T02:32:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。