論文の概要: Optimizing Pessimism in Dynamic Treatment Regimes: A Bayesian Learning Approach

• arxiv url: http://arxiv.org/abs/2210.14420v1
• Date: Wed, 26 Oct 2022 02:14:10 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-27 13:18:38.348623
• Title: Optimizing Pessimism in Dynamic Treatment Regimes: A Bayesian Learning Approach
• Title（参考訳）: 動的治療レジームにおけるペシミズムの最適化:ベイズ学習アプローチ
• Authors: Yunzhe Zhou, Zhengling Qi, Chengchun Shi and Lexin Li
• Abstract要約: 本稿では,オフライン環境における最適動的処理系のための,悲観的に基づく新しいベイズ学習法を提案する。 我々は悲観主義の原理をトンプソンサンプリングとベイズ機械学習と統合し、悲観主義の度合いを最適化する。 本研究では,高効率かつスケーラブルな変分推論に基づく計算アルゴリズムを開発した。
• 参考スコア（独自算出の注目度）: 6.7826352751791985
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this article, we propose a novel pessimism-based Bayesian learning method for optimal dynamic treatment regimes in the offline setting. When the coverage condition does not hold, which is common for offline data, the existing solutions would produce sub-optimal policies. The pessimism principle addresses this issue by discouraging recommendation of actions that are less explored conditioning on the state. However, nearly all pessimism-based methods rely on a key hyper-parameter that quantifies the degree of pessimism, and the performance of the methods can be highly sensitive to the choice of this parameter. We propose to integrate the pessimism principle with Thompson sampling and Bayesian machine learning for optimizing the degree of pessimism. We derive a credible set whose boundary uniformly lower bounds the optimal Q-function, and thus does not require additional tuning of the degree of pessimism. We develop a general Bayesian learning method that works with a range of models, from Bayesian linear basis model to Bayesian neural network model. We develop the computational algorithm based on variational inference, which is highly efficient and scalable. We establish the theoretical guarantees of the proposed method, and show empirically that it outperforms the existing state-of-the-art solutions through both simulations and a real data example.
• Abstract（参考訳）: 本稿では,オフライン環境での最適動的処理レジームに対するペシミズムに基づくベイズ学習法を提案する。 オフラインデータに共通するカバレッジ条件が保持されない場合、既存のソリューションは最適なサブポリシーを生成する。 悲観主義の原則は、州における条件付けの少ない行動の推奨を妨げることでこの問題に対処する。 しかし、ほぼ全ての悲観主義に基づく手法は、悲観論の度合いを定量化する鍵のハイパーパラメータに依存しており、このパラメータの選択に非常に敏感である。 我々は,悲観主義の原理をトンプソンサンプリングとベイズ機械学習と統合し,悲観主義の度合いを最適化することを提案する。 最適Q-函数の境界が一様に低く、したがって悲観論の次数の追加的なチューニングを必要としない信頼可能な集合を導出する。 ベイズ線形基底モデルからベイズニューラルネットワークモデルまで,様々なモデルを扱う一般的なベイズ学習法を開発した。 本研究では,高効率かつスケーラブルな変分推論に基づく計算アルゴリズムを開発した。 提案手法の理論的保証を確立し、シミュレーションと実データ例の両方を通して既存の最先端ソリューションよりも優れていることを実証的に示す。

関連論文リスト

• Achieving $\widetilde{\mathcal{O}}(\sqrt{T})$ Regret in Average-Reward POMDPs with Known Observation Models [56.92178753201331]
  平均逆無限水平POMDPを未知の遷移モデルで扱う。 この障壁を克服する斬新でシンプルな推定器を提示する。
  論文  参考訳（メタデータ） (2025-01-30T22:29:41Z)
• Nonmyopic Global Optimisation via Approximate Dynamic Programming [14.389086937116582]
  我々はIDWとRBFに基づくグローバルな最適化に適した新しい非筋力的獲得戦略を導入する。 具体的には、ロールアウトやマルチステップシナリオベースの最適化スキームを含む動的プログラミングベースのパラダイムを開発する。
  論文  参考訳（メタデータ） (2024-12-06T09:25:00Z)
• Hyperparameter Tuning Through Pessimistic Bilevel Optimization [20.353504462492992]
  我々は、計算的に難解な悲観的二段階最適化問題を解くために、緩和に基づく新しい近似法を開発した。 悲観的なソリューションは、トレーニングデータや摂動テストデータに制限がある場合、楽観的な方法よりも優れた予測性能を示しています。
  論文  参考訳（メタデータ） (2024-12-04T19:01:20Z)
• Accelerated zero-order SGD under high-order smoothness and overparameterized regime [79.85163929026146]
  凸最適化問題を解くための新しい勾配のないアルゴリズムを提案する。 このような問題は医学、物理学、機械学習で発生する。 両種類の雑音下で提案アルゴリズムの収束保証を行う。
  論文  参考訳（メタデータ） (2024-11-21T10:26:17Z)
• Making Linear MDPs Practical via Contrastive Representation Learning [101.75885788118131]
  マルコフ決定過程(MDP)における次元性の呪いに、低ランク表現を利用することで対処することが一般的である。 本稿では,効率的な表現学習を可能にしつつ,正規化を自動的に保証する線形MDPの代替的定義について考察する。 いくつかのベンチマークにおいて、既存の最先端モデルベースおよびモデルフリーアルゴリズムよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-07-14T18:18:02Z)
• Pessimistic Q-Learning for Offline Reinforcement Learning: Towards Optimal Sample Complexity [51.476337785345436]
  有限水平マルコフ決定過程の文脈におけるQ-ラーニングの悲観的変種について検討する。 ほぼ最適サンプル複雑性を実現するために,分散再現型悲観的Q-ラーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-02-28T15:39:36Z)
• A Surrogate Objective Framework for Prediction+Optimization with Soft Constraints [29.962390392493507]
  SPO+や直接最適化のような決定に焦点をあてた予測手法が、このギャップを埋めるために提案されている。 本稿では,実世界の線形および半定値負の二次計画問題に対して,解析的に微分可能な主観的フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-11-22T17:09:57Z)
• Bayesian Optimisation for Constrained Problems [0.0]
  本稿では,制約を扱える知恵グラディエント獲得関数の新たな変種を提案する。 我々は、このアルゴリズムを、他の4つの最先端制約されたベイズ最適化アルゴリズムと比較し、その優れた性能を実証する。
  論文  参考訳（メタデータ） (2021-05-27T15:43:09Z)
• On the Optimality of Batch Policy Optimization Algorithms [106.89498352537682]
  バッチポリシー最適化は、環境と対話する前に既存のデータをポリシー構築に活用することを検討する。 信頼調整インデックスアルゴリズムは楽観的,悲観的,中立的いずれであってもミニマックス最適であることを示す。 最適値予測の本来の難易度を考慮した新しい重み付き最小値基準を提案する。
  論文  参考訳（メタデータ） (2021-04-06T05:23:20Z)
• COMBO: Conservative Offline Model-Based Policy Optimization [120.55713363569845]
  ディープニューラルネットワークのような複雑なモデルによる不確実性推定は困難であり、信頼性が低い。 我々は,サポート外状態動作の値関数を正規化するモデルベースオフラインRLアルゴリズムCOMBOを開発した。 従来のオフラインモデルフリーメソッドやモデルベースメソッドと比べて、comboは一貫してパフォーマンスが良いことが分かりました。
  論文  参考訳（メタデータ） (2021-02-16T18:50:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。