論文の概要: Experimenting on Markov Decision Processes with Local Treatments
- arxiv url: http://arxiv.org/abs/2407.19618v2
- Date: Fri, 18 Oct 2024 03:19:30 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-08 14:27:29.679619
- Title: Experimenting on Markov Decision Processes with Local Treatments
- Title（参考訳）: 局所処理によるマルコフ決定過程の実験
- Authors: Shuze Chen, David Simchi-Levi, Chonghuan Wang,
- Abstract要約: マルコフ決定過程(MDP)をモデル化した力学系におけるランダム化実験について検討する。
我々のゴールは、比較的短期的な観察による長期累積報酬に対する治療・制御政策の影響を評価することである。
- 参考スコア（独自算出の注目度）: 13.182388658918502
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Utilizing randomized experiments to evaluate the effect of short-term treatments on the short-term outcomes has been well understood and become the golden standard in industrial practice. However, as service systems become increasingly dynamical and personalized, much focus is shifting toward maximizing long-term cumulative outcomes, such as customer lifetime value, through lifetime exposure to interventions. To bridge this gap, we investigate the randomized experiments within dynamical systems modeled as Markov Decision Processes (MDPs). Our goal is to assess the impact of treatment and control policies on long-term cumulative rewards from relatively short-term observations. We first develop optimal inference techniques for assessing the effects of general treatment patterns. Furthermore, recognizing that many real-world treatments tend to be fine-grained and localized for practical efficiency and operational convenience, we then propose methods to harness this localized structure by sharing information on the non-targeted states. Our new estimator effectively overcomes the variance lower bound for general treatments while matching the more stringent lower bound incorporating the local treatment structure. Furthermore, our estimator can optimally achieve a linear reduction with the number of test arms for a major part of the variance. Finally, we explore scenarios with perfect knowledge of the control arm and design estimators that further improve inference efficiency.
- Abstract（参考訳）: 短期的治療が短期成績に与える影響を評価するためにランダム化実験を利用することは、工業的実践における黄金の基準となっている。
しかし、サービスシステムが動的かつパーソナライズされていくにつれて、介入への生涯的露出を通じて、顧客寿命価値などの長期的な累積的な成果の最大化に焦点が移りつつある。
このギャップを埋めるために,マルコフ決定過程(MDP)をモデル化した力学系におけるランダム化実験について検討する。
我々のゴールは、比較的短期的な観察による長期累積報酬に対する治療・制御政策の影響を評価することである。
まず,一般的な治療パターンの効果を評価するための最適推論手法を開発した。
さらに, 実世界の処理の多くは, 実用的効率と運用上の便宜のために微粒化され, 局所化される傾向があることを認識し, 非ターゲット状態の情報を共有することで, この局所化構造を利用する方法を提案する。
我々の新しい推定器は局所的な処理構造を組み込んだより厳密な下界をマッチングしながら、一般的な処理に対する分散下界を効果的に克服する。
さらに, 推定器は, 分散の大きな部分に対して, 試験アーム数の線形化を最適に行うことができる。
最後に、制御アームの完全な知識と推論効率をさらに向上させる設計推定器を用いてシナリオを探索する。
関連論文リスト
- Reduced-Rank Multi-objective Policy Learning and Optimization [57.978477569678844]
実際には、因果研究者は先験を念頭において1つの結果を持っていない。
政府支援の社会福祉プログラムでは、政策立案者は貧困の多次元的性質を理解するために多くの成果を集めている。
本稿では、最適政策学習の文脈において、複数の結果に対するデータ駆動型次元性推論手法を提案する。
論文 参考訳（メタデータ） (2024-04-29T08:16:30Z) - Longitudinal Targeted Minimum Loss-based Estimation with Temporal-Difference Heterogeneous Transformer [7.451436112917229]
縦断的問題設定における動的処理ポリシーの下で, 結果の反実的平均を推定する新しい手法を提案する。
本手法では,時間差学習を用いて学習した異種型埋め込みを用いたトランスフォーマーアーキテクチャを用いる。
また, 統計的理論に基づく95%信頼区間の設定を可能とし, 統計的推測を容易にする。
論文 参考訳（メタデータ） (2024-04-05T20:56:15Z) - Stage-Aware Learning for Dynamic Treatments [3.6923632650826486]
動的治療体制のための新しい個別化学習法を提案する。
観測軌道が最適処理と完全に一致しなければならないという制約を緩和することにより,本手法はIPWE法における試料効率と安定性を大幅に改善する。
論文 参考訳（メタデータ） (2023-10-30T06:35:31Z) - Choosing a Proxy Metric from Past Experiments [54.338884612982405]
多くのランダム化実験では、長期的な計量の処理効果は測定が困難または不可能であることが多い。
一般的な方法は、いくつかの短期的プロキシメトリクスを計測して、長期的メトリックを綿密に追跡することである。
ランダム化実験の同種集団において最適なプロキシメトリックを定義し構築するための新しい統計フレームワークを導入する。
論文 参考訳（メタデータ） (2023-09-14T17:43:02Z) - Improved Policy Evaluation for Randomized Trials of Algorithmic Resource
Allocation [54.72195809248172]
提案する新しい概念を応用した新しい推定器を提案する。
我々は,このような推定器が,サンプル手段に基づく一般的な推定器よりも精度が高いことを理論的に証明した。
論文 参考訳（メタデータ） (2023-02-06T05:17:22Z) - TCFimt: Temporal Counterfactual Forecasting from Individual Multiple
Treatment Perspective [50.675845725806724]
個別多面的治療の観点からの時間的対実予測の包括的枠組み(TCFimt)を提案する。
TCFimtは、選択と時間変化バイアスを軽減するためにSeq2seqフレームワークの逆タスクを構築し、比較学習ベースのブロックを設計し、混合処理効果を分離した主治療効果と因果相互作用に分解する。
提案手法は, 特定の治療法による今後の結果予測と, 最先端手法よりも最適な治療タイプとタイミングを選択する上で, 良好な性能を示す。
論文 参考訳（メタデータ） (2022-12-17T15:01:05Z) - A Reinforcement Learning Approach to Estimating Long-term Treatment
Effects [13.371851720834918]
ランダム化実験による制限は、長期効果を測定するために容易に拡張できないことである。
マルコフ過程における平均報酬を推定する強化学習(RL)アプローチを採用する。
観測された状態遷移が非定常である実世界のシナリオに動機付けられ、非定常問題のクラスのための新しいアルゴリズムを開発する。
論文 参考訳（メタデータ） (2022-10-14T05:33:19Z) - SurvITE: Learning Heterogeneous Treatment Effects from Time-to-Event
Data [83.50281440043241]
時系列データから不均一な処理効果を推定する問題について検討する。
本稿では,バランス表現に基づく治療特異的ハザード推定のための新しいディープラーニング手法を提案する。
論文 参考訳（メタデータ） (2021-10-26T20:13:17Z) - Stochastic Intervention for Causal Inference via Reinforcement Learning [7.015556609676951]
因果推論の中心は介入戦略の処理効果推定である。
既存の方法はほとんどが決定論的治療に限られており、異なる治療下での結果を比較する。
介入に対する治療効果を推定するための新しい効果的な枠組みを提案する。
論文 参考訳（メタデータ） (2021-05-28T00:11:22Z) - Generalization Bounds and Representation Learning for Estimation of
Potential Outcomes and Causal Effects [61.03579766573421]
代替薬に対する患者一人の反応など,個人レベルの因果効果の推定について検討した。
我々は,表現の誘導的処理群距離を正規化することにより,境界を最小化する表現学習アルゴリズムを考案した。
これらのアルゴリズムを拡張して、重み付き表現を同時に学習し、治療群距離をさらに削減する。
論文 参考訳（メタデータ） (2020-01-21T10:16:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。