論文の概要: Experimenting on Markov Decision Processes with Local Treatments

• arxiv url: http://arxiv.org/abs/2407.19618v1
• Date: Mon, 29 Jul 2024 00:41:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-30 15:35:33.601072
• Title: Experimenting on Markov Decision Processes with Local Treatments
• Title（参考訳）: 局所処理によるマルコフ決定過程の実験
• Authors: Shuze Chen, David Simchi-Levi, Chonghuan Wang,
• Abstract要約: 本稿では,マルコフ決定過程 (MDPs) を用いた局所処理実験について検討する。 局所構造を利用して平均処理効果の推論効率を向上させることに注力する。 本稿では, 局所的な処理構造を利用して, 処理方針の影響を受けない状態の情報を共有する分散低減手法を提案する。
• 参考スコア（独自算出の注目度）: 13.182388658918502
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As service systems grow increasingly complex and dynamic, many interventions become localized, available and taking effect only in specific states. This paper investigates experiments with local treatments on a widely-used class of dynamic models, Markov Decision Processes (MDPs). Particularly, we focus on utilizing the local structure to improve the inference efficiency of the average treatment effect. We begin by demonstrating the efficiency of classical inference methods, including model-based estimation and temporal difference learning under a fixed policy, as well as classical A/B testing with general treatments. We then introduce a variance reduction technique that exploits the local treatment structure by sharing information for states unaffected by the treatment policy. Our new estimator effectively overcomes the variance lower bound for general treatments while matching the more stringent lower bound incorporating the local treatment structure. Furthermore, our estimator can optimally achieve a linear reduction with the number of test arms for a major part of the variance. Finally, we explore scenarios with perfect knowledge of the control arm and design estimators that further improve inference efficiency.
• Abstract（参考訳）: サービスシステムがますます複雑でダイナミックになるにつれて、多くの介入が局所化され、利用可能になり、特定の状態に限られる。 本稿では,マルコフ決定過程 (MDP) を用いた局所処理実験について検討する。 特に,局所構造を利用して平均処理効果の推論効率を向上させることに焦点を当てた。 まず、モデルに基づく推定や時間差分学習などの古典的推論手法の効率性や、一般的な治療による古典的A/Bテストの実施から始める。 次に, 処理方針の影響を受けない状態の情報を共有することで, 局所的な処理構造を利用した分散低減手法を提案する。 我々の新しい推定器は局所的な処理構造を組み込んだより厳密な下界をマッチングしながら、一般的な処理に対する分散下界を効果的に克服する。 さらに, 推定器は, 分散の大きな部分に対して, 試験アーム数の線形化を最適に行うことができる。 最後に、制御アームの完全な知識と推論効率をさらに向上させる設計推定器を用いてシナリオを探索する。

関連論文リスト

• Reduced-Rank Multi-objective Policy Learning and Optimization [57.978477569678844]
  実際には、因果研究者は先験を念頭において1つの結果を持っていない。 政府支援の社会福祉プログラムでは、政策立案者は貧困の多次元的性質を理解するために多くの成果を集めている。 本稿では、最適政策学習の文脈において、複数の結果に対するデータ駆動型次元性推論手法を提案する。
  論文  参考訳（メタデータ） (2024-04-29T08:16:30Z)
• Longitudinal Targeted Minimum Loss-based Estimation with Temporal-Difference Heterogeneous Transformer [7.451436112917229]
  縦断的問題設定における動的処理ポリシーの下で, 結果の反実的平均を推定する新しい手法を提案する。 本手法では,時間差学習を用いて学習した異種型埋め込みを用いたトランスフォーマーアーキテクチャを用いる。 また, 統計的理論に基づく95%信頼区間の設定を可能とし, 統計的推測を容易にする。
  論文  参考訳（メタデータ） (2024-04-05T20:56:15Z)
• Stage-Aware Learning for Dynamic Treatments [3.6923632650826486]
  動的治療体制のための新しい個別化学習法を提案する。 観測軌道が最適処理と完全に一致しなければならないという制約を緩和することにより,本手法はIPWE法における試料効率と安定性を大幅に改善する。
  論文  参考訳（メタデータ） (2023-10-30T06:35:31Z)
• Choosing a Proxy Metric from Past Experiments [54.338884612982405]
  多くのランダム化実験では、長期的な計量の処理効果は測定が困難または不可能であることが多い。 一般的な方法は、いくつかの短期的プロキシメトリクスを計測して、長期的メトリックを綿密に追跡することである。 ランダム化実験の同種集団において最適なプロキシメトリックを定義し構築するための新しい統計フレームワークを導入する。
  論文  参考訳（メタデータ） (2023-09-14T17:43:02Z)
• Improved Policy Evaluation for Randomized Trials of Algorithmic Resource Allocation [54.72195809248172]
  提案する新しい概念を応用した新しい推定器を提案する。 我々は,このような推定器が,サンプル手段に基づく一般的な推定器よりも精度が高いことを理論的に証明した。
  論文  参考訳（メタデータ） (2023-02-06T05:17:22Z)
• TCFimt: Temporal Counterfactual Forecasting from Individual Multiple Treatment Perspective [50.675845725806724]
  個別多面的治療の観点からの時間的対実予測の包括的枠組み(TCFimt)を提案する。 TCFimtは、選択と時間変化バイアスを軽減するためにSeq2seqフレームワークの逆タスクを構築し、比較学習ベースのブロックを設計し、混合処理効果を分離した主治療効果と因果相互作用に分解する。 提案手法は, 特定の治療法による今後の結果予測と, 最先端手法よりも最適な治療タイプとタイミングを選択する上で, 良好な性能を示す。
  論文  参考訳（メタデータ） (2022-12-17T15:01:05Z)
• A Reinforcement Learning Approach to Estimating Long-term Treatment Effects [13.371851720834918]
  ランダム化実験による制限は、長期効果を測定するために容易に拡張できないことである。 マルコフ過程における平均報酬を推定する強化学習(RL)アプローチを採用する。 観測された状態遷移が非定常である実世界のシナリオに動機付けられ、非定常問題のクラスのための新しいアルゴリズムを開発する。
  論文  参考訳（メタデータ） (2022-10-14T05:33:19Z)
• SurvITE: Learning Heterogeneous Treatment Effects from Time-to-Event Data [83.50281440043241]
  時系列データから不均一な処理効果を推定する問題について検討する。 本稿では,バランス表現に基づく治療特異的ハザード推定のための新しいディープラーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-10-26T20:13:17Z)
• Stochastic Intervention for Causal Inference via Reinforcement Learning [7.015556609676951]
  因果推論の中心は介入戦略の処理効果推定である。 既存の方法はほとんどが決定論的治療に限られており、異なる治療下での結果を比較する。 介入に対する治療効果を推定するための新しい効果的な枠組みを提案する。
  論文  参考訳（メタデータ） (2021-05-28T00:11:22Z)
• Generalization Bounds and Representation Learning for Estimation of Potential Outcomes and Causal Effects [61.03579766573421]
  代替薬に対する患者一人の反応など,個人レベルの因果効果の推定について検討した。 我々は,表現の誘導的処理群距離を正規化することにより,境界を最小化する表現学習アルゴリズムを考案した。 これらのアルゴリズムを拡張して、重み付き表現を同時に学習し、治療群距離をさらに削減する。
  論文  参考訳（メタデータ） (2020-01-21T10:16:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。