論文の概要: DTR-Bench: An in silico Environment and Benchmark Platform for Reinforcement Learning Based Dynamic Treatment Regime
- arxiv url: http://arxiv.org/abs/2405.18610v1
- Date: Tue, 28 May 2024 21:40:00 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-30 21:33:21.111528
- Title: DTR-Bench: An in silico Environment and Benchmark Platform for Reinforcement Learning Based Dynamic Treatment Regime
- Title（参考訳）: DTR-Bench: 強化学習に基づく動的処理レジームのためのシリコ環境とベンチマークプラットフォーム
- Authors: Zhiyao Luo, Mingcheng Zhu, Fenglin Liu, Jiali Li, Yangchen Pan, Jiandong Zhou, Tingting Zhu,
- Abstract要約: 強化学習(Reinforcement Learning, RL)は、個人化医療における動的治療体制(DTR)を最適化する可能性の認知度を高めている。
多様な医療シナリオをシミュレートするベンチマークプラットフォームであるtextitDTR-Benchを紹介した。
我々はこれらの設定の様々な最先端のRLアルゴリズムを評価し、特に実世界の課題の中でその性能を強調した。
- 参考スコア（独自算出の注目度）: 18.443316087890324
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Reinforcement learning (RL) has garnered increasing recognition for its potential to optimise dynamic treatment regimes (DTRs) in personalised medicine, particularly for drug dosage prescriptions and medication recommendations. However, a significant challenge persists: the absence of a unified framework for simulating diverse healthcare scenarios and a comprehensive analysis to benchmark the effectiveness of RL algorithms within these contexts. To address this gap, we introduce \textit{DTR-Bench}, a benchmarking platform comprising four distinct simulation environments tailored to common DTR applications, including cancer chemotherapy, radiotherapy, glucose management in diabetes, and sepsis treatment. We evaluate various state-of-the-art RL algorithms across these settings, particularly highlighting their performance amidst real-world challenges such as pharmacokinetic/pharmacodynamic (PK/PD) variability, noise, and missing data. Our experiments reveal varying degrees of performance degradation among RL algorithms in the presence of noise and patient variability, with some algorithms failing to converge. Additionally, we observe that using temporal observation representations does not consistently lead to improved performance in DTR settings. Our findings underscore the necessity of developing robust, adaptive RL algorithms capable of effectively managing these complexities to enhance patient-specific healthcare. We have open-sourced our benchmark and code at https://github.com/GilesLuo/DTR-Bench.
- Abstract（参考訳）: 強化学習(Reinforcement Learning, RL)は、個人化医療における動的治療体制(DTR)を最適化する可能性、特に薬物服用処方薬や医薬品の推奨に対して、認知度を高めている。
しかし、様々な医療シナリオをシミュレートするための統一されたフレームワークが存在しないことや、これらのコンテキストにおけるRLアルゴリズムの有効性をベンチマークするための包括的な分析など、大きな課題が続いている。
このギャップに対処するために,がん化学療法,放射線療法,糖尿病のグルコース管理,敗血症治療など,一般的なDTR応用に適した4つのシミュレーション環境からなるベンチマークプラットフォームである「textit{DTR-Bench}」を紹介した。
薬物動態・薬物動態 (PK/PD) の変動, ノイズ, 欠落データなど, 現実の課題の中で, それらの性能を強調し, 様々な現状のRLアルゴリズムの評価を行った。
実験の結果,RLアルゴリズムでは雑音や患者変動の有無によって性能劣化の程度が異なっており,いくつかのアルゴリズムは収束しない。
さらに、時間的観察表現を用いることで、DTR設定の性能が常に向上するわけではないことが観察された。
これらの複雑さを効果的に管理し、患者固有の医療を増強できるロバストで適応的なRLアルゴリズムを開発する必要性が示唆された。
ベンチマークとコードはhttps://github.com/GilesLuo/DTR-Bench.comで公開しています。
関連論文リスト
- Reinforcement Learning in Dynamic Treatment Regimes Needs Critical Reexamination [7.162274565861427]
動的治療体制におけるオフライン強化学習は 前例のない機会と課題が混在している。
不整合性や潜在的に決定的でない評価指標などの懸念を引用して、動的治療体制におけるRLの適用の再評価を論じる。
評価指標の変化やマルコフ決定過程(MDP)の定式化によって,RLアルゴリズムの性能が著しく変化することを示した。
論文 参考訳（メタデータ） (2024-05-28T20:03:18Z) - Adaptive Multi-Agent Deep Reinforcement Learning for Timely Healthcare Interventions [17.405080523382235]
マルチエージェント深部強化学習(DRL)を用いた新しいAI駆動型患者監視フレームワークを提案する。
アプローチでは複数の学習エージェントをデプロイし,心拍数,呼吸量,温度などの生理的特徴をモニタする。
提案する多エージェントDRLフレームワークの性能を,2つのデータセットから実世界の生理・運動データを用いて評価した。
論文 参考訳（メタデータ） (2023-09-20T00:42:08Z) - ArSDM: Colonoscopy Images Synthesis with Adaptive Refinement Semantic
Diffusion Models [69.9178140563928]
大腸内視鏡検査は臨床診断や治療に不可欠である。
注釈付きデータの不足は、既存の手法の有効性と一般化を制限する。
本稿では, 下流作業に有用な大腸内視鏡画像を生成するために, 適応Refinement Semantic Diffusion Model (ArSDM)を提案する。
論文 参考訳（メタデータ） (2023-09-03T07:55:46Z) - Kernel-Based Distributed Q-Learning: A Scalable Reinforcement Learning
Approach for Dynamic Treatment Regimes [37.06048335758881]
本稿では,動的処理系を生成するための分散Q-ラーニングアルゴリズムを提案する。
提案アルゴリズムは従来の線形Q-ラーニングよりも優れており,予測精度と計算コストの両方でよく使用される深層Q-ラーニングよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-02-21T04:15:34Z) - DA-VSR: Domain Adaptable Volumetric Super-Resolution For Medical Images [69.63915773870758]
本稿では,ドメイン不整合ギャップを補うために,DA-VSR(Domain Adaptable Super- resolution)と呼ばれる新しいアルゴリズムを提案する。
DA-VSRは、統合された特徴抽出バックボーンと一連のネットワークヘッドを使用して、異なる平面上での画像品質を改善する。
DA-VSRは、異なる領域の多くのデータセットにおいて、超解像品質を著しく向上することを示した。
論文 参考訳（メタデータ） (2022-10-11T03:16:35Z) - Federated Offline Reinforcement Learning [55.326673977320574]
マルチサイトマルコフ決定プロセスモデルを提案する。
我々は,オフラインRLを対象とした最初のフェデレーション最適化アルゴリズムを設計する。
提案アルゴリズムでは,学習ポリシーの準最適性は,データが分散していないような速度に匹敵する,理論的保証を与える。
論文 参考訳（メタデータ） (2022-06-11T18:03:26Z) - Auto-FedRL: Federated Hyperparameter Optimization for
Multi-institutional Medical Image Segmentation [48.821062916381685]
Federated Learning(FL)は、明示的なデータ共有を避けながら協調的なモデルトレーニングを可能にする分散機械学習技術である。
本稿では,Auto-FedRLと呼ばれる,効率的な強化学習(RL)に基づくフェデレーションハイパーパラメータ最適化アルゴリズムを提案する。
提案手法の有効性は,CIFAR-10データセットと2つの実世界の医用画像セグメンテーションデータセットの不均一なデータ分割に対して検証される。
論文 参考訳（メタデータ） (2022-03-12T04:11:42Z) - Dynamic Mode Decomposition in Adaptive Mesh Refinement and Coarsening
Simulations [58.720142291102135]
動的モード分解(DMD)はコヒーレントなスキームを抽出する強力なデータ駆動方式である。
本稿では,異なるメッシュトポロジと次元の観測からDMDを抽出する戦略を提案する。
論文 参考訳（メタデータ） (2021-04-28T22:14:25Z) - Sample-Efficient Reinforcement Learning via Counterfactual-Based Data
Augmentation [15.451690870640295]
医療などのいくつかのシナリオでは、通常、各患者に利用可能なレコードはごくわずかであり、現在の強化学習アルゴリズムの適用を妨げる。
構造因果モデル(SCM)を利用して状態ダイナミクスをモデル化する,データ効率の高いRLアルゴリズムを提案する。
本研究は, 軽度条件下では反実結果が識別可能であり, 反実に基づく拡張データセット上のq学習が最適値関数に収束することを示す。
論文 参考訳（メタデータ） (2020-12-16T17:21:13Z) - DTR Bandit: Learning to Make Response-Adaptive Decisions With Low Regret [59.81290762273153]
動的治療体制 (DTR) はパーソナライズされ適応された多段階の治療計画であり、治療決定を個人の初期特徴に適応させ、その後の各段階における中間結果と特徴に適応させる。
本稿では,探索と搾取を慎重にバランスさせることで,遷移モデルと報酬モデルが線形である場合に,速度-最適後悔を実現する新しいアルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-05-06T13:03:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。