論文の概要: A Conservative Q-Learning approach for handling distribution shift in sepsis treatment strategies

• arxiv url: http://arxiv.org/abs/2203.13884v1
• Date: Fri, 25 Mar 2022 19:50:18 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-03 04:43:30.120090
• Title: A Conservative Q-Learning approach for handling distribution shift in sepsis treatment strategies
• Title（参考訳）: 敗血症治療戦略における分布シフトを扱う保守的q-learningアプローチ
• Authors: Pramod Kaushik, Sneha Kummetha, Perusha Moodley, Raju S. Bapi
• Abstract要約: どんな介入が最善かについては合意が得られず、異なる患者が同じ治療に対して非常に異なる反応を示す。 深層強化学習法は、医師の行動を反映した治療戦略のための最適なポリシーを考案するために用いられる。 この方針は、集中治療室の診療医が敗血症患者を治療し、生存率を向上させる上でより良い判断を下すのに役立つ可能性がある。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Sepsis is a leading cause of mortality and its treatment is very expensive. Sepsis treatment is also very challenging because there is no consensus on what interventions work best and different patients respond very differently to the same treatment. Deep Reinforcement Learning methods can be used to come up with optimal policies for treatment strategies mirroring physician actions. In the healthcare scenario, the available data is mostly collected offline with no interaction with the environment, which necessitates the use of offline RL techniques. The Offline RL paradigm suffers from action distribution shifts which in turn negatively affects learning an optimal policy for the treatment. In this work, a Conservative-Q Learning (CQL) algorithm is used to mitigate this shift and its corresponding policy reaches closer to the physicians policy than conventional deep Q Learning. The policy learned could help clinicians in Intensive Care Units to make better decisions while treating septic patients and improve survival rate.
• Abstract（参考訳）: セプシスは死亡の主な原因であり、その治療は非常に高価である。 セプシス治療は、介入が何が最善かについてのコンセンサスがなく、異なる患者が同じ治療に対して非常に異なる反応を示すため、非常に難しい。 深層強化学習法は、医師の行動を反映した治療戦略の最適方針を導き出すのに使うことができる。 医療シナリオでは、利用可能なデータは大部分がオフラインで収集され、オフラインのRL技術を使用する必要がなくなる。 オフラインRLパラダイムは、アクション分散シフトに悩まされ、結果的に治療に最適なポリシーを学ぶことに悪影響を及ぼす。 本研究では,このシフトを緩和するために,従来の深層q学習よりも,その対応方針を医師の方針に近づける,保守的q学習(cql)アルゴリズムを用いる。 得られた方針は、集中治療室の臨床医が敗血症患者を治療し、生存率を向上させるのに役立つ。

関連論文リスト

• OMG-RL:Offline Model-based Guided Reward Learning for Heparin Treatment [0.4998632546280975]
  本研究は,臨床医の意図を反映した報酬関数の開発に焦点をあてる。 限られたデータから専門家の意図を含むパラメータ化された報酬関数を学習する。 このアプローチはヘパリン服薬問題だけでなく、一般のRLベースの薬物服薬タスクにも広く利用することができる。
  論文  参考訳（メタデータ） (2024-09-20T07:51:37Z)
• Learning Optimal Deterministic Policies with Stochastic Policy Gradients [62.81324245896716]
  政策勾配法(PG法)は連続強化学習(RL法)問題に対処する手法として成功している。 一般的には、収束(ハイパー)政治は、決定論的バージョンをデプロイするためにのみ学習される。 本稿では,サンプルの複雑性とデプロイされた決定論的ポリシのパフォーマンスのトレードオフを最適化するために,学習に使用する探索レベルの調整方法を示す。
  論文  参考訳（メタデータ） (2024-05-03T16:45:15Z)
• Projected Off-Policy Q-Learning (POP-QL) for Stabilizing Offline Reinforcement Learning [57.83919813698673]
  Projected Off-Policy Q-Learning (POP-QL) は、政治外のサンプルを同時に重み付け、分散を防止し、価値近似誤差を減らすためにポリシーを制約する新しいアクタ批判アルゴリズムである。 我々の実験では、POP-QLは標準ベンチマーク上での競合性能を示すだけでなく、データ収集ポリシーがかなり最適化されていないタスクにおいて競合するメソッドよりも優れています。
  論文  参考訳（メタデータ） (2023-11-25T00:30:58Z)
• Safe and Interpretable Estimation of Optimal Treatment Regimes [54.257304443780434]
  我々は、最適な治療体制を特定するための安全かつ解釈可能な枠組みを運用する。 本研究は患者の医療歴と薬理学的特徴に基づくパーソナライズされた治療戦略を支援する。
  論文  参考訳（メタデータ） (2023-10-23T19:59:10Z)
• Pruning the Way to Reliable Policies: A Multi-Objective Deep Q-Learning Approach to Critical Care [46.2482873419289]
  我々は、より信頼性の高いクリティカルケアポリシーを得るための深いQ-ラーニングアプローチを導入する。 本手法を,集中治療室のシミュレーション環境と実際の健康記録を用いて,オフライン・オフ・セッティングで評価した。
  論文  参考訳（メタデータ） (2023-06-13T18:02:57Z)
• Deep Offline Reinforcement Learning for Real-world Treatment Optimization Applications [3.770564448216192]
  オフラインRLトレーニングにおける動作不均衡に対処するための,実践的かつ理論的に基礎的な遷移サンプリング手法を提案する。 糖尿病と敗血症治療最適化のための2つの現実的課題について広範な実験を行った。 本提案手法は, 様々な原則および臨床関連指標を用いて, 期待される健康影響を大幅に改善できることを示す。
  論文  参考訳（メタデータ） (2023-02-15T09:30:57Z)
• Learning Optimal Treatment Strategies for Sepsis Using Offline Reinforcement Learning in Continuous Space [4.031538204818658]
  本稿では,臨床医がリアルタイム治療に最適な基準選択を推奨するのに役立つ,歴史的データに基づく新しい医療決定モデルを提案する。 本モデルでは, オフライン強化学習と深層強化学習を組み合わせることで, 医療における従来の強化学習が環境と相互作用できない問題に対処する。
  論文  参考訳（メタデータ） (2022-06-22T16:17:21Z)
• Optimal discharge of patients from intensive care via a data-driven policy learning framework [58.720142291102135]
  退院課題は、退院期間の短縮と退院決定後の退院や死亡のリスクとの不確実なトレードオフに対処することが重要である。 本研究は、このトレードオフを捉えるためのエンドツーエンドの汎用フレームワークを導入し、最適放電タイミング決定を推奨する。 データ駆動型アプローチは、患者の生理的状態を捉えた同種で離散的な状態空間表現を導出するために用いられる。
  論文  参考訳（メタデータ） (2021-12-17T04:39:33Z)
• Curriculum Offline Imitation Learning [72.1015201041391]
  オフラインの強化学習タスクでは、エージェントは、環境とのさらなるインタラクションなしに、事前にコンパイルされたデータセットから学ぶ必要がある。 我々は,適応的な近隣政策を模倣する経験的選択戦略を,より高いリターンで活用するテキストカリキュラムオフライン学習(COIL)を提案する。 連続制御ベンチマークでは、COILを模倣ベースとRLベースの両方の手法と比較し、混合データセット上で平凡な振る舞いを学ぶことを避けるだけでなく、最先端のオフラインRL手法と競合することを示します。
  論文  参考訳（メタデータ） (2021-11-03T08:02:48Z)
• Offline reinforcement learning with uncertainty for treatment strategies in sepsis [0.0]
  本稿では,データから敗血症治療に最適な推奨事項を抽出する強化学習の新たな応用法を提案する。 提案手法は1つのレコメンデーションではなく,いくつかの治療法を提示できる。 我々は,学習方針を検証し,死亡率と治療水準の相違により,強化学習が積極的な介入に偏っていることを明らかにする。
  論文  参考訳（メタデータ） (2021-07-09T15:29:05Z)
• Optimizing Medical Treatment for Sepsis in Intensive Care: from Reinforcement Learning to Pre-Trial Evaluation [2.908482270923597]
  本研究の目的は, 介入を最適化する強化学習(RL)が, 学習方針の治験に対する規制に適合する経路を遡及的に得る枠組みを確立することである。 我々は,死の主な原因の一つであり,複雑で不透明な患者動態のため治療が困難である集中治療室の感染症に焦点を当てた。
  論文  参考訳（メタデータ） (2020-03-13T20:31:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。