論文の概要: On the Challenges of using Reinforcement Learning in Precision Drug Dosing: Delay and Prolongedness of Action Effects

• arxiv url: http://arxiv.org/abs/2301.00512v1
• Date: Mon, 2 Jan 2023 03:16:59 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-03 15:37:44.185759
• Title: On the Challenges of using Reinforcement Learning in Precision Drug Dosing: Delay and Prolongedness of Action Effects
• Title（参考訳）: 精密薬物投与における強化学習の課題:行動効果の遅延と持続性について
• Authors: Sumana Basu, Marc-Andr\'e Legault, Adriana Romero-Soriano, Doina Precup
• Abstract要約: 薬物投与にRLを使用する2つの大きな課題は、薬物投与の遅延と長期的効果である。 PAE-POMDPをMDPに変換するための簡便で効果的な手法を提案する。 本研究は,おもちゃの課題に対する提案手法と,臨床に着想を得た報酬関数を考案したグルコース制御課題について検証した。
• 参考スコア（独自算出の注目度）: 42.84123628139412
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Drug dosing is an important application of AI, which can be formulated as a Reinforcement Learning (RL) problem. In this paper, we identify two major challenges of using RL for drug dosing: delayed and prolonged effects of administering medications, which break the Markov assumption of the RL framework. We focus on prolongedness and define PAE-POMDP (Prolonged Action Effect-Partially Observable Markov Decision Process), a subclass of POMDPs in which the Markov assumption does not hold specifically due to prolonged effects of actions. Motivated by the pharmacology literature, we propose a simple and effective approach to converting drug dosing PAE-POMDPs into MDPs, enabling the use of the existing RL algorithms to solve such problems. We validate the proposed approach on a toy task, and a challenging glucose control task, for which we devise a clinically-inspired reward function. Our results demonstrate that: (1) the proposed method to restore the Markov assumption leads to significant improvements over a vanilla baseline; (2) the approach is competitive with recurrent policies which may inherently capture the prolonged effect of actions; (3) it is remarkably more time and memory efficient than the recurrent baseline and hence more suitable for real-time dosing control systems; and (4) it exhibits favorable qualitative behavior in our policy analysis.
• Abstract（参考訳）: 薬物投与はAIの重要な応用であり、強化学習(RL)問題として定式化することができる。 本稿では,RLを薬物投与に使用する上での大きな課題として,RLフレームワークのマルコフ仮定を破る薬剤投与の遅れと長期的効果の2つを同定する。 PAE-POMDP(Prolonged Action Effect-Partially Observable Markov Decision Process)は,PAE-POMDP(Prolonged Action Effect-Partially Observable Markov Decision Process)のサブクラスである。 薬理学の文献に動機づけられ,pae-pomdpをmdpに変換するための単純かつ効果的な手法を提案する。 提案手法をトイタスクで検証し,臨床的にインスパイアされた報酬機能を実現するためのグルコース制御課題について検証した。 その結果,(1)マルコフ仮定を復元する手法はバニラベースラインよりも大きな改善をもたらすこと,(2)アプローチは行動の長期的効果を本質的に捉えうる反復ポリシーと競合すること,(3)反復ベースラインよりも時間とメモリ効率が著しく高く,従ってリアルタイム制御システムに適していること,(4)政策分析において良好な質的行動を示すこと,の2つが得られた。

関連論文リスト

• Physical formula enhanced multi-task learning for pharmacokinetics prediction [54.13787789006417]
  AIによる薬物発見の大きな課題は、高品質なデータの不足である。 薬物動態の4つの重要なパラメータを同時に予測するPEMAL法を開発した。 実験の結果,PEMALは一般的なグラフニューラルネットワークに比べてデータ需要を著しく低減することがわかった。
  論文  参考訳（メタデータ） (2024-04-16T07:42:55Z)
• ACE : Off-Policy Actor-Critic with Causality-Aware Entropy Regularization [52.5587113539404]
  因果関係を考慮したエントロピー(entropy)という用語を導入し,効率的な探索を行うための潜在的影響の高いアクションを効果的に識別し,優先順位付けする。 提案アルゴリズムであるACE:Off-policy Actor-critic with Causality-aware Entropy regularizationは,29種類の連続制御タスクに対して,大幅な性能上の優位性を示す。
  論文  参考訳（メタデータ） (2024-02-22T13:22:06Z)
• Modeling Path Importance for Effective Alzheimer's Disease Drug Repurposing [8.153491945775734]
  薬物再資源化のための新しいネットワーク方式 MPI (Modeling Path Importance) を提案する。 MPIは学習ノードの埋め込みを通じて重要なパスを優先し、ネットワークの豊富な構造情報を効果的にキャプチャする。 上位50の薬物のうち、MPIは、基準値よりも20.0%の薬物を抗AD抗体で優先している。
  論文  参考訳（メタデータ） (2023-10-23T17:24:11Z)
• Zero-shot Learning of Drug Response Prediction for Preclinical Drug Screening [38.94493676651818]
  ゼロショット学習ソリューションを提案する。 予防的薬物スクリーニングの課題です 具体的には、MSDAと呼ばれるマルチブランチマルチソースドメイン適応テスト拡張プラグインを提案する。
  論文  参考訳（メタデータ） (2023-10-05T05:55:41Z)
• KGML-xDTD: A Knowledge Graph-based Machine Learning Framework for Drug Treatment Prediction and Mechanism Description [11.64859287146094]
  KGML-xDTD(知識グラフに基づく機械学習フレームワーク)を提案する。 グラフベースの強化学習プロセスにおける中間指導として,知識と公開に基づく情報を活用し,生物学的に意味のある「実証経路」を抽出する。
  論文  参考訳（メタデータ） (2022-11-30T17:05:22Z)
• Graph Regularized Probabilistic Matrix Factorization for Drug-Drug Interactions Prediction [18.659559002642784]
  2つ以上の薬物の同時投与は、有害な薬物反応を引き起こすことがある。 薬物と薬物の相互作用(DDI)の同定は、特に薬物開発や古い薬物の精製に必要である。 本稿では,新しいグラフベース正規化戦略を通じて専門家の知識を取り入れたグラフ正規化確率行列因子化(MF)手法を提案する。
  論文  参考訳（メタデータ） (2022-10-19T12:33:06Z)
• SSM-DTA: Breaking the Barriers of Data Scarcity in Drug-Target Affinity Prediction [127.43571146741984]
  薬物標的親和性(DTA)は、早期の薬物発見において極めて重要である。 湿式実験は依然として最も信頼性の高い方法であるが、時間と資源が集中している。 既存の手法は主に、データ不足の問題に適切に対処することなく、利用可能なDTAデータに基づく技術開発に重点を置いている。 SSM-DTAフレームワークについて述べる。
  論文  参考訳（メタデータ） (2022-06-20T14:53:25Z)
• Deterministic and Discriminative Imitation (D2-Imitation): Revisiting Adversarial Imitation for Sample Efficiency [61.03922379081648]
  本稿では,敵対的トレーニングやmin-max最適化を必要としない非政治的サンプル効率の手法を提案する。 実験の結果, D2-Imitation はサンプル効率の向上に有効であることが示唆された。
  論文  参考訳（メタデータ） (2021-12-11T19:36:19Z)
• Deep Learning for Virtual Screening: Five Reasons to Use ROC Cost Functions [80.12620331438052]
  深層学習は サイリコの何十億もの分子を 迅速にスクリーニングする 重要なツールとなりました その重要性にもかかわらず、厳密なクラス不均衡、高い決定しきい値、いくつかのデータセットにおける基底真理ラベルの欠如など、これらのモデルのトレーニングにおいて重大な課題が続いている。 このような場合、クラス不均衡に対するロバスト性から、レシーバ動作特性(ROC)を直接最適化することを好んで論じる。
  論文  参考訳（メタデータ） (2020-06-25T08:46:37Z)
• Control Frequency Adaptation via Action Persistence in Batch Reinforcement Learning [40.94323379769606]
  本稿では,一定回数の決定ステップに対するアクションの繰り返しを構成する動作持続性の概念を紹介する。 本稿では,FQIを拡張する新しいアルゴリズムであるPersistent Fitted Q-Iteration(PFQI)を提案する。
  論文  参考訳（メタデータ） (2020-02-17T08:38:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。