論文の概要: Reinforcement Learning In Partially Verifiable Environments for Colon Cancer Treatment Planning

• arxiv url: http://arxiv.org/abs/2610.17426v1
• Date: Mon, 12 Oct 2026 21:39:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.460339
• Title: Reinforcement Learning In Partially Verifiable Environments for Colon Cancer Treatment Planning
• Title（参考訳）: 大腸癌治療計画のための部分検証環境における強化学習
• Abstract要約: 本研究は, 腫瘍治療計画を, 部分観察可能性下でのインタラクティブな臨床強化学習問題として定式化する。 実地臨床記録で観察された意思決定プロセスから患者固有のプロセス認識報酬を構築する。 以上の結果から,患者固有の部分的に検証可能な報酬は,インタラクティブな臨床RLの学習に有効であることが示唆された。
• 参考スコア（独自算出の注目度）: 6.553805989055312
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Clinical decision-making is a sequential process of information collection, clinical inference, and forecasting under partial observability, often without a uniquely correct treatment decision. Large language models (LLMs) have demonstrated strong medical question-answering capabilities but extending these advances to clinical reasoning remains challenging because many clinical tasks are only partially verifiable. Recent clinical reinforcement learning (RL) work has therefore largely focused on diagnostic endpoints, where correctness can be more directly verified. Oncology treatment decision making is a particularly challenging instance of this problem that extends beyond medical question-answering in which multiple decision trajectories can be clinically defensible for the same partially observed patient state. We formulate oncology treatment planning as an interactive RL problem under partial observability and construct patient-specific, process-aware rewards from decision processes observed in real world clinical records. The agent must learn to sequentially acquire information from a structured patient representation before committing to a first-line treatment recommendation, and is evaluated on information gathering, treatment selection, and reasoning alignment. Using GRPO and GDPO to optimize Llama-3.1-8B-Instruct within this environment, RL substantially improves the base policy beyond frontier model capabilities. The GDPO-trained policy increases Mean@3 scalar clinical reward by $79.60\%$ over base Llama and exceeds GPT-5.2 by $18.82\%$ under the same interactive environment, while reducing query count during training. Overall, our results show that patient-specific, partially verifiable rewards can provide an effective learning signal for interactive clinical RL when both the patient state and the underlying clinical decision process are only partially observed.
• Abstract（参考訳）: 臨床意思決定は、情報収集、臨床推測、部分観測可能性に基づく予測のシーケンシャルなプロセスであり、しばしば一意に正しい治療決定をしない。 大規模言語モデル(LLM)は、強力な医学的質問応答能力を示したが、これらの進歩を臨床推論にまで拡張することは、多くの臨床的タスクが部分的には検証できないため、依然として困難である。 近年の臨床強化学習(RL)の成果は診断エンドポイントに大きく焦点が当てられている。 オンコロジー治療の意思決定は、同じ部分的に観察された患者状態に対して、複数の意思決定軌跡を臨床的に保護できる医学的質問応答を超えて、この問題の特に困難な例である。 オンコロジー治療計画を部分観察可能性下での対話的RL問題として定式化し,実世界臨床記録に見る意思決定プロセスから患者固有のプロセス認識報酬を構築する。 エージェントは、第一線治療勧告にコミットする前に、構造化された患者表現から情報を逐次取得することを学び、情報収集、治療選択、推論アライメントに基づいて評価する。 この環境ではGRPOとGDPOを使用してLlama-3.1-8B-Instructを最適化し、RLはフロンティアモデル能力を超えた基本方針を大幅に改善する。 GDPOで訓練された政策は、Mean@3スカラー臨床報酬をベースであるLlamaで79.60 %、GPT-5.2を18.82 %以上増加させ、トレーニング中のクエリ数を減少させる。 以上より,患者固有の,部分的に検証可能な報酬は,患者状態と臨床決定過程の両方が部分的にのみ観察される場合に,対話型臨床RLの効果的な学習信号となることが示唆された。

関連論文リスト

• Teaching LLMs How ICU Physicians Approach Clinical Reasoning Through OMOP-Aligned Retrieval Improves Reasoning Across Clinical Domains [4.268872573319899]
  ICU-REACTは19名の臨床医と共同で開発された推論データセットである。 我々は8B-70Bパラメータと3つのモデルファミリーにまたがるClin-REACTモデルを微調整した。 5つの臨床推論ベンチマークで、Clin-REACTはバックボーンモデルとオープンソース汎用および医療用LLMを一貫して上回った。
  論文  参考訳（メタデータ） (2026-08-23T22:14:04Z)
• ResidencyRL: Reinforcement Learning in Simulated Clinical Environments [53.76751756107077]
  臨床人工知能(AI)エージェントを模擬多ターン臨床で訓練するための強化学習(RL)手法であるResidencyRLを提案する。 ホールドアウト評価では、ResidencyRLエージェントは、対向条件下で診断精度を7.0%向上させる。 盲目の専門医はこれらの利得を検証し、訓練されたエージェントをサイドバイサイド比較の87.6%で好んだ。
  論文  参考訳（メタデータ） (2026-08-07T17:04:41Z)
• CLR-voyance: Reinforcing Open-Ended Reasoning for Inpatient Clinical Decision Support with Outcome-Aware Rubrics [8.371846057855327]
  我々は、部分的に観察可能なマルコフ決定プロセス(POMDP)として、入院患者の推論を再構築するフレームワークであるCLR-voyanceを紹介する。 POMDPは、成功している患者を、ポリシーで見える過去とオラクルのみの未来に分割する。 CLR-voyance-8B は GPT-5 (77.83%) や MedGemma-27B (66.66%) といった最前線の医療推論モデルに先立って CLR-POMDP で84.91% を達成する。
  論文  参考訳（メタデータ） (2026-05-10T14:51:31Z)
• ClinDEF: A Dynamic Evaluation Framework for Large Language Models in Clinical Reasoning [58.01333341218153]
  ClinDEF(ClinDEF)は, LLMにおける臨床推論をシミュレートされた診断対話を用いて評価する動的フレームワークである。 本手法は, 患者を発症し, LLMをベースとした医師と自動患者エージェントとのマルチターンインタラクションを容易にする。 実験により、ClinDEFは最先端のLSMにおいて重要な臨床推論ギャップを効果的に露呈することが示された。
  論文  参考訳（メタデータ） (2025-12-29T12:58:58Z)
• Simulating Viva Voce Examinations to Evaluate Clinical Reasoning in Large Language Models [51.91760712805404]
  大規模言語モデル(LLM)におけるシーケンシャルな臨床推論を評価するためのベンチマークであるVivaBenchを紹介する。 本データセットは,医療訓練における(口頭)検査をシミュレートする対話的シナリオとして構成された1762名の医師による臨床ヴィグネットから構成される。 本分析では,臨床における認知的誤りを反映するいくつかの障害モードを同定した。
  論文  参考訳（メタデータ） (2025-10-11T16:24:35Z)
• Language Agents for Hypothesis-driven Clinical Decision Making with Reinforcement Learning [38.49879425944787]
  本稿では,仮説駆動型不確実性認識言語エージェントLA-CDMを用いて,臨床診断のための意思決定をモデル化することを提案する。 LA-CDMは, 正確な仮説生成, 仮説の不確実性推定, 効率的な意思決定という, 臨床的意思決定の重要な側面を目標とした3つの目標を掲げて, LA-CDMを訓練する。 4つの腹部疾患を対象とする実世界のデータセットMIMIC-CDMについて検討した。
  論文  参考訳（メタデータ） (2025-06-16T13:32:01Z)
• Quantifying the Reasoning Abilities of LLMs on Real-world Clinical Cases [48.87360916431396]
  MedR-Benchは1,453例の構造化患者のベンチマークデータセットで、推論基準を付した注釈付きである。 本稿では,3つの批判的診察勧告,診断決定,治療計画を含む枠組みを提案し,患者のケアジャーニー全体をシミュレートする。 このベンチマークを用いて、DeepSeek-R1、OpenAI-o3-mini、Gemini-2.0-Flash Thinkingなど、最先端の5つのLCMを評価した。
  論文  参考訳（メタデータ） (2025-03-06T18:35:39Z)
• OMG-RL:Offline Model-based Guided Reward Learning for Heparin Treatment [0.4998632546280975]
  オフライン逆RL(IRL)を実行するオフラインモデルに基づくガイド・リワード学習(OMG-RL)を導入する。 我々は,OMG-RLポリシーが学習報酬ネットワークだけでなく,活性化部分トロンボプラスチン時間(aPTT)においても肯定的に強化されていることを示した。 このアプローチはヘパリン服用問題だけでなく、一般のRLベースの薬物服用タスクにも広く利用することができる。
  論文  参考訳（メタデータ） (2024-09-20T07:51:37Z)
• Pruning the Way to Reliable Policies: A Multi-Objective Deep Q-Learning Approach to Critical Care [46.2482873419289]
  我々は、より信頼性の高いクリティカルケアポリシーを得るための深いQ-ラーニングアプローチを導入する。 本手法を,集中治療室のシミュレーション環境と実際の健康記録を用いて,オフライン・オフ・セッティングで評価した。
  論文  参考訳（メタデータ） (2023-06-13T18:02:57Z)
• Optimizing Medical Treatment for Sepsis in Intensive Care: from Reinforcement Learning to Pre-Trial Evaluation [2.908482270923597]
  本研究の目的は, 介入を最適化する強化学習(RL)が, 学習方針の治験に対する規制に適合する経路を遡及的に得る枠組みを確立することである。 我々は,死の主な原因の一つであり,複雑で不透明な患者動態のため治療が困難である集中治療室の感染症に焦点を当てた。
  論文  参考訳（メタデータ） (2020-03-13T20:31:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。