論文の概要: Toward Better EHR Reasoning in LLMs: Reinforcement Learning with Expert Attention Guidance

• arxiv url: http://arxiv.org/abs/2508.13579v1
• Date: Tue, 19 Aug 2025 07:24:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-20 15:36:31.829529
• Title: Toward Better EHR Reasoning in LLMs: Reinforcement Learning with Expert Attention Guidance
• Title（参考訳）: LLMにおけるEHR推論の改善に向けて - 専門家意識による強化学習-
• Authors: Yue Fang, Yuxin Guo, Jiaran Gao, Hongxin Ding, Xinke Jiang, Weibin Liao, Yongxin Xu, Yinghao Zhu, Zhibang Yang, Liantao Ma, Junfeng Zhao, Yasha Wang,
• Abstract要約: 電子健康記録(EHR)推論のための大規模言語モデル(LLM)は、正確で一般化可能な臨床予測を可能にするために不可欠である。 EAG-RL は LLM の EHR 推論能力を高めるために設計された新しい2段階学習フレームワークである。 EAG-RLは、まず、専門家誘導モンテカルロ木探索を用いて、高品質で段階的な推論軌道を構築する。
• 参考スコア（独自算出の注目度）: 9.106439376182513
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Improving large language models (LLMs) for electronic health record (EHR) reasoning is essential for enabling accurate and generalizable clinical predictions. While LLMs excel at medical text understanding, they underperform on EHR-based prediction tasks due to challenges in modeling temporally structured, high-dimensional data. Existing approaches often rely on hybrid paradigms, where LLMs serve merely as frozen prior retrievers while downstream deep learning (DL) models handle prediction, failing to improve the LLM's intrinsic reasoning capacity and inheriting the generalization limitations of DL models. To this end, we propose EAG-RL, a novel two-stage training framework designed to intrinsically enhance LLMs' EHR reasoning ability through expert attention guidance, where expert EHR models refer to task-specific DL models trained on EHR data. Concretely, EAG-RL first constructs high-quality, stepwise reasoning trajectories using expert-guided Monte Carlo Tree Search to effectively initialize the LLM's policy. Then, EAG-RL further optimizes the policy via reinforcement learning by aligning the LLM's attention with clinically salient features identified by expert EHR models. Extensive experiments on two real-world EHR datasets show that EAG-RL improves the intrinsic EHR reasoning ability of LLMs by an average of 14.62%, while also enhancing robustness to feature perturbations and generalization to unseen clinical domains. These results demonstrate the practical potential of EAG-RL for real-world deployment in clinical prediction tasks. Our code have been available at https://github.com/devilran6/EAG-RL.
• Abstract（参考訳）: 電子健康記録(EHR)推論のための大規模言語モデル(LLM)の改善は、正確で一般化可能な臨床予測を可能にするために不可欠である。 LLMは医学的テキスト理解において優れているが、時間的に構造化された高次元データモデリングの課題により、EHRベースの予測タスクでは性能が劣る。 既存のアプローチはしばしばハイブリッドパラダイムに依存しており、LLMは単に凍結した事前検索器として機能し、下流のディープラーニング(DL)モデルは予測を処理し、LLMの本質的な推論能力を改善し、DLモデルの一般化制限を継承することができない。 そこで本論文では,専門家の注意喚起を通じてLLMのEHR推論能力を高めるための新たな2段階学習フレームワークであるEAG-RLを提案する。 具体的には、EAG-RLはまず、専門家誘導のモンテカルロ木探索を用いて高品質で段階的な推論軌道を構築し、LLMのポリシーを効果的に初期化する。 次に,ERG-RL は,LEM の注意を専門の EHR モデルで特定された臨床的に健全な特徴と整合させることにより,強化学習による政策の最適化を行う。 2つの実世界の EHR データセットの大規模な実験により、ERG-RL は LLM の固有 EHR 推論能力を平均 14.62% 改善し、また特徴摂動に対する堅牢性を強化し、不明な臨床領域に一般化した。 これらの結果は,臨床予測タスクにおける現実的展開におけるERG-RLの実用可能性を示している。 私たちのコードはhttps://github.com/devilran6/EAG-RLで公開されています。

関連論文リスト

• Agentic Reinforced Policy Optimization [66.96989268893932]
  検証可能な報酬付き大規模強化学習(RLVR)は,大規模言語モデル(LLM)を単一ターン推論タスクに活用する効果を実証している。 現在のRLアルゴリズムは、モデル固有のロングホライゾン推論能力と、マルチターンツールインタラクションにおけるその習熟性のバランスが不十分である。 エージェント強化ポリシー最適化(ARPO: Agentic Reinforced Policy Optimization)は,マルチターンLDMエージェントを学習するためのエージェントRLアルゴリズムである。
  論文  参考訳（メタデータ） (2025-07-26T07:53:11Z)
• Revisiting LLM Reasoning via Information Bottleneck [57.519119962528166]
  大規模言語モデル(LLM)は、最近、検証可能な報酬付き強化学習(RLVR)を通じて推論能力の顕著な進歩を示した。 本稿では,情報ボトルネック(IB)の原理に基づくLLM推論の理論的特徴について述べる。 IB対応推論最適化(IBRO)を提案する。
  論文  参考訳（メタデータ） (2025-07-24T13:14:25Z)
• Hybrid Latent Reasoning via Reinforcement Learning [51.06635386903026]
  大規模言語モデル(LLM)の能力を活用した強化学習(RL)による潜時推論について検討する。 RLをベースとしたハイブリッド潜在推論手法であるハイブリッド推論ポリシー最適化(HRPO)を導入する。 HRPOで訓練されたLLMは解釈可能であり、言語横断パターンや短い完了長といった興味深い挙動を示す。
  論文  参考訳（メタデータ） (2025-05-24T01:26:16Z)
• R1-Searcher: Incentivizing the Search Capability in LLMs via Reinforcement Learning [87.30285670315334]
  textbfR1-Searcherは、大規模言語モデルの検索能力を高めるために設計された、2段階の結果に基づく新しいRLアプローチである。 本フレームワークは, コールドスタート時に, プロセス報酬や蒸留を必要とせず, RLのみに依存している。 提案手法は, クローズドソースGPT-4o-miniと比較して, 従来の強力なRAG法よりも有意に優れていた。
  論文  参考訳（メタデータ） (2025-03-07T17:14:44Z)
• Large Language Models are Powerful Electronic Health Record Encoders [4.520903886487343]
  汎用大規模言語モデル(LLM)は、下流臨床予測タスクの表現にERHデータをエンコードするために用いられる。 LLMをベースとした埋め込みは、特殊EHRファンデーションモデルの性能にマッチしたり、超えたりできることを示す。 検査されたLSMモデルのうちの1つは、疾患発症、入院、死亡予測において優れた性能を達成する。
  論文  参考訳（メタデータ） (2025-02-24T18:30:36Z)
• Reinforcement Learning Enhanced LLMs: A Survey [45.57586245741664]
  我々はRL強化大言語モデル(LLM)に関する最新の知識の体系的なレビューを行う。 具体的には、RLの基礎を詳述し、(2)人気のRL強化LLMを導入し、(3)広く使われている報酬モデルに基づくRL技術であるReinforcement Learning from Human Feedback(RLHF)とReinforcement Learning from AI Feedback(RLAIF)についてレビューする。
  論文  参考訳（メタデータ） (2024-12-05T16:10:42Z)
• Guiding Reinforcement Learning Using Uncertainty-Aware Large Language Models [1.2233495442213964]
  大きな言語モデル(LLMs)は、RLサンプルの非効率を軽減し、人間のトレーナーを置き換える可能性のある代替手段を提供する。 LLMアドバイスの信頼性を高めるためにモンテカルロ・ドロップアウトを用いた校正誘導システムにより,この制限に対処する。 また、動的モデル平均エントロピーに基づく新しいRLポリシー形成手法を開発し、ガイダンスの不確実性に応じてLLMがRLポリシーに与える影響を調整する。
  論文  参考訳（メタデータ） (2024-11-15T22:00:29Z)
• Unveiling and Consulting Core Experts in Retrieval-Augmented MoE-based LLMs [64.9693406713216]
  RAGシステムの有効性に寄与する内部メカニズムは未解明のままである。 実験の結果,複数のコアグループの専門家がRAG関連行動に主に関与していることが判明した。 本稿では,専門家の活性化を通じてRAGの効率性と有効性を高めるためのいくつかの戦略を提案する。
  論文  参考訳（メタデータ） (2024-10-20T16:08:54Z)
• Reinforcement Learning from LLM Feedback to Counteract Goal Misgeneralization [0.0]
  強化学習(RL)における目標誤一般化に対処する手法を提案する。 目標の誤一般化は、エージェントがその能力のアウト・オブ・ディストリビューションを維持しながら、意図したものよりもプロキシを追求する場合に発生する。 本研究では,大規模言語モデルを用いてRLエージェントを効率的に監視する方法を示す。
  論文  参考訳（メタデータ） (2024-01-14T01:09:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。