論文の概要: REACT-LLM: A Benchmark for Evaluating LLM Integration with Causal Features in Clinical Prognostic Tasks

• arxiv url: http://arxiv.org/abs/2511.07127v2
• Date: Wed, 12 Nov 2025 01:17:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-12 16:10:52.979527
• Title: REACT-LLM: A Benchmark for Evaluating LLM Integration with Causal Features in Clinical Prognostic Tasks
• Title（参考訳）: REACT-LLM : 臨床予後タスクにおけるLCM統合と因果的特徴の評価ベンチマーク
• Authors: Linna Wang, Zhixuan You, Qihui Zhang, Jiunan Wen, Ji Shi, Yimin Chen, Yusen Wang, Fanqi Ding, Ziliang Feng, Li Lu,
• Abstract要約: 大言語モデル(LLM)と因果学習はそれぞれ、臨床意思決定(CDM)に強い可能性を秘めている 現実世界の医療では、結果に因果的影響のある特徴を特定することが、行動可能で信頼できる予測に不可欠である。 本稿では,LEMと因果的特徴の組み合わせが臨床予後を向上するかどうかを評価するためのベンチマークであるREACT-LLMを紹介する。
• 参考スコア（独自算出の注目度）: 13.484012983177168
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) and causal learning each hold strong potential for clinical decision making (CDM). However, their synergy remains poorly understood, largely due to the lack of systematic benchmarks evaluating their integration in clinical risk prediction. In real-world healthcare, identifying features with causal influence on outcomes is crucial for actionable and trustworthy predictions. While recent work highlights LLMs' emerging causal reasoning abilities, there lacks comprehensive benchmarks to assess their causal learning and performance informed by causal features in clinical risk prediction. To address this, we introduce REACT-LLM, a benchmark designed to evaluate whether combining LLMs with causal features can enhance clinical prognostic performance and potentially outperform traditional machine learning (ML) methods. Unlike existing LLM-clinical benchmarks that often focus on a limited set of outcomes, REACT-LLM evaluates 7 clinical outcomes across 2 real-world datasets, comparing 15 prominent LLMs, 6 traditional ML models, and 3 causal discovery (CD) algorithms. Our findings indicate that while LLMs perform reasonably in clinical prognostics, they have not yet outperformed traditional ML models. Integrating causal features derived from CD algorithms into LLMs offers limited performance gains, primarily due to the strict assumptions of many CD methods, which are often violated in complex clinical data. While the direct integration yields limited improvement, our benchmark reveals a more promising synergy.
• Abstract（参考訳）: 大言語モデル(LLM)と因果学習はそれぞれ、臨床意思決定(CDM)に強い可能性を秘めている。 しかし、その相乗効果は、主に臨床リスク予測への統合を評価する体系的なベンチマークが欠如していることから、よく理解されていない。 現実世界の医療では、結果に因果的影響のある特徴を特定することが、行動可能で信頼できる予測に不可欠である。 最近の研究は、LSMの因果推論能力の出現を強調しているが、臨床リスク予測における因果的特徴から得られる因果的学習とパフォーマンスを評価するための包括的なベンチマークは欠如している。 そこで本研究では,LEMと因果的特徴の組み合わせが臨床予後を向上し,従来の機械学習(ML)手法よりも優れているかどうかを評価するためのベンチマークであるREACT-LLMを紹介する。 限られた結果にフォーカスする既存のLCM-clinicalベンチマークとは異なり、REACT-LLMは2つの実世界のデータセットで7つの臨床結果を評価し、15の著名なLSM、6つの伝統的なMLモデル、3つの因果発見(CD)アルゴリズムを比較している。 以上の結果より, LLMは臨床診断において合理的に機能するが, 従来のMLモデルよりは優れていないことが示唆された。 CDアルゴリズムから派生した因果的特徴をLCMに組み込むことは、多くのCDメソッドの厳密な仮定が複雑な臨床データにしばしば違反するため、限られた性能向上をもたらす。 直接統合は限られた改善をもたらすが、我々のベンチマークはより有望な相乗効果を示す。

関連論文リスト

• OncoReason: Structuring Clinical Reasoning in LLMs for Robust and Interpretable Survival Prediction [2.904892426557913]
  大規模言語モデル (LLM) は, バイオメディカルNLPにおいて高い性能を示した。 本稿では,自己回帰型LPMと結果予測のための臨床推論を整合させる,統合型マルチタスク学習フレームワークを提案する。 マルチタスク・クリニカル・モデリングにおける推論・アライメントの重要性について検討した。
  論文  参考訳（メタデータ） (2025-10-20T13:35:12Z)
• Quantifying the Reasoning Abilities of LLMs on Real-world Clinical Cases [48.87360916431396]
  MedR-Benchは1,453例の構造化患者のベンチマークデータセットで、推論基準を付した注釈付きである。 本稿では,3つの批判的診察勧告,診断決定,治療計画を含む枠組みを提案し,患者のケアジャーニー全体をシミュレートする。 このベンチマークを用いて、DeepSeek-R1、OpenAI-o3-mini、Gemini-2.0-Flash Thinkingなど、最先端の5つのLCMを評価した。
  論文  参考訳（メタデータ） (2025-03-06T18:35:39Z)
• Limitations of Large Language Models in Clinical Problem-Solving Arising from Inflexible Reasoning [3.3482359447109866]
  LLM(Large Language Models)は、医療質問応答(QA)ベンチマークにおいて人間レベルの精度を達成した。 オープンエンドの臨床シナリオをナビゲートする際の制限が最近示されている。 医学的抽象化と推論コーパス(M-ARC)について紹介する。 現状のo1モデルやGeminiモデルを含むLSMは,M-ARCの医師と比較して性能が劣ることがわかった。
  論文  参考訳（メタデータ） (2025-02-05T18:14:27Z)
• XAI4LLM. Let Machine Learning Models and LLMs Collaborate for Enhanced In-Context Learning in Healthcare [16.79952669254101]
  本稿では,大規模言語モデルによる構造化された臨床データ処理を実現するための知識誘導型インコンテキスト学習フレームワークを提案する。 このアプローチでは、ドメイン固有の機能グループ化、慎重にバランスのとれた数ショットの例、タスク固有のプロンプト戦略を統合する。
  論文  参考訳（メタデータ） (2024-05-10T06:52:44Z)
• Evaluating Interventional Reasoning Capabilities of Large Language Models [58.52919374786108]
  大規模言語モデル(LLM)は意思決定タスクを自動化するために使用される。 本稿では,LPMが介入に応じてデータ生成プロセスの知識を正確に更新できるかどうかを評価する。 さまざまな因果グラフ(例えば、コンバウンディング、仲介)と変数タイプにまたがるベンチマークを作成します。 これらのベンチマークにより、LLMが事実を記憶したり、他のショートカットを見つけたりすることで、変化を正確に予測する能力を切り離すことができます。
  論文  参考訳（メタデータ） (2024-04-08T14:15:56Z)
• Comprehensive Reassessment of Large-Scale Evaluation Outcomes in LLMs: A Multifaceted Statistical Approach [64.42462708687921]
  評価の結果、スケーリング、トレーニングタイプ、アーキテクチャなどの要因がLLMのパフォーマンスに大きな影響を与えていることが明らかになった。 本研究は, これらのLCMの徹底的な再検討に着手し, 現状評価手法における不整合性に着目した。 これには、ANOVA、Tukey HSDテスト、GAMM、クラスタリング技術などが含まれる。
  論文  参考訳（メタデータ） (2024-03-22T14:47:35Z)
• Beyond Task Performance: Evaluating and Reducing the Flaws of Large Multimodal Models with In-Context Learning [105.77733287326308]
  我々は,3Bから80Bパラメータスケールまでの最近のオープンソースLMMを,幻覚,禁忌,構成性,説明可能性,指示に従う5つの異なる軸で評価した。 トレーニングフリーなインコンテキスト学習(ICL)をソリューションとして検討し、それがこれらの制限に与える影響について検討する。 ICL研究に基づき、ICLをさらに推し進め、Multitask-ICL、Chain-of-Hindsight-ICL、Self-Correcting-ICLといった新しい多モードICL変種を提案する。
  論文  参考訳（メタデータ） (2023-10-01T12:02:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。