Fugu-MT 論文翻訳(概要): Medical Causal Hypothesis Verification with Large Language Models

論文の概要: Medical Causal Hypothesis Verification with Large Language Models

arxiv url: http://arxiv.org/abs/2609.00063v1
Date: Sun, 30 Aug 2026 14:37:06 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-02 16:31:35.807146
Title: Medical Causal Hypothesis Verification with Large Language Models
Title（参考訳）: 大規模言語モデルを用いた医療因果仮説の検証
Abstract要約: 検索や情報検索における大規模言語モデル(LLM)の利用の増加は、医療などの高い領域において、その信頼性を評価する必要性を浮き彫りにする。因果的医学的クレーム評価におけるLCMの精度について検討した,小規模の予備的研究を報告する。
参考スコア（独自算出の注目度）: 4.223176941421543
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The growing use of large language models (LLMs) for search and information retrieval underscores the need to evaluate their reliability in high-stakes domains such as healthcare. Although LLMs can effectively answer questions about diseases, symptoms, and treatments, their ability to accurately assess causal relationships and ground their conclusions in verified scientific evidence remains unclear. Here, we present a preliminary, small-scale study that investigates the accuracy of LLMs in evaluating causal medical claims and supporting them with peer-reviewed research. We propose an evaluation framework for causal hypothesis verification that can be used to systematically track the performance of existing and future LLMs. We assess the performance of eight LLMs on 17 medical causal hypotheses to evaluate whether they can reliably verify these hypotheses using scientific evidence from the literature. We systematically annotate the scientific evidence they provide according to six criteria (a total of 1,067 annotation points) and assess them with nine evaluation metrics. Our analysis shows that while LLMs exhibit strong recall, they often perform poorly at providing valid scientific articles and evidence for support and at rejecting unsupported hypotheses. These findings highlight a critical limitation of current LLMs, as they cannot yet be trusted fully to verify causal relationships from the biomedical literature. This work underscores the need for rigorous evaluation before using LLMs for search and retrieval in healthcare settings.
Abstract（参考訳）: 検索や情報検索における大規模言語モデル(LLM)の利用の増加は、医療などの高い領域において、その信頼性を評価する必要性を浮き彫りにする。 LLMは、疾患、症状、治療に関する質問に効果的に答えることができるが、因果関係を正確に評価し、検証された科学的証拠で結論を下す能力は、まだ不明である。そこで本研究では,LLMの因果的医学的クレーム評価における精度と,それらをピアレビュー研究で支援するための,小規模かつ小規模な研究について紹介する。本稿では,既存のLCMと将来のLCMの性能を体系的に追跡できる因果仮説検証のための評価フレームワークを提案する。文献から得られた科学的証拠を用いて, これらの仮説を確実に検証できるかどうかを評価するため, 医療因果仮説の8つのLCMの性能評価を行った。我々は、6つの基準(合計1,067点)に従って、それらが提供する科学的証拠を体系的に注釈付けし、9つの評価基準で評価する。分析の結果,LSMは強いリコールを示す一方で,有効な科学的論文や支援の証拠の提供や,不適切な仮説の拒絶にはあまり役に立たないことが示唆された。これらの知見は,生物医学文献からの因果関係を十分に検証できないため,現在のLSMの限界を浮き彫りにしている。本研究は、医療現場での検索・検索にLLMを使用する前に、厳密な評価の必要性を浮き彫りにする。

関連論文リスト

IV Co-Scientist: Multi-Agent LLM Framework for Causal Instrumental Variable Discovery [61.15184885636171]
内因性変数と結果との相同性の存在下では、インストゥルメンタル変数(IVs)を用いて内因性変数の因果効果を分離する。大規模言語モデル(LLM)がこの課題に有効かどうかを検討する。本稿では,多エージェントシステムであるIV Co-Scientistを紹介する。
論文参考訳（メタデータ） (2026-02-08T12:28:29Z)
LLM-REVal: Can We Trust LLM Reviewers Yet? [70.58742663985652]
大規模言語モデル(LLM)は研究者に、学術的なワークフローに広く組み込むよう刺激を与えている。本研究は、LLMのピアレビューと研究プロセスへの深い統合が学術的公正性にどのように影響するかに焦点を当てる。
論文参考訳（メタデータ） (2025-10-14T10:30:20Z)
Toward Reliable Scientific Hypothesis Generation: Evaluating Truthfulness and Hallucination in Large Language Models [18.850296587858946]
TruthHypoは,真理仮説を生成する上で,大規模言語モデルの能力を評価するためのベンチマークである。 KnowHDは知識に基づく幻覚検出装置で、既存の知識に基づいて仮説がどれだけうまく構築されているかを評価する。
論文参考訳（メタデータ） (2025-05-20T16:49:40Z)
Med-CoDE: Medical Critique based Disagreement Evaluation Framework [72.42301910238861]
医学的文脈における大きな言語モデル(LLM)の信頼性と精度は依然として重要な懸念点である。現在の評価手法はロバスト性に欠けることが多く、LLMの性能を総合的に評価することができない。我々は,これらの課題に対処するために,医療用LCMの特別設計評価フレームワークであるMed-CoDEを提案する。
論文参考訳（メタデータ） (2025-04-21T16:51:11Z)
ResearchBench: Benchmarking LLMs in Scientific Discovery via Inspiration-Based Task Decomposition [67.26124739345332]
大規模言語モデル(LLM)は科学的研究を支援する可能性を示しているが、高品質な研究仮説を発見する能力はいまだ検討されていない。我々は,LLMを科学的発見のサブタスクのほぼ十分セットで評価するための,最初の大規模ベンチマークを紹介する。学術論文から重要コンポーネント(研究質問、背景調査、インスピレーション、仮説)を抽出する自動フレームワークを開発する。
論文参考訳（メタデータ） (2025-03-27T08:09:15Z)
Fact or Guesswork? Evaluating Large Language Models' Medical Knowledge with Structured One-Hop Judgments [108.55277188617035]
大規模言語モデル(LLM)は、様々な下流タスクドメインで広く採用されているが、実際の医学的知識を直接呼び起こし、適用する能力は、まだ探索されていない。標準化された語彙と知識グラフの包括的なリポジトリであるUMLS(Unified Medical Language System)から派生したデータセットであるMKJ(Messical Knowledge Judgment dataset)を紹介する。バイナリ分類フレームワークを通じて、MKJは、簡潔なワンホップ文の妥当性を評価することによって、LCMが基本的な医学的事実を把握できることを評価する。
論文参考訳（メタデータ） (2025-02-20T05:27:51Z)
CliMedBench: A Large-Scale Chinese Benchmark for Evaluating Medical Large Language Models in Clinical Scenarios [50.032101237019205]
CliMedBenchは、14のエキスパートによるコア臨床シナリオを備えた総合的なベンチマークである。このベンチマークの信頼性はいくつかの点で確認されている。
論文参考訳（メタデータ） (2024-10-04T15:15:36Z)
SemioLLM: Evaluating Large Language Models for Diagnostic Reasoning from Unstructured Clinical Narratives in Epilepsy [45.2233252981348]
臨床知識を符号化するための言語モデル(LLM)が示されている。 6つの最先端モデルをベンチマークする評価フレームワークであるSemioLLMを提案する。ほとんどのLSMは、脳内の発作発生領域の確率的予測を正確かつ確実に生成できることを示す。
論文参考訳（メタデータ） (2024-07-03T11:02:12Z)
Don't Ignore Dual Logic Ability of LLMs while Privatizing: A Data-Intensive Analysis in Medical Domain [19.46334739319516]
本研究では, LLMの二重論理能力が, 医療領域の民営化過程における影響について検討した。以上の結果から,LLMに汎用ドメイン二重論理データを組み込むことによって,LLMの二重論理能力が向上するだけでなく,精度も向上することが示唆された。
論文参考訳（メタデータ） (2023-09-08T08:20:46Z)
Medical Misinformation in AI-Assisted Self-Diagnosis: Development of a Method (EvalPrompt) for Analyzing Large Language Models [4.8775268199830935]
本研究は、自己診断ツールとしての大規模言語モデル(LLM)の有効性と、医療情報の拡散における役割を評価することを目的とする。我々は,実世界の自己診断を模倣するオープンエンド質問を用いて,現実的な自己診断を模倣する文のドロップアウトを行い,情報不足を伴う現実的な自己診断を模倣する。その結果, LLMの応答が不明確で不正確な場合が多いため, LLMの質素な機能を強調した。
論文参考訳（メタデータ） (2023-07-10T21:28:26Z)
Appraising the Potential Uses and Harms of LLMs for Medical Systematic Reviews [21.546144601311187]
大規模言語モデル(LLM)は、必要に応じて文献レビューを自動的に生成する可能性がある。 LLMは幻覚や省略によって不正確な(そして潜在的に誤解を招く)テキストを生成することがある。
論文参考訳（メタデータ） (2023-05-19T17:09:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。