Fugu-MT 論文翻訳(概要): Faithful by Design: Evaluating and Improving LLM-Generated Clinical Trial Summaries for Multi-Stakeholder Audiences

論文の概要: Faithful by Design: Evaluating and Improving LLM-Generated Clinical Trial Summaries for Multi-Stakeholder Audiences

arxiv url: http://arxiv.org/abs/2607.09932v1
Date: Fri, 10 Jul 2026 19:29:26 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-14 15:40:48.248548
Title: Faithful by Design: Evaluating and Improving LLM-Generated Clinical Trial Summaries for Multi-Stakeholder Audiences
Title（参考訳）: デザインの信条:多人数オーディエンスのためのLCM産生臨床試薬の評価と改善
Abstract要約: 大規模言語モデルは、医療提供者、患者、給与者の臨床試験結果の要約にますます使われているが、その幻覚化傾向は、この高い文脈において重大なリスクをもたらす。本研究は, 利害関係者3名を対象に, LLM生成臨床治験サマリーの忠実度を評価するためのベンチマーク評価フレームワークを提案する。 GPT-4o、Claude Sonnet 4.6、Gemini 2.5 Flashを1,800個の生成したサマリーに対して、クロスエンコーダ自然言語推論(NLI)モデルを用いてベースライン測定を行った。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Large language models are increasingly used to summarize clinical trial results for healthcare providers, patients, and payers, but their tendency to hallucinate poses significant risks in this high-stakes context. This study introduces a benchmark evaluation framework for measuring the faithfulness of LLM-generated clinical trial summaries across three stakeholder audiences. The framework consists of 200 stratified trials drawn from the Aggregate Analysis of ClinicalTrials.gov database, evaluated using audience-specific prompt templates and a six-dimension faithfulness annotation schema. Baseline measurements were established for GPT-4o, Claude Sonnet 4.6, and Gemini 2.5 Flash across 1,800 generated summaries scored using a cross-encoder natural language inference (NLI) model. Unsupported Claims was identified as the dominant failure mode across all three models, with a mean annotation score of 1.55 out of three. A knowledge-graph-augmented retrieval system was developed and evaluated against the baseline, producing statistically significant improvements in NLI-based faithfulness scores (entailment +0.0125, faithfulness +0.0130, p < 0.0001). Improvement pathways were model-dependent, with GPT-4o improving primarily through contradiction reduction while Claude Sonnet 4.6 and Gemini 2.5 Flash improved through increased entailment.
Abstract（参考訳）: 大規模言語モデルは、医療提供者、患者、給与者の臨床試験結果の要約にますます使われているが、その幻覚化傾向は、この高い文脈において重大なリスクをもたらす。本研究は, 利害関係者3名を対象に, LLM生成臨床治験サマリーの忠実度を評価するためのベンチマーク評価フレームワークを提案する。このフレームワークは、Aggregate Analysis of ClinicalTrials.govデータベースから抽出された200の階層化試行から成り、オーディエンス固有のプロンプトテンプレートと6次元忠実アノテーションスキーマを用いて評価される。 GPT-4o、Claude Sonnet 4.6、Gemini 2.5 Flashを1,800個の生成したサマリーに対して、クロスエンコーダ自然言語推論(NLI)モデルを用いてベースライン測定を行った。サポートされていないクレームは、3つのモデルで支配的な障害モードとして認識され、平均アノテーションスコアは3つ中1.55であった。知識グラフ強化検索システムを開発し,NLIに基づく忠実度スコアを統計的に有意に向上させた(エンターメント+0.0125,忠実度+0.0130,p <0.0001)。改良経路はモデルに依存し、GPT-4oは主に矛盾の低減によって改善され、Claude Sonnet 4.6 と Gemini 2.5 Flash は追加で改善された。

関連論文リスト

NovGauge: A Fine-Grained Benchmark for Diagnosing LLMs' Capability in Paper Novelty Assessment [54.4265627247104]
大規模言語モデル(LLM)は、主要なAIカンファレンスでピアレビューでますます使用されている。既存のベンチマークでは、ノベルティを1つの総合的なスコアとして評価している。本報告では,詳細なノベルティアセスメント診断のための人手によるベンチマークであるNovGaugeについて述べる。
論文参考訳（メタデータ） (2026-09-10T08:34:56Z)
Cross-Model Consistency of AI-Generated Exercise Prescriptions: A Repeated Generation Study Across Three Large Language Models [0.0]
GPT-4.1、Gemini 2.5 Flash、Claude Sonnet 4.6は、20回の臨床シナリオで処方薬を作成した。 GPT-4.1 (0.955), Gemini 2.5 Flash (0.950), Claude Sonnet 4.6 (0.903) GPT-4.1は完全にユニークな出力(100%)を安定なセマンティックコンテンツで生成し、Gemini 2.5 Flashは顕著な出力繰り返し(27.5%のユニークな出力)を示した。
論文参考訳（メタデータ） (2026-04-21T15:51:46Z)
EviCare: Enhancing Diagnosis Prediction with Deep Model-Guided Evidence for In-Context Reasoning [62.61394722212386]
EviCareは、大規模言語モデルにディープモデルガイダンスを統合する、コンテキスト内推論フレームワークである。 LLMのみのベースラインと深層モデルのみのベースラインを2つの実世界のEHRベンチマークで連続的に上回っている。
論文参考訳（メタデータ） (2026-04-12T04:35:14Z)
Cerebra: A Multidisciplinary AI Board for Multimodal Dementia Characterization and Risk Assessment [56.62016795093786]
CerebraはインタラクティブなマルチエージェントAIチームで、ERH、臨床ノート、医療画像分析のための特殊エージェントをコーディネートする。構造化された表現を操作することで、プライバシ保護デプロイメントをサポートし、モダリティが不完全であれば、堅牢である。 Cerebraは、有識者のパフォーマンスを著しく改善し、前向き認知症リスク推定において精度を17.5ポイント向上させた。
論文参考訳（メタデータ） (2026-03-23T05:46:45Z)
Surg-R1: A Hierarchical Reasoning Foundation Model for Scalable and Interpretable Surgical Decision Support with Multi-Center Clinical Validation [51.897472694590356]
Surg-R1は4段階のパイプラインで訓練された階層的推論によってギャップに対処する手術的視覚言語モデルである。提案手法では,(1)知覚的根拠,関係理解,文脈的推論に外科的解釈を分解する3段階の推論階層,(2)320,000の推論ペアを持つ最大の外科的チェーン・オブ・シークエンス・データセット,の3つの重要な貢献を紹介する。
論文参考訳（メタデータ） (2026-03-12T20:26:28Z)
Automated Identification of Incidentalomas Requiring Follow-Up: A Multi-Anatomy Evaluation of LLM-Based and Supervised Approaches [5.958100741754613]
インシデントアロマの微細な病変レベル検出のために,大規模言語モデル(LLM)を教師付きベースラインと比較した。そこで我々は,病変タグ付き入力と解剖学的認識を用いた新しい推論手法を導入し,基礎モデル推論を推し進めた。解剖学的インフォームドGPT-OSS-20bモデルが最も高い性能を示し, 奇形腫陽性マクロF1の0.79。
論文参考訳（メタデータ） (2025-12-05T08:49:57Z)
DistillNote: LLM-based clinical note summaries improve heart failure diagnosis [1.9074059825851202]
我々は3つの手法により64,000以上の入場記の要約を生成する。一段階の要約は、臨床医が関連性および臨床作用性に応じて好んでいる。蒸留サマリーは79%のテキスト圧縮、最大18.2%の改善を実現している。
論文参考訳（メタデータ） (2025-06-20T06:45:40Z)
MedHELM: Holistic Evaluation of Large Language Models for Medical Tasks [47.486705282473984]
大規模言語モデル(LLM)は、医学試験においてほぼ完璧なスコアを得る。これらの評価は、実際の臨床実践の複雑さと多様性を不十分に反映している。 MedHELMは,医療業務におけるLCMの性能を評価するための評価フレームワークである。
論文参考訳（メタデータ） (2025-05-26T22:55:49Z)
Can Reasoning LLMs Enhance Clinical Document Classification? [7.026393789313748]
大規模言語モデル(LLM)は、このタスクの正確性と効率性において有望な改善を提供する。本研究では,8つのLDMの性能と一貫性を評価する。4つの推論(Qwen QWQ, Deepseek Reasoner, GPT o3 Mini, Gemini 2.0 Flash Thinking)と4つの非推論(Llama 3.3, GPT 4o Mini, Gemini 2.0 Flash, Deepseek Chat)。その結果、推論モデルは精度71%(68%)とF1スコア(67%(60%))で非推論モデルを上回った。
論文参考訳（メタデータ） (2025-04-10T18:00:27Z)
Quantifying the Reasoning Abilities of LLMs on Real-world Clinical Cases [48.87360916431396]
MedR-Benchは1,453例の構造化患者のベンチマークデータセットで、推論基準を付した注釈付きである。本稿では,3つの批判的診察勧告,診断決定,治療計画を含む枠組みを提案し,患者のケアジャーニー全体をシミュレートする。このベンチマークを用いて、DeepSeek-R1、OpenAI-o3-mini、Gemini-2.0-Flash Thinkingなど、最先端の5つのLCMを評価した。
論文参考訳（メタデータ） (2025-03-06T18:35:39Z)
A Comparative Study of Recent Large Language Models on Generating Hospital Discharge Summaries for Lung Cancer Patients [19.777109737517996]
本研究の目的は,大規模言語モデル(LLM)が手動要約の負担を軽減することにある。本研究は, GPT-3.5, GPT-4, GPT-4o, LLaMA 3 8bを含む複数のLCMの放電サマリー生成性能について検討した。
論文参考訳（メタデータ） (2024-11-06T10:02:50Z)
Automatically measuring speech fluency in people with aphasia: first achievements using read-speech data [55.84746218227712]
本研究の目的は,言語習得の分野で開発された信号処理algorithmの関連性を評価することである。
論文参考訳（メタデータ） (2023-08-09T07:51:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。