論文の概要: Systematic Evaluation of the Quality of Synthetic Clinical Notes Rephrased by LLMs at Million-Note Scale

• arxiv url: http://arxiv.org/abs/2605.17775v1
• Date: Mon, 18 May 2026 02:49:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-19 17:57:48.609026
• Title: Systematic Evaluation of the Quality of Synthetic Clinical Notes Rephrased by LLMs at Million-Note Scale
• Title（参考訳）: LLMによる100万音尺度における合成臨床ノートの品質の体系的評価
• Authors: Jinghui Liu, Sarvesh Soni, Anthony Nguyen,
• Abstract要約: 大規模言語モデル(LLM)は、幅広い応用のために臨床テキストを生成または合成することができる。 本研究では,MIMICデータベースからLLM生成した臨床テキストを100万件単位の規模で体系的に評価することを目的とする。
• 参考スコア（独自算出の注目度）: 1.1341973720475316
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) can generate or synthesize clinical text for a wide range of applications, from improving clinical documentation to augmenting clinical text analytics. Yet evaluations typically focus on a narrow aspect -- such as similarity or utility comparisons -- even though these aspects are complementary and best viewed in parallel. In this study, we aim to conduct a systematic evaluation of LLM-generated clinical text, which includes intrinsic, extrinsic, and factuality evaluations of synthetic clinical notes rephrased from MIMIC databases at million-note scale. Our analysis demonstrates that synthetic notes preserve core clinical information and predictive utility for coarse-grained tasks despite substantial linguistic changes, but lose fine-grained details for task like ICD coding. We show this loss of detail can be substantially mitigated by rephrasing notes by chunks rather than by the whole note, but at the cost of reduced factual precision under incomplete context. Through fact-checking and error analysis, we further find that synthesis errors are dominated by misinterpretation of clinical context, alongside temporal confusion, measurement errors, and fabricated claims. Finally, we show that the synthetic notes -- despite their task-agnostic nature -- can effectively augment task-specific training for rare ICD codes.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、臨床ドキュメントの改善から臨床テキスト分析の強化まで、幅広い用途で臨床テキストを生成または合成することができる。 しかし、評価は通常、類似性やユーティリティ比較など、狭い側面にフォーカスする。 本研究の目的は,MIMICデータベースから100万点規模の合成臨床ノートの本質的,外生的,事実的評価を含む,LCM生成臨床テキストの体系的評価を行うことである。 本分析は, 言語的変化が著しいにもかかわらず, 基本臨床情報と粗粒度タスクの予測実用性は保たれるが, ICDコーディングのようなタスクの細粒度の詳細は失われていることを示す。 この詳細の喪失は、全音符ではなくチャンクによる書き起こしによって著しく軽減されるが、不完全な文脈下での事実的精度の低下を犠牲にしている。 ファクトチェックとエラー分析により、合成エラーは、時間的混乱、測定誤差、クレームの作成とともに、臨床的文脈の誤解釈に支配されていることが判明した。 最後に、これらの合成ノートは、タスクに依存しない性質にもかかわらず、希少なICDコードに対するタスク固有のトレーニングを効果的に増強できることを示す。

関連論文リスト

• CT-FineBench: A Diagnostic Fidelity Benchmark for Fine-Grained Evaluation of CT Report Generation [51.11942945171396]
  従来の評価指標は、語彙重なり合いやエンティティマッチングの粗い尺度のみを提供する。 我々はCT-RATEとMerlinのベンチマークであるCT-FineBenchを提案し、CTレポートの微細な事実整合性を評価する。 我々のベンチマークは、綿密な質問回答(QA)ベースのプロセスによって構築されます。
  論文  参考訳（メタデータ） (2026-04-27T03:32:46Z)
• Toward Reliable Clinical Coding with Language Models: Verification and Lightweight Adaptation [3.952186976672079]
  本稿では,高速エンジニアリングや小型微調整を含む軽量な介入により,探索手法の計算オーバーヘッドを伴わずに精度を向上できることを示す。 階層的なニアミスエラーに対処するために,単体タスクとパイプラインコンポーネントの両方に臨床コード検証を導入する。
  論文  参考訳（メタデータ） (2025-10-08T23:50:58Z)
• FactEHR: A Dataset for Evaluating Factuality in Clinical Notes Using LLMs [3.919419934122265]
  FactEHRは,3つの病院システムから4つの病院システムにまたがる2,168件の臨床記録の文書的事実分解からなるNLIデータセットである。 我々は, LLMの細部評価から定性解析まで, 異なる軸上の生成事実を評価する。 その結果、臨床テキストの事実検証を支援するため、LCM機能の改善の必要性が浮き彫りになった。
  論文  参考訳（メタデータ） (2024-12-17T00:07:05Z)
• Synthetic4Health: Generating Annotated Synthetic Clinical Letters [6.822926897514792]
  臨床手紙には機密情報が含まれているため、モデルトレーニング、医学研究、教育には臨床関連データセットが広く適用できない。 本研究は, 信頼性, 各種, 未同定の総合臨床書面を生成することを目的としている。
  論文  参考訳（メタデータ） (2024-09-14T18:15:07Z)
• Attribute Structuring Improves LLM-Based Evaluation of Clinical Text Summaries [56.31117605097345]
  大規模言語モデル(LLM)は、正確な臨床テキスト要約を生成する可能性を示しているが、根拠付けと評価に関する問題に苦慮している。 本稿では、要約評価プロセスを構成するAttribute Structuring(AS)を用いた一般的な緩和フレームワークについて検討する。 ASは、臨床テキスト要約における人間のアノテーションと自動メトリクスの対応性を一貫して改善する。
  論文  参考訳（メタデータ） (2024-03-01T21:59:03Z)
• Self-Verification Improves Few-Shot Clinical Information Extraction [73.6905567014859]
  大規模言語モデル (LLMs) は、数発のテキスト内学習を通じて臨床キュレーションを加速する可能性を示している。 正確性や解釈可能性に関する問題、特に健康のようなミッションクリティカルな領域ではまだ苦戦している。 本稿では,自己検証を用いた汎用的な緩和フレームワークについて検討する。このフレームワークはLLMを利用して,自己抽出のための証明を提供し,その出力をチェックする。
  論文  参考訳（メタデータ） (2023-05-30T22:05:11Z)
• Self-supervised Answer Retrieval on Clinical Notes [68.87777592015402]
  本稿では,ドメイン固有パスマッチングのためのトランスフォーマー言語モデルをトレーニングするためのルールベースのセルフスーパービジョンであるCAPRを紹介する。 目的をトランスフォーマーベースの4つのアーキテクチャ、コンテキスト文書ベクトル、ビ-、ポリエンコーダ、クロスエンコーダに適用する。 本稿では,ドメイン固有パスの検索において,CAPRが強いベースラインを上回り,ルールベースおよび人間ラベル付きパスを効果的に一般化することを示す。
  論文  参考訳（メタデータ） (2021-08-02T10:42:52Z)
• Benchmarking Automated Clinical Language Simplification: Dataset, Algorithm, and Evaluation [48.87254340298189]
  我々はMedLaneという名の新しいデータセットを構築し、自動化された臨床言語簡易化手法の開発と評価を支援する。 我々は,人間のアノテーションの手順に従い,最先端のパフォーマンスを実現するDECLAREと呼ばれる新しいモデルを提案する。
  論文  参考訳（メタデータ） (2020-12-04T06:09:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。