論文の概要: ECG-LLM-- training and evaluation of domain-specific large language models for electrocardiography

• arxiv url: http://arxiv.org/abs/2510.18339v1
• Date: Tue, 21 Oct 2025 06:45:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 03:08:13.030908
• Title: ECG-LLM-- training and evaluation of domain-specific large language models for electrocardiography
• Title（参考訳）: ECG-LLM--心電図における領域固有大言語モデルの訓練と評価
• Authors: Lara Ahrens, Wilhelm Haverkamp, Nils Strodthoff,
• Abstract要約: 微調整されたLlama 3.1 70Bは、複数選択評価と自動テキストメトリクスにおいて優れた性能を達成した。 人間の専門家による評価は複雑なクエリに対する Claude 3.7 と RAG のアプローチを好んだ。
• 参考スコア（独自算出の注目度）: 1.6873748786804317
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Domain-adapted open-weight large language models (LLMs) offer promising healthcare applications, from queryable knowledge bases to multimodal assistants, with the crucial advantage of local deployment for privacy preservation. However, optimal adaptation strategies, evaluation methodologies, and performance relative to general-purpose LLMs remain poorly characterized. We investigated these questions in electrocardiography, an important area of cardiovascular medicine, by finetuning open-weight models on domain-specific literature and implementing a multi-layered evaluation framework comparing finetuned models, retrieval-augmented generation (RAG), and Claude Sonnet 3.7 as a representative general-purpose model. Finetuned Llama 3.1 70B achieved superior performance on multiple-choice evaluations and automatic text metrics, ranking second to Claude 3.7 in LLM-as-a-judge assessments. Human expert evaluation favored Claude 3.7 and RAG approaches for complex queries. Finetuned models significantly outperformed their base counterparts across nearly all evaluation modes. Our findings reveal substantial performance heterogeneity across evaluation methodologies, underscoring assessment complexity. Nevertheless, domain-specific adaptation through finetuning and RAG achieves competitive performance with proprietary models, supporting the viability of privacy-preserving, locally deployable clinical solutions.
• Abstract（参考訳）: ドメイン適応型のオープンウェイトな大規模言語モデル(LLM)は、クエリ可能な知識ベースからマルチモーダルアシスタントに至るまで、将来性のあるヘルスケアアプリケーションを提供する。 しかし, 汎用LLMに対する最適適応戦略, 評価手法, 性能は, いまだに不十分である。 心血管医学の重要領域である心電図において、ドメイン固有文献のオープンウェイトモデルを微調整し、微調整モデル、検索強化世代(RAG)、クロード・ソネット3.7を代表的汎用モデルとして比較した多層評価フレームワークを実装することにより、これらの課題を考察した。 LLM-as-a-judgeアセスメントではClaude 3.7の2位にランクインした。 人間の専門家による評価は複雑なクエリに対する Claude 3.7 と RAG のアプローチを好んだ。 微調整されたモデルは、ほぼ全ての評価モードでベースモデルよりも大幅に優れていた。 以上の結果から,評価手法間の性能の相違が明らかとなり,評価の複雑さが強調された。 それでも、微調整とRAGによるドメイン固有の適応はプロプライエタリなモデルと競合し、プライバシ保護とローカルにデプロイ可能な臨床ソリューションの実現性をサポートする。

関連論文リスト

• Beyond Overall Accuracy: A Psychometric Deep Dive into the Topic-Specific Medical Capabilities of 80 Large Language Models [6.362188639024662]
  項目応答理論(IRT)に基づく厳密な評価フレームワークであるtextscMedIRT を紹介する。 80の多種多様な言語モデル (LLMs) から, バランスのとれた1,100のUSMLE準拠のベンチマークで, 新たな回答を期待して収集した。 LLMの潜在モデル能力は質問の難易度や識別と共同で推定し、精度のみよりも安定でニュアンスの高い性能ランキングを得る。
  論文  参考訳（メタデータ） (2025-09-29T02:06:13Z)
• Med-RewardBench: Benchmarking Reward Models and Judges for Medical Multimodal Large Language Models [57.73472878679636]
  Med-RewardBenchは、医療報酬モデルと審査員を評価するために特別に設計された最初のベンチマークである。 Med-RewardBenchは、13の臓器系と8の臨床部門にまたがるマルチモーダルデータセットを特徴としている。 厳格な3段階のプロセスは、6つの臨床的に重要な次元にわたる高品質な評価データを保証する。
  論文  参考訳（メタデータ） (2025-08-29T08:58:39Z)
• Evaluating Vision Language Models (VLMs) for Radiology: A Comprehensive Analysis [4.803310914375717]
  本研究では,3つの視覚言語基盤モデル(RAD-DINO,CheXagent,BiomedCLIP)を,放射線学タスクの微細な画像特徴を捉える能力について評価した。 胸部X線写真上, 気胸, 心肥大に対する分類, セグメンテーション, 回帰作業で評価した。
  論文  参考訳（メタデータ） (2025-04-22T17:20:34Z)
• Benchmarking Open-Source Large Language Models on Healthcare Text Classification Tasks [2.7729041396205014]
  本研究では,オープンソースの5つの大言語モデル(LLM)の分類性能を評価する。 全てのモデルとタスクの組み合わせに対して、95%の信頼区間を有する精度、リコール、F1スコアを報告する。
  論文  参考訳（メタデータ） (2025-03-19T12:51:52Z)
• MedAgentsBench: Benchmarking Thinking Models and Agent Frameworks for Complex Medical Reasoning [34.93995619867384]
  LLM(Large Language Models)は、既存の医学的質問応答ベンチマークで素晴らしいパフォーマンスを示している。 MedAgentsBenchは、多段階の臨床推論、診断の定式化、および治療計画シナリオを必要とする医学的問題に焦点を当てたベンチマークである。
  論文  参考訳（メタデータ） (2025-03-10T15:38:44Z)
• Language Model Preference Evaluation with Multiple Weak Evaluators [78.53743237977677]
  GED(Preference Graph Ensemble and Denoise)は、複数のモデルベースの評価器を活用して嗜好グラフを構築する新しいアプローチである。 特に,本手法は,評価を統一グラフに集約し,デノナイジングプロセスを適用する2つの主要な段階から構成される。 我々は,本枠組みの理論的保証を行い,真理優先構造を回復する上での有効性を示す。
  論文  参考訳（メタデータ） (2024-10-14T01:57:25Z)
• Direct Judgement Preference Optimization [79.54459973726405]
  我々は、他のモデルのアウトプットを評価し、批判するために、生成的判断として大きな言語モデル(LLM)を訓練する。 我々は,異なるユースケースに対する選好ペアの収集に3つのアプローチを採用し,それぞれが異なる視点から生成判断を改善することを目的としている。 提案モデルは,位置や長さの偏りなどの固有バイアスに強く対応し,実践者が指定した評価プロトコルに柔軟に適用し,下流ジェネレータモデルを改善する上で有用な言語フィードバックを提供する。
  論文  参考訳（メタデータ） (2024-09-23T02:08:20Z)
• MR-GSM8K: A Meta-Reasoning Benchmark for Large Language Model Evaluation [60.65820977963331]
  大規模言語モデル(LLM)のための新しい評価パラダイムを導入する。 このパラダイムは、しばしば推論プロセスを無視する結果指向の評価から、より包括的な評価へと重点を移す。 GSM8Kデータセットにこのパラダイムを適用し,MR-GSM8Kベンチマークを開発した。
  論文  参考訳（メタデータ） (2023-12-28T15:49:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。