論文の概要: Metric Hub: A metric library and practical selection workflow for use-case-driven data quality assessment in medical AI
- arxiv url: http://arxiv.org/abs/2601.22702v1
- Date: Fri, 30 Jan 2026 08:22:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-02 18:28:15.32056
- Title: Metric Hub: A metric library and practical selection workflow for use-case-driven data quality assessment in medical AI
- Title（参考訳）: Metric Hub: 医療用AIにおけるユースケース駆動型データ品質評価のためのメトリックライブラリと実践的選択ワークフロー
- Authors: Katinka Becker, Maximilian P. Oppelt, Tobias S. Zech, Martin Seyferth, Sandie Cabon, Vanja Miskovic, Ivan Cimrak, Michal Kozubek, Giuseppe D'Avenio, Ilaria Campioni, Jana Fehr, Kanjar De, Ismail Mahmoudi, Emilio Dolgener Cantu, Laurenz Ottmann, Andreas Klaß, Galaad Altares, Jackie Ma, Alireza Salehi M., Nadine R. Lang-Richter, Tobias Schaeffter, Daniel Schwabe,
- Abstract要約: データ品質の次元を実際に測定するためのデータ品質指標のコレクションを導入します。
提案手法がPTB-XL ECGデータセットに与える影響を例に示す。
- 参考スコア（独自算出の注目度）: 1.9346781842015641
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Machine learning (ML) in medicine has transitioned from research to concrete applications aimed at supporting several medical purposes like therapy selection, monitoring and treatment. Acceptance and effective adoption by clinicians and patients, as well as regulatory approval, require evidence of trustworthiness. A major factor for the development of trustworthy AI is the quantification of data quality for AI model training and testing. We have recently proposed the METRIC-framework for systematically evaluating the suitability (fit-for-purpose) of data for medical ML for a given task. Here, we operationalize this theoretical framework by introducing a collection of data quality metrics - the metric library - for practically measuring data quality dimensions. For each metric, we provide a metric card with the most important information, including definition, applicability, examples, pitfalls and recommendations, to support the understanding and implementation of these metrics. Furthermore, we discuss strategies and provide decision trees for choosing an appropriate set of data quality metrics from the metric library given specific use cases. We demonstrate the impact of our approach exemplarily on the PTB-XL ECG-dataset. This is a first step to enable fit-for-purpose evaluation of training and test data in practice as the base for establishing trustworthy AI in medicine.
- Abstract（参考訳）: 医学における機械学習(ML)は、治療の選択、モニタリング、治療など、いくつかの医療目的をサポートするための研究から具体的な応用へと移行してきた。
臨床医や患者による受容と効果的な採用、および規制の承認は、信頼性の証拠を必要とする。
信頼できるAIを開発する上での大きな要因は、AIモデルのトレーニングとテストのためのデータ品質の定量化である。
我々は最近,特定のタスクに対する医療MLのデータ適合性(目的に適した)を体系的に評価するためのMETRICフレームワークを提案している。
ここでは、データ品質の次元を実際に測定するためのデータ品質指標(メトリックライブラリ)のコレクションを導入することで、この理論的枠組みを運用する。
各メトリクスに対して、これらのメトリクスの理解と実装をサポートするために、定義、適用性、例、落とし穴、レコメンデーションを含む最も重要な情報を備えたメトリックカードを提供します。
さらに,特定のユースケースを考慮に入れたメートル法ライブラリから,適切なデータ品質指標を選択するための戦略と決定木を提供する。
提案手法がPTB-XL ECGデータセットに与える影響を例に示す。
これは、医学において信頼できるAIを確立するための基盤として、実際にトレーニングとテストデータの適切な評価を可能にするための最初のステップである。
関連論文リスト
- Medical Reasoning in the Era of LLMs: A Systematic Review of Enhancement Techniques and Applications [59.721265428780946]
医学における大きな言語モデル(LLM)は印象的な能力を実現しているが、体系的で透明で検証可能な推論を行う能力に重大なギャップが残っている。
本稿は、この新興分野に関する最初の体系的なレビューを提供する。
本稿では,学習時間戦略とテスト時間メカニズムに分類した推論強化手法の分類法を提案する。
論文 参考訳（メタデータ） (2025-08-01T14:41:31Z) - Lightweight Clinical Decision Support System using QLoRA-Fine-Tuned LLMs and Retrieval-Augmented Generation [0.0]
本研究では,医療におけるLarge Language Models(LLM)の適用について検討する。
我々は、病院固有のデータと統合された検索型RAG(Retrieval-Augmented Generation)による医療意思決定支援と、量子化低ランク適応(QLoRA)を用いた微調整に焦点を当てる。
我々は、患者のプライバシ、データセキュリティ、厳格な臨床検証の必要性、およびそのようなシステムを現実の医療に組み込むための実践的な課題など、倫理的な配慮に目を向ける。
論文 参考訳（メタデータ） (2025-05-06T10:31:54Z) - MedHallBench: A New Benchmark for Assessing Hallucination in Medical Large Language Models [0.0]
医療大言語モデル(MLLM)は医療応用の可能性を示している。
幻覚に対する寛容性は、患者医療に重大なリスクをもたらす。
本稿では,MLLMにおける幻覚の評価と緩和のためのベンチマークフレームワークであるMedHallBenchを紹介する。
論文 参考訳（メタデータ） (2024-12-25T16:51:29Z) - A Survey of Models for Cognitive Diagnosis: New Developments and Future Directions [66.40362209055023]
本研究の目的は,認知診断の現在のモデルについて,機械学習を用いた新たな展開に注目した調査を行うことである。
モデル構造,パラメータ推定アルゴリズム,モデル評価方法,適用例を比較して,認知診断モデルの最近の傾向を概観する。
論文 参考訳（メタデータ） (2024-07-07T18:02:00Z) - The METRIC-framework for assessing data quality for trustworthy AI in
medicine: a systematic review [0.0]
信頼できるAIの開発は特に医学において重要である。
ディープラーニング(DL)におけるデータ品質(トレーニング/テスト)の重要性に焦点を当てる。
本稿では,医療訓練データのための特化データ品質フレームワークであるMETRICフレームワークを提案する。
論文 参考訳（メタデータ） (2024-02-21T09:15:46Z) - Large Language Models for Biomedical Knowledge Graph Construction:
Information extraction from EMR notes [0.0]
大規模言語モデル(LLM)に基づくエンドツーエンド機械学習ソリューションを提案する。
KG構築プロセスで使用される物質は、疾患、因子、治療、および疾患を経験中に患者と共存する症状である。
提案手法の応用は加齢に伴う黄斑変性に対して実証される。
論文 参考訳（メタデータ） (2023-01-29T15:52:33Z) - Measuring Data [79.89948814583805]
我々は、機械学習データとデータセットの構成を定量的に特徴付けるために、データを測定するタスクを特定する。
データ測定は、比較をサポートする共通の次元に沿って、データの異なる属性を定量化する。
我々は、今後の研究の多くの方法、データ測定の限界、そしてこれらの測定手法を研究・実践に活用する方法について議論した。
論文 参考訳（メタデータ） (2022-12-09T22:10:46Z) - Metrics reloaded: Recommendations for image analysis validation [59.60445111432934]
メトリクスのリロード(Metrics Reloaded)は、メトリクスの問題を意識した選択において研究者を導く包括的なフレームワークである。
このフレームワークは多段階のDelphiプロセスで開発され、問題指紋という新しい概念に基づいている。
問題指紋に基づいて、ユーザは適切なバリデーションメトリクスを選択して適用するプロセスを通じてガイドされる。
論文 参考訳（メタデータ） (2022-06-03T15:56:51Z) - Benchmark datasets driving artificial intelligence development fail to
capture the needs of medical professionals [4.799783526620609]
臨床およびバイオメディカル自然言語処理(NLP)の幅広い領域に関するデータセットとベンチマークのカタログを公開した。
450のNLPデータセットが手動で体系化され、豊富なメタデータで注釈付けされた。
我々の分析は、AIベンチマークの直接臨床関連性は乏しく、臨床医が対応したい仕事のほとんどをカバーできないことを示唆している。
論文 参考訳（メタデータ） (2022-01-18T15:05:28Z) - MedPerf: Open Benchmarking Platform for Medical Artificial Intelligence
using Federated Evaluation [110.31526448744096]
この可能性を解き明かすには、大規模な異種データに対して医療AIモデルの性能を測定する体系的な方法が必要である、と私たちは主張する。
MedPerfは、医療分野で機械学習をベンチマークするためのオープンフレームワークです。
論文 参考訳（メタデータ） (2021-09-29T18:09:41Z) - Privacy-preserving medical image analysis [53.4844489668116]
医用画像におけるプライバシ保護機械学習(PPML)のためのソフトウェアフレームワークであるPriMIAを提案する。
集合型学習モデルの分類性能は,未発見データセットの人間専門家と比較して有意に良好である。
グラデーションベースのモデル反転攻撃に対するフレームワークのセキュリティを実証的に評価する。
論文 参考訳（メタデータ） (2020-12-10T13:56:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。