論文の概要: The METRIC-framework for assessing data quality for trustworthy AI in medicine: a systematic review

• arxiv url: http://arxiv.org/abs/2402.13635v1
• Date: Wed, 21 Feb 2024 09:15:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-22 16:06:12.210917
• Title: The METRIC-framework for assessing data quality for trustworthy AI in medicine: a systematic review
• Title（参考訳）: 医療における信頼できるAIのためのデータ品質評価のためのMETRICフレームワーク
• Authors: Daniel Schwabe, Katinka Becker, Martin Seyferth, Andreas Kla{\ss}, Tobias Sch\"affter
• Abstract要約: 信頼できるAIの開発は特に医学において重要である。 ディープラーニング(DL)におけるデータ品質(トレーニング/テスト)の重要性に焦点を当てる。 本稿では,医療訓練データのための特化データ品質フレームワークであるMETRICフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The adoption of machine learning (ML) and, more specifically, deep learning (DL) applications into all major areas of our lives is underway. The development of trustworthy AI is especially important in medicine due to the large implications for patients' lives. While trustworthiness concerns various aspects including ethical, technical and privacy requirements, we focus on the importance of data quality (training/test) in DL. Since data quality dictates the behaviour of ML products, evaluating data quality will play a key part in the regulatory approval of medical AI products. We perform a systematic review following PRISMA guidelines using the databases PubMed and ACM Digital Library. We identify 2362 studies, out of which 62 records fulfil our eligibility criteria. From this literature, we synthesise the existing knowledge on data quality frameworks and combine it with the perspective of ML applications in medicine. As a result, we propose the METRIC-framework, a specialised data quality framework for medical training data comprising 15 awareness dimensions, along which developers of medical ML applications should investigate a dataset. This knowledge helps to reduce biases as a major source of unfairness, increase robustness, facilitate interpretability and thus lays the foundation for trustworthy AI in medicine. Incorporating such systematic assessment of medical datasets into regulatory approval processes has the potential to accelerate the approval of ML products and builds the basis for new standards.
• Abstract（参考訳）: マシンラーニング(ML)と、より具体的には、ディープラーニング(DL)アプリケーションを私たちの生活のすべての主要領域に適用する作業が進行中です。 信頼できるAIの開発は、患者の生活に大きな影響を与えるため、医学において特に重要である。 信頼性は倫理的、技術的、プライバシー的要件を含む様々な側面に関係していますが、dlにおけるデータ品質(トレーニング/テスト)の重要性に重点を置いています。 データ品質はML製品の振る舞いを規定するので、データ品質の評価は医療AI製品の規制承認において重要な役割を果たす。 データベースPubMed と ACM Digital Library を用いて PRISMA ガイドラインに従って系統的なレビューを行う。 2362の研究では、62のレコードが認定基準を満たしている。 この文献から,データ品質フレームワークに関する既存の知識を合成し,医学におけるML応用の視点と組み合わせる。 その結果,医療用MLアプリケーションの開発者がデータセットを調査すべき15の認知次元からなる医療用トレーニングデータのための特化データ品質フレームワークであるMETRICフレームワークを提案する。 この知識は偏見を不公平な原因として減らし、堅牢性を高め、解釈可能性を高め、医学における信頼できるAIの基礎を築き上げる。 このような医療データセットの体系的な評価を規制承認プロセスに組み込むことで、ML製品の承認を加速し、新しい標準の基礎を構築する可能性がある。

関連論文リスト

• Comprehensive and Practical Evaluation of Retrieval-Augmented Generation Systems for Medical Question Answering [70.44269982045415]
  Retrieval-augmented Generation (RAG) は,大規模言語モデル (LLM) の性能向上のための有望なアプローチとして登場した。 医療用QAデータセットに様々な補助的要素を提供するMedRGB(MedRGB)を導入する。 実験結果から,検索した文書のノイズや誤情報の処理能力に限界があることが判明した。
  論文  参考訳（メタデータ） (2024-11-14T06:19:18Z)
• AutoMIR: Effective Zero-Shot Medical Information Retrieval without Relevance Labels [19.90354530235266]
  本稿では,自己学習仮説文書埋め込み (SL-HyDE) という新しい手法を導入し,この問題に対処する。 SL-HyDEは、与えられたクエリに基づいて仮説文書を生成するために、大きな言語モデル(LLM)をジェネレータとして利用する。 実世界の医療シナリオを基盤とした総合的な評価フレームワークとして,中国医療情報検索ベンチマーク(CMIRB)を提案する。
  論文  参考訳（メタデータ） (2024-10-26T02:53:20Z)
• Reasoning-Enhanced Healthcare Predictions with Knowledge Graph Community Retrieval [61.70489848327436]
  KAREは、知識グラフ(KG)コミュニティレベルの検索と大規模言語モデル(LLM)推論を統合する新しいフレームワークである。 MIMIC-IIIでは最大10.8～15.0%、MIMIC-IVでは12.6～12.7%である。
  論文  参考訳（メタデータ） (2024-10-06T18:46:28Z)
• GMAI-MMBench: A Comprehensive Multimodal Evaluation Benchmark Towards General Medical AI [67.09501109871351]
  LVLM(Large Vision-Language Model)は、画像、テキスト、生理学的信号などの多様なデータタイプを扱うことができる。 GMAI-MMBenchは、よく分類されたデータ構造と、これまででもっとも包括的な一般医療用AIベンチマークである。 38の医療画像モダリティ、18の臨床関連タスク、18の部門、視覚質問回答(VQA)フォーマットの4つの知覚的粒度からなる284のデータセットで構成されている。
  論文  参考訳（メタデータ） (2024-08-06T17:59:21Z)
• Scorecards for Synthetic Medical Data Evaluation and Reporting [2.8262986891348056]
  医療におけるAI駆動ツールのトレーニングおよびテストにおける合成医療データ(SMD)の利用の増加には、その品質を評価するための体系的なフレームワークが必要である。 本稿では,医療応用のユニークな要件を満たすために設計された評価フレームワークについて概説する。 人工的に生成されたデータセットに付随する総合的なレポートとして機能するスコアカードの概念を導入する。
  論文  参考訳（メタデータ） (2024-06-17T02:11:59Z)
• A Comprehensive Survey on Evaluating Large Language Model Applications in the Medical Industry [2.1717945745027425]
  大規模言語モデル(LLM)は、言語理解と生成の高度な能力で様々な産業に影響を与えている。 この包括的調査は、医療におけるLSMの広範な適用と必要な評価を概説する。 本調査は,臨床環境,医療用テキストデータ処理,研究,教育,公衆衛生への意識といった分野におけるLCM応用の詳細な分析を行うために構成されている。
  論文  参考訳（メタデータ） (2024-04-24T09:55:24Z)
• Large Language Models for Biomedical Knowledge Graph Construction: Information extraction from EMR notes [0.0]
  大規模言語モデル(LLM)に基づくエンドツーエンド機械学習ソリューションを提案する。 KG構築プロセスで使用される物質は、疾患、因子、治療、および疾患を経験中に患者と共存する症状である。 提案手法の応用は加齢に伴う黄斑変性に対して実証される。
  論文  参考訳（メタデータ） (2023-01-29T15:52:33Z)
• Benchmark datasets driving artificial intelligence development fail to capture the needs of medical professionals [4.799783526620609]
  臨床およびバイオメディカル自然言語処理(NLP)の幅広い領域に関するデータセットとベンチマークのカタログを公開した。 450のNLPデータセットが手動で体系化され、豊富なメタデータで注釈付けされた。 我々の分析は、AIベンチマークの直接臨床関連性は乏しく、臨床医が対応したい仕事のほとんどをカバーできないことを示唆している。
  論文  参考訳（メタデータ） (2022-01-18T15:05:28Z)
• MedPerf: Open Benchmarking Platform for Medical Artificial Intelligence using Federated Evaluation [110.31526448744096]
  この可能性を解き明かすには、大規模な異種データに対して医療AIモデルの性能を測定する体系的な方法が必要である、と私たちは主張する。 MedPerfは、医療分野で機械学習をベンチマークするためのオープンフレームワークです。
  論文  参考訳（メタデータ） (2021-09-29T18:09:41Z)
• The Medkit-Learn(ing) Environment: Medical Decision Modelling through Simulation [81.72197368690031]
  医用シーケンシャルな意思決定に特化して設計された新しいベンチマークスイートを提案する。 Medkit-Learn(ing) Environmentは、高忠実度合成医療データに簡単かつ簡単にアクセスできるPythonパッケージである。
  論文  参考訳（メタデータ） (2021-06-08T10:38:09Z)
• Privacy-preserving medical image analysis [53.4844489668116]
  医用画像におけるプライバシ保護機械学習(PPML)のためのソフトウェアフレームワークであるPriMIAを提案する。 集合型学習モデルの分類性能は,未発見データセットの人間専門家と比較して有意に良好である。 グラデーションベースのモデル反転攻撃に対するフレームワークのセキュリティを実証的に評価する。
  論文  参考訳（メタデータ） (2020-12-10T13:56:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。