論文の概要: Comprehensive Evaluation of Multimodal AI Models in Medical Imaging Diagnosis: From Data Augmentation to Preference-Based Comparison

• arxiv url: http://arxiv.org/abs/2412.05536v1
• Date: Sat, 07 Dec 2024 04:38:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-10 14:59:12.549828
• Title: Comprehensive Evaluation of Multimodal AI Models in Medical Imaging Diagnosis: From Data Augmentation to Preference-Based Comparison
• Title（参考訳）: 医用画像診断におけるマルチモーダルAIモデルの包括的評価:データ拡張から予測に基づく比較まで
• Authors: Cailian Ruan, Chengyue Huang, Yahe Yang,
• Abstract要約: 本研究では,医療画像診断におけるマルチモーダルモデルの評価フレームワークを提案する。 我々は, パイプラインデータ前処理, モデル推論, 嗜好に基づく評価を導入し, コントロール強化により500症例の初期セットを3,000例に拡大した。 その結果、Llama 3.2-90Bは85.27%の症例でヒトの診断を上回った。
• 参考スコア（独自算出の注目度）: 0.5120567378386615
• License:
• Abstract: This study introduces an evaluation framework for multimodal models in medical imaging diagnostics. We developed a pipeline incorporating data preprocessing, model inference, and preference-based evaluation, expanding an initial set of 500 clinical cases to 3,000 through controlled augmentation. Our method combined medical images with clinical observations to generate assessments, using Claude 3.5 Sonnet for independent evaluation against physician-authored diagnoses. The results indicated varying performance across models, with Llama 3.2-90B outperforming human diagnoses in 85.27% of cases. In contrast, specialized vision models like BLIP2 and Llava showed preferences in 41.36% and 46.77% of cases, respectively. This framework highlights the potential of large multimodal models to outperform human diagnostics in certain tasks.
• Abstract（参考訳）: 本研究では,医療画像診断におけるマルチモーダルモデルの評価フレームワークを提案する。 我々は,データ前処理,モデル推論,嗜好に基づく評価を取り入れたパイプラインを開発し,500症例の初期セットをコントロール強化により3,000例に拡大した。 臨床像と臨床像を併用して評価を行い, 医師認可診断に対する独立した評価法として Claude 3.5 Sonnet を用いた。 その結果、Llama 3.2-90Bは85.27%の症例でヒトの診断を上回った。 対照的に、BLIP2やLlavaのような特殊な視覚モデルでは、それぞれ41.36%と46.77%のケースが好まれていた。 このフレームワークは、特定のタスクにおいて人間の診断を上回る大規模なマルチモーダルモデルの可能性を強調している。

関連論文リスト

• SemiHVision: Enhancing Medical Multimodal Models with a Semi-Human Annotated Dataset and Fine-Tuned Instruction Generation [13.672776832197918]
  MLLM(Multimodal large language model)は大きな進歩を遂げているが、専門知識が限られているため、医療分野の課題に直面している。 データ収集やモデル微調整,評価など,エンドツーエンドの学習パイプラインのさまざまな段階において,このギャップに対処することを目指している。
  論文  参考訳（メタデータ） (2024-10-19T02:35:35Z)
• Towards a clinically accessible radiology foundation model: open-access and lightweight, with automated evaluation [113.5002649181103]
  オープンソースの小型マルチモーダルモデル(SMM)を訓練し、放射線学における未測定臨床ニーズに対する能力ギャップを埋める。 トレーニングのために,697万以上の画像テキストペアからなる大規模なデータセットを組み立てる。 評価のために,GPT-4に基づく実測値CheXpromptを提案する。 LlaVA-Radの推論は高速で、単一のV100 GPU上でプライベート設定で実行できる。
  論文  参考訳（メタデータ） (2024-03-12T18:12:02Z)
• A Concept-based Interpretable Model for the Diagnosis of Choroid Neoplasias using Multimodal Data [28.632437578685842]
  我々は成人で最も多い眼がんである脈絡膜新生症(5.1%)に焦点を当てた。 本研究は,3種類の脈絡膜腫瘍を識別する概念に基づく解釈可能なモデルを提案する。 注目すべきは、このモデルがブラックボックスモデルに匹敵するF1スコアの0.91を達成する一方で、ジュニア医師の診断精度を42%向上させることである。
  論文  参考訳（メタデータ） (2024-03-08T07:15:53Z)
• Reconstruction of Patient-Specific Confounders in AI-based Radiologic Image Interpretation using Generative Pretraining [12.656718786788758]
  本稿では,DiffChestと呼ばれる自己条件拡散モデルを提案し,胸部X線画像のデータセット上で訓練する。 DiffChest氏は、患者固有のレベルでの分類を説明し、モデルを誤解させる可能性のある要因を視覚化する。 本研究は,医用画像分類における拡散モデルに基づく事前訓練の可能性を明らかにするものである。
  論文  参考訳（メタデータ） (2023-09-29T10:38:08Z)
• A Transformer-based representation-learning model with unified processing of multimodal input for clinical diagnostics [63.106382317917344]
  本稿では,マルチモーダル入力を統一的に処理する臨床診断支援として,トランスフォーマーを用いた表現学習モデルについて報告する。 統一モデルは, 肺疾患の同定において, 画像のみのモデル, 非統一型マルチモーダル診断モデルより優れていた。
  論文  参考訳（メタデータ） (2023-06-01T16:23:47Z)
• Ambiguous Medical Image Segmentation using Diffusion Models [60.378180265885945]
  我々は,グループ洞察の分布を学習することで,複数の可算出力を生成する単一拡散モデルに基づくアプローチを提案する。 提案モデルでは,拡散の固有のサンプリングプロセスを利用してセグメンテーションマスクの分布を生成する。 その結果,提案手法は既存の最先端曖昧なセグメンテーションネットワークよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-04-10T17:58:22Z)
• Advancing COVID-19 Diagnosis with Privacy-Preserving Collaboration in Artificial Intelligence [79.038671794961]
  我々はUCADI(Unified CT-COVID AI Diagnostic Initiative)を立ち上げ、各ホスト機関でAIモデルを分散的にトレーニングし、独立して実行することができる。 本研究は,中国とイギリスに所在する23の病院で採取した3,336例の胸部CT9,573例について検討した。
  論文  参考訳（メタデータ） (2021-11-18T00:43:41Z)
• Developing and validating multi-modal models for mortality prediction in COVID-19 patients: a multi-center retrospective study [1.5308395762165423]
  マルチセンター患者データを用いて、新型コロナウイルス死亡予測のためのマルチモーダルモデルの開発と検証を行った。 私たちのゴールは、調査員や組織が予測、分類、最適化のためのマルチモーダルモデルを構築するのを支援するツールキットを作ることです。
  論文  参考訳（メタデータ） (2021-09-01T04:46:27Z)
• A multi-stage machine learning model on diagnosis of esophageal manometry [50.591267188664666]
  このフレームワークには、飲み込みレベルにおけるディープラーニングモデルと、学習レベルにおける機能ベースの機械学習モデルが含まれている。 これは、生のマルチスワローデータからHRM研究のCC診断を自動的に予測する最初の人工知能モデルである。
  論文  参考訳（メタデータ） (2021-06-25T20:09:23Z)
• Malignancy Prediction and Lesion Identification from Clinical Dermatological Images [65.1629311281062]
  臨床皮膚画像から機械学習に基づく悪性度予測と病変の同定を検討する。 まず, サブタイプや悪性度に関わらず画像に存在するすべての病変を同定し, その悪性度を推定し, 凝集により, 画像レベルの悪性度も生成する。
  論文  参考訳（メタデータ） (2021-04-02T20:52:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。