論文の概要: Benchmarking Off-the-Shelf Multimodal AI Models Against Dermatologists on Patient-Captured Skin Images

• arxiv url: http://arxiv.org/abs/2609.24190v1
• Date: Mon, 21 Sep 2026 07:01:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-22 20:29:01.111151
• Title: Benchmarking Off-the-Shelf Multimodal AI Models Against Dermatologists on Patient-Captured Skin Images
• Title（参考訳）: 患者の皮膚画像における皮膚科医に対する市販マルチモーダルAIモデルのベンチマーク
• Abstract要約: 我々は,患者が提出した画像から皮膚症状を診断する作業において,最近リリースされた3つのモデルを評価する。 選ばれたモデルは価格面では低レベルから中レベルであり、したがって天井ではなく現在のAI能力のフロアを表している。 私たちがテストした最高のパフォーマンスモデルは、ケースあたり平均0.0045ドルのコストでした。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Artificial intelligence (AI) has advanced at a rapid pace in recent years. Initially, breakthroughs in large language models caught widespread attention. However, recent generations of frontier AI models have adopted multimodal capabilities as a first class citizen, with vision capabilities being central to that. In this paper, we evaluate three recently released models on the task of diagnosing dermatological conditions from patient-submitted images. The models chosen are at the low to mid tier in terms of pricing and thus represent a floor on current AI capabilities, not a ceiling. We evaluate AI performance relative to a panel of three certified dermatologists, who grade each image, and we present four interesting findings. Firstly, depending on the metric, the tested AI models are either on par or slightly trail humans in terms of inter-clinician agreement. Secondly, we find that asking AI models for a confidence rating produces poorly calibrated answers, meaning use of confidence thresholds should not be relied upon in a clinical setting. Thirdly, the effect of providing additional patient metadata is strongly model-specific, with one of the three models degrading on every metric considered. Finally, model cost is not predictive of performance. The best-performing model we tested costs on average $0.0045 per case.
• Abstract（参考訳）: 人工知能(AI)は近年急速に進歩している。 当初は、大きな言語モデルのブレークスルーが広く注目を集めた。 しかし、近年のフロンティアAIモデルでは、視覚能力が中心となって、第一級市民としてマルチモーダル機能を採用している。 本稿では,患者が提出した画像から皮膚症状を診断する作業において,最近リリースされた3つのモデルを評価する。 選ばれたモデルは価格面では低レベルから中レベルであり、したがって天井ではなく現在のAI能力のフロアを表している。 画像評価を行う3人の皮膚科医のパネルに対して,AIの性能を評価するとともに,4つの興味深い結果を得た。 第一に、測定値によっては、テスト対象のAIモデルは、クリニック間の合意に関して、同等またはわずかに人間に後れを取っている。 第二に、信頼度評価をAIモデルに求めると、評価精度が低くなるため、臨床環境では信頼しきい値の使用を頼りにすべきではない。 第3に、追加の患者メタデータを提供することによる効果はモデルに強く依存しており、3つのモデルのうちの1つが考慮されるメトリクスごとに劣化している。 最後に、モデルコストはパフォーマンスを予測できない。 私たちがテストした最高のパフォーマンスモデルは、ケースあたり平均0.0045ドルのコストでした。

関連論文リスト

• BenchX: Benchmarking AI Models for Cancer Detection and Localization with Demographic and Protocol Biases [59.19934491064188]
  人工知能(AI)は医療画像において顕著な成功を収めた。 これらのモデルは、実世界の臨床環境において矛盾なく機能することが多い。 我々は,12種類の腫瘍検出AIモデルを体系的に評価する85,355個のCTスキャンのベンチマークを開発した。
  論文  参考訳（メタデータ） (2026-06-23T17:58:59Z)
• Radiology's Last Exam (RadLE): Benchmarking Frontier Multimodal AI Against Human Experts and a Taxonomy of Visual Reasoning Errors in Radiology [2.626353375402704]
  大規模言語モデル(LLM)や視覚言語モデル(VLM)といった一般的なマルチモーダルAIシステムは、臨床医や患者からもアクセスされるようになっている。 複数の画像モダリティにまたがる50の専門レベルの「スポット診断」のベンチマークを作成した。 我々は,フロンティアAIモデルの性能を,ボード認定放射線科医や放射線学研修生に対して評価した。
  論文  参考訳（メタデータ） (2025-09-29T22:31:20Z)
• TemMed-Bench: Evaluating Temporal Medical Image Reasoning in Vision-Language Models [54.48710348910535]
  既存の医学推論ベンチマークは、主に1回の訪問からの画像に基づいて患者の状態を分析することに焦点を当てている。 臨床訪問における患者の状態の変化を分析するための最初のベンチマークであるTemMed-Benchを紹介する。
  論文  参考訳（メタデータ） (2025-09-29T17:51:26Z)
• Towards Virtual Clinical Trials of Radiology AI with Conditional Generative Modeling [10.014130930114172]
  本稿では,放射線学AIの仮想臨床試験(VCT)のために設計された条件付き生成AIモデルを紹介する。 画像と解剖学的構造の関節分布を学習することにより,実世界の患者集団の正確な再現を可能にした。 我々は,合成CTを用いたVCTを用いた放射線学AIモデルの有意義な評価を行った。
  論文  参考訳（メタデータ） (2025-02-13T15:53:52Z)
• Brain Tumor Classification on MRI in Light of Molecular Markers [56.99710477905796]
  1p/19q遺伝子の同時欠失は、低グレードグリオーマの臨床成績と関連している。 本研究の目的は,MRIを用いた畳み込みニューラルネットワークを脳がん検出に活用することである。
  論文  参考訳（メタデータ） (2024-09-29T07:04:26Z)
• Adapting Visual-Language Models for Generalizable Anomaly Detection in Medical Images [68.42215385041114]
  本稿では,CLIPモデルを用いた医用異常検出のための軽量な多レベル適応と比較フレームワークを提案する。 提案手法では,複数の残像アダプタを事前学習した視覚エンコーダに統合し,視覚的特徴の段階的向上を実現する。 医学的異常検出ベンチマーク実験により,本手法が現在の最先端モデルを大幅に上回っていることが示された。
  論文  参考訳（メタデータ） (2024-03-19T09:28:19Z)
• The Limits of Fair Medical Imaging AI In The Wild [43.97266228706059]
  医療用AIが人口統計エンコーディングをどのように利用するかを検討する。 医療画像AIは、疾患分類において、人口動態のショートカットを利用することを確認した。 人口統計属性のエンコーディングが少ないモデルは、しばしば「グローバルに最適」であることがわかった。
  論文  参考訳（メタデータ） (2023-12-11T18:59:50Z)
• Robust and Interpretable Medical Image Classifiers via Concept Bottleneck Models [49.95603725998561]
  本稿では,自然言語の概念を用いた堅牢で解釈可能な医用画像分類器を構築するための新しいパラダイムを提案する。 具体的には、まず臨床概念をGPT-4から検索し、次に視覚言語モデルを用いて潜在画像の特徴を明示的な概念に変換する。
  論文  参考訳（メタデータ） (2023-10-04T21:57:09Z)
• An investigation into the impact of deep learning model choice on sex and race bias in cardiac MR segmentation [8.449342469976758]
  被検者の性別と人種の不均衡が、AIによる心臓磁気共鳴画像のセグメンテーションにどのように影響するかを検討する。 4つのモデルのうち3つのモデルに有意な性的偏見があり、すべてのモデルに人種的偏見がある。
  論文  参考訳（メタデータ） (2023-08-25T14:55:38Z)
• Advancing COVID-19 Diagnosis with Privacy-Preserving Collaboration in Artificial Intelligence [79.038671794961]
  我々はUCADI(Unified CT-COVID AI Diagnostic Initiative)を立ち上げ、各ホスト機関でAIモデルを分散的にトレーニングし、独立して実行することができる。 本研究は,中国とイギリスに所在する23の病院で採取した3,336例の胸部CT9,573例について検討した。
  論文  参考訳（メタデータ） (2021-11-18T00:43:41Z)
• More Reliable AI Solution: Breast Ultrasound Diagnosis Using Multi-AI Combination [1.3357122589980752]
  AIシステムに埋め込まれた既存のマシンは、臨床医が期待する精度に達しない。 超解像ネットワークは、デバイス自体による超音波画像の不明瞭さを低減する。 対象モデルを分類モデルに変換する2つの方法を提案する。
  論文  参考訳（メタデータ） (2021-01-07T17:19:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。