論文の概要: Exploring the Feasibility of Multimodal Chatbot AI as Copilot in Pathology Diagnostics: Generalist Model's Pitfall

• arxiv url: http://arxiv.org/abs/2409.15291v1
• Date: Wed, 4 Sep 2024 01:30:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-06 20:16:59.189747
• Title: Exploring the Feasibility of Multimodal Chatbot AI as Copilot in Pathology Diagnostics: Generalist Model's Pitfall
• Title（参考訳）: 病理診断におけるコパイロットとしてのマルチモーダルチャットボットAIの可能性を探る:ジェネラリストモデルの落とし穴
• Authors: Mianxin Liu, Jianfeng Wu, Fang Yan, Hongjun Li, Wei Wang, Shaoting Zhang, Zhe Wang,
• Abstract要約: ChatGPTや他のマルチモーダルモデルは、医療ビジョン言語質問応答などの機能を通じて、医療画像解析を変換する可能性を示している。 本研究は,病理画像におけるGPTの性能をベンチマークし,その診断精度と実単語臨床記録の効率を評価する。 骨疾患におけるGPTの有意な欠損と他の3つの疾患の公平なパフォーマンスを観察した。
• 参考スコア（独自算出の注目度）: 17.9731336178034
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pathology images are crucial for diagnosing and managing various diseases by visualizing cellular and tissue-level abnormalities. Recent advancements in artificial intelligence (AI), particularly multimodal models like ChatGPT, have shown promise in transforming medical image analysis through capabilities such as medical vision-language question answering. However, there remains a significant gap in integrating pathology image data with these AI models for clinical applications. This study benchmarks the performance of GPT on pathology images, assessing their diagnostic accuracy and efficiency in real-word clinical records. We observe significant deficits of GPT in bone diseases and a fair-level performance in diseases from other three systems. Despite offering satisfactory abnormality annotations, GPT exhibits consistent disadvantage in terminology accuracy and multimodal integration. Specifically, we demonstrate GPT's failures in interpreting immunohistochemistry results and diagnosing metastatic cancers. This study highlight the weakness of current generalist GPT model and contribute to the integration of pathology and advanced AI.
• Abstract（参考訳）: 病理画像は、細胞および組織レベルの異常を可視化することにより、様々な疾患の診断および管理に不可欠である。 人工知能(AI)の最近の進歩、特にChatGPTのようなマルチモーダルモデルでは、医療ビジョン言語質問応答のような機能を通じて、医療画像分析を変換する可能性を示している。 しかし、臨床応用のために、これらのAIモデルと病理画像データを統合することには大きなギャップがある。 本研究は,病理画像におけるGPTの性能をベンチマークし,その診断精度と実単語臨床記録の効率を評価する。 骨疾患におけるGPTの有意な欠損と他の3つの疾患の公平なパフォーマンスを観察した。 良好な異常アノテーションを提供するにもかかわらず、GPTは用語の精度とマルチモーダル統合において一貫した欠点を示す。 具体的には,免疫組織化学的結果の解釈と転移性癌の診断におけるGPTの失敗を実証する。 本研究は、現在の一般GPTモデルの弱点を強調し、病理学と高度なAIの統合に寄与する。

関連論文リスト

• Potential of Multimodal Large Language Models for Data Mining of Medical Images and Free-text Reports [51.45762396192655]
  特にGemini-Vision-Series (Gemini) と GPT-4-Series (GPT-4) は、コンピュータビジョンのための人工知能のパラダイムシフトを象徴している。 本研究は,14の医用画像データセットを対象に,Gemini,GPT-4,および4つの一般的な大規模モデルの性能評価を行った。
  論文  参考訳（メタデータ） (2024-07-08T09:08:42Z)
• MiniGPT-Med: Large Language Model as a General Interface for Radiology Diagnosis [28.421857904824627]
  MiniGPT-Medは、大規模言語モデルから派生したヴィジュアル言語モデルであり、医学的応用に適したものである。 医療報告生成、視覚的質問応答(VQA)、医療画像内の疾患識別などのタスクを実行することができる。 医療報告生成の最先端性能は,従来の最良モデルよりも19%高い精度で達成される。
  論文  参考訳（メタデータ） (2024-07-04T18:21:10Z)
• Foundational Models for Pathology and Endoscopy Images: Application for Gastric Inflammation [0.0]
  ファンデーションモデル(FM)は、多様なデータに基づいて訓練され、幅広いユースケースに適用できる機械学習モデルまたはディープラーニングモデルである。 FMは内視鏡とそれに続く病理画像解析の精度を高めるための有望なソリューションを提供する。 本総説は,FMを臨床実践に組み込むことの複雑さをナビゲートする上で,研究者や実践者にとってのロードマップを提供することを目的としている。
  論文  参考訳（メタデータ） (2024-06-26T10:51:44Z)
• Holistic Evaluation of GPT-4V for Biomedical Imaging [113.46226609088194]
  GPT-4Vはコンピュータビジョンのための人工知能の突破口である。 GPT-4Vは,放射線学,腫瘍学,眼科,病理学など16分野にまたがって評価を行った。 以上の結果より,GPT-4Vは異常や解剖学的認識に優れていたが,診断や局所化は困難であった。
  論文  参考訳（メタデータ） (2023-11-10T18:40:44Z)
• Can GPT-4V(ision) Serve Medical Applications? Case Studies on GPT-4V for Multimodal Medical Diagnosis [59.35504779947686]
  GPT-4VはOpenAIの最新のマルチモーダル診断モデルである。 評価対象は17の人体システムである。 GPT-4Vは、医用画像のモダリティと解剖学を区別する能力を示す。 疾患の診断と包括的報告作成において重大な課題に直面している。
  論文  参考訳（メタデータ） (2023-10-15T18:32:27Z)
• BiomedGPT: A Generalist Vision-Language Foundation Model for Diverse Biomedical Tasks [68.39821375903591]
  汎用AIは、さまざまなデータ型を解釈する汎用性のために、制限に対処する可能性を秘めている。 本稿では,最初のオープンソースかつ軽量な視覚言語基盤モデルであるBiomedGPTを提案する。
  論文  参考訳（メタデータ） (2023-05-26T17:14:43Z)
• Multi-Scale Hybrid Vision Transformer for Learning Gastric Histology: AI-Based Decision Support System for Gastric Cancer Treatment [50.89811515036067]
  胃内視鏡検査は、早期に適切な胃癌(GC)治療を判定し、GC関連死亡率を低下させる有効な方法である。 本稿では,一般のGC治療指導と直接一致する5つのGC病理のサブ分類を可能にする実用的なAIシステムを提案する。
  論文  参考訳（メタデータ） (2022-02-17T08:33:52Z)
• Weakly supervised multiple instance learning histopathological tumor segmentation [51.085268272912415]
  スライド画像全体のセグメント化のための弱教師付きフレームワークを提案する。 トレーニングモデルに複数のインスタンス学習スキームを利用する。 提案するフレームワークは,The Cancer Genome AtlasとPatchCamelyonデータセットのマルチロケーションとマルチ中心公開データに基づいて評価されている。
  論文  参考訳（メタデータ） (2020-04-10T13:12:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。