論文の概要: On the Compositional Generalization of Multimodal LLMs for Medical Imaging

• arxiv url: http://arxiv.org/abs/2412.20070v1
• Date: Sat, 28 Dec 2024 07:50:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-31 22:07:02.470135
• Title: On the Compositional Generalization of Multimodal LLMs for Medical Imaging
• Title（参考訳）: 医用画像用多モードLDMの構成一般化について
• Authors: Zhenyang Cai, Junying Chen, Rongsheng Wang, Weihong Wang, Yonglin Deng, Dingjie Song, Yize Chen, Zixu Zhang, Benyou Wang,
• Abstract要約: マルチモーダル大言語モデル(MLLM)は、医療分野において大きな可能性を秘めている。 それらの能力は、特定の医療領域における不十分なデータによって制限されることが多く、一般化のためにMLLMによってどのような種類の画像が使用できるかを理解する必要性を強調している。 本稿では,合成一般化(CG)モデルを用いた学習要素の組換えによる新しい組み合わせの理解手法を提案する。 実験の結果、MLLMはCGを使って見えない医療画像を理解することができ、マルチタスクトレーニングで観察される一般化の主要因の1つとしてCGを特定した。
• 参考スコア（独自算出の注目度）: 14.419190976672065
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal large language models (MLLMs) hold significant potential in the medical field, but their capabilities are often limited by insufficient data in certain medical domains, highlighting the need for understanding what kinds of images can be used by MLLMs for generalization. Current research suggests that multi-task training outperforms single-task as different tasks can benefit each other, but they often overlook the internal relationships within these tasks, providing limited guidance on selecting datasets to enhance specific tasks. To analyze this phenomenon, we attempted to employ compositional generalization (CG)-the ability of models to understand novel combinations by recombining learned elements-as a guiding framework. Since medical images can be precisely defined by Modality, Anatomical area, and Task, naturally providing an environment for exploring CG. Therefore, we assembled 106 medical datasets to create Med-MAT for comprehensive experiments. The experiments confirmed that MLLMs can use CG to understand unseen medical images and identified CG as one of the main drivers of the generalization observed in multi-task training. Additionally, further studies demonstrated that CG effectively supports datasets with limited data and delivers consistent performance across different backbones, highlighting its versatility and broad applicability. Med-MAT is publicly available at https://github.com/FreedomIntelligence/Med-MAT.
• Abstract（参考訳）: MLLM(Multimodal large language model)は医療分野で大きな可能性を秘めているが、その能力は特定の医療領域において不十分なデータによって制限されることが多く、MLLMが一般化するためにどのような種類の画像が利用できるのかを理解する必要性が強調される。 現在の研究によると、マルチタスクトレーニングは、異なるタスクが互いに恩恵を受ける可能性があるため、シングルタスクよりも優れているが、これらのタスクの内部関係を見落とし、特定のタスクを強化するためのデータセットの選択に関する限られたガイダンスを提供することが多い。 この現象を解析するために,学習要素を再結合して新たな組み合わせを理解するためのモデルの構成一般化(CG)を導出フレームワークとして用いた。 医用画像は、モダリティ、解剖学的領域、タスクによって正確に定義できるため、自然にCGを探索するための環境を提供する。 そこで,Med-MATを作成するために106の医療データセットを収集した。 実験の結果、MLLMはCGを使って見えない医療画像を理解することができ、マルチタスクトレーニングで観察される一般化の主要因の1つとしてCGを特定した。 さらに、さらなる研究は、CGが限られたデータを持つデータセットを効果的にサポートし、異なるバックボーン間で一貫したパフォーマンスを提供し、その汎用性と幅広い適用性を強調していることを示した。 Med-MATはhttps://github.com/FreedomIntelligence/Med-MATで公開されている。

関連論文リスト

• Zeus: Zero-shot LLM Instruction for Union Segmentation in Multimodal Medical Imaging [4.341503087761129]
  マルチモーダル学習の実行には、ソリューションとして示される視覚とテキストのモダリティが含まれるが、ペア化されたビジョン言語データセットの収集は高価で時間を要する。 大規模言語モデル(LLM)における多くのクロスモーダルタスクの優れた能力に触発されて、我々はこの問題に対処する新しいビジョン・LLM統合フレームワークを提案しました。
  論文  参考訳（メタデータ） (2025-04-09T23:33:35Z)
• UMIT: Unifying Medical Imaging Tasks via Vision-Language Models [17.65946656129399]
  UMITは医療画像処理に特化したマルチモーダル・マルチタスクVLMである。 視覚的質問応答、疾患検出、医療報告生成など、さまざまな課題を解決できる。 英語と中国語の両方をサポートし、その適用範囲を全世界で拡大している。
  論文  参考訳（メタデータ） (2025-03-20T06:43:36Z)
• MRGen: Segmentation Data Engine For Underrepresented MRI Modalities [59.61465292965639]
  稀ながら臨床的に重要な画像モダリティのための医用画像分割モデルの訓練は、注釈付きデータの不足により困難である。 本稿では、生成モデルを利用してトレーニングデータを合成し、未表現のモダリティに対するセグメンテーションモデルを訓練する。
  論文  参考訳（メタデータ） (2024-12-04T16:34:22Z)
• A Survey of Medical Vision-and-Language Applications and Their Techniques [48.268198631277315]
  医療ビジョン・アンド・ランゲージモデル(MVLM)は、複雑な医療データを解釈するための自然言語インタフェースを提供する能力から、大きな関心を集めている。 本稿では,MVLMの概要と適用した各種医療課題について概観する。 また、これらのタスクに使用するデータセットについても検討し、標準化された評価指標に基づいて異なるモデルの性能を比較した。
  論文  参考訳（メタデータ） (2024-11-19T03:27:05Z)
• MOSMOS: Multi-organ segmentation facilitated by medical report supervision [10.396987980136602]
  マルチオーガンスーパービジョン(MOS)のための新しい事前学習・微調整フレームワークを提案する。 具体的には、まず、トレーニング前の段階で、医用画像とレポートのペアを合わせるために、グローバルコントラスト学習を導入する。 さらに,画像画素と臓器タグ間の意味的対応を暗黙的に学習するために,マルチラベル認識を活用する。
  論文  参考訳（メタデータ） (2024-09-04T03:46:17Z)
• MMSci: A Dataset for Graduate-Level Multi-Discipline Multimodal Scientific Understanding [59.41495657570397]
  このデータセットには、スキーマ図、シミュレーション画像、マクロ/顕微鏡写真、実験的可視化などの図が含まれている。 我々は,6つのプロプライエタリモデルと10以上のオープンソースモデルを評価し,科学的フィギュアキャプションと複数選択質問のベンチマークを開発した。 データセットとベンチマークは、さらなる研究をサポートするためにリリースされる予定だ。
  論文  参考訳（メタデータ） (2024-07-06T00:40:53Z)
• Med-MoE: Mixture of Domain-Specific Experts for Lightweight Medical Vision-Language Models [17.643421997037514]
  差別的, 生成的両マルチモーダル医療課題に対処する新しい枠組みを提案する。 Med-MoEの学習は、マルチモーダル医療アライメント、命令チューニングとルーティング、ドメイン固有のMoEチューニングの3つのステップで構成されている。 我々のモデルは最先端のベースラインに匹敵する性能を達成できる。
  論文  参考訳（メタデータ） (2024-04-16T02:35:17Z)
• Eye-gaze Guided Multi-modal Alignment for Medical Representation Learning [65.54680361074882]
  アイゲイズガイドマルチモーダルアライメント(EGMA)フレームワークは、アイゲイズデータを利用して、医用視覚的特徴とテキスト的特徴のアライメントを改善する。 我々は4つの医療データセット上で画像分類と画像テキスト検索の下流タスクを行う。
  論文  参考訳（メタデータ） (2024-03-19T03:59:14Z)
• Enhancing Representation in Radiography-Reports Foundation Model: A Granular Alignment Algorithm Using Masked Contrastive Learning [26.425784890859738]
  MaCoは、マスク付きコントラスト型胸部X線基礎モデルである。 様々な医療画像のタスクに対して、きめ細かい画像理解とゼロショット学習を同時に達成する。 分類、セグメンテーション、検出、句接地といったタスクにまたがる、最先端の10のアプローチよりも優れていることが示されている。
  論文  参考訳（メタデータ） (2023-09-12T01:29:37Z)
• LVM-Med: Learning Large-Scale Self-Supervised Vision Models for Medical Imaging via Second-order Graph Matching [59.01894976615714]
  LVM-Medは、大規模医療データセットに基づいてトレーニングされた、最初のディープネットワークファミリーである。 55の公開データセットから約13万の医療画像を収集しました。 LVM-Medは、多くの最先端の教師付き、自己監督型、基礎モデルよりも経験的に優れている。
  論文  参考訳（メタデータ） (2023-06-20T22:21:34Z)
• Modality-Agnostic Learning for Medical Image Segmentation Using Multi-modality Self-distillation [1.815047691981538]
  マルチモーダル・セルフディスト・イレレーション(MAG-MS)によるモダリティ非依存学習という新しい枠組みを提案する。 MAG-MSは複数のモダリティの融合から知識を蒸留し、個々のモダリティに対する表現学習を強化する。 ベンチマークデータセットを用いた実験により,MAG-MSの高効率化とセグメンテーション性能の向上が示された。
  論文  参考訳（メタデータ） (2023-06-06T14:48:50Z)
• Towards Medical Artificial General Intelligence via Knowledge-Enhanced Multimodal Pretraining [121.89793208683625]
  医療人工知能(MAGI)は、1つの基礎モデルで異なる医療課題を解くことができる。 我々は、Micical-knedge-enhanced mulTimOdal pretRaining (motoR)と呼ばれる新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-04-26T01:26:19Z)
• Cross-Modal Information Maximization for Medical Imaging: CMIM [62.28852442561818]
  病院では、同じ情報を異なるモダリティの下で利用できるようにする特定の情報システムにデータがサイロ化される。 これは、テスト時に常に利用できないかもしれない同じ情報の複数のビューを列車で取得し、使用するためのユニークな機会を提供する。 テスト時にモダリティの低下に耐性を持つマルチモーダル入力の優れた表現を学習することで、利用可能なデータを最大限活用する革新的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-10-20T20:05:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。