論文の概要: Simplifying Multimodality: Unimodal Approach to Multimodal Challenges in Radiology with General-Domain Large Language Model

• arxiv url: http://arxiv.org/abs/2405.01591v1
• Date: Mon, 29 Apr 2024 13:23:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-06 16:58:34.531178
• Title: Simplifying Multimodality: Unimodal Approach to Multimodal Challenges in Radiology with General-Domain Large Language Model
• Title（参考訳）: マルチモダリティの簡易化:汎用大言語モデルを用いたラジオロジーにおけるマルチモダリティ問題への一様アプローチ
• Authors: Seonhee Cho, Choonghan Kim, Jiho Lee, Chetan Chilkunda, Sujin Choi, Joo Heung Yoon,
• Abstract要約: MID-Mは,汎用言語モデル(LLM)のコンテキスト内学習機能を利用して,画像記述によるマルチモーダルデータの処理を行う新しいフレームワークである。 MID-Mは、タスク固有の微調整 LMM や他の汎用ドメインと同等または優れた性能を達成し、ドメイン固有の訓練やマルチモーダルデータによる事前トレーニングは行わない。 データ品質問題に対するMID-Mの堅牢性は、実世界の医療ドメインアプリケーションにおいて実用性を示している。
• 参考スコア（独自算出の注目度）: 3.012719451477384
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advancements in Large Multimodal Models (LMMs) have attracted interest in their generalization capability with only a few samples in the prompt. This progress is particularly relevant to the medical domain, where the quality and sensitivity of data pose unique challenges for model training and application. However, the dependency on high-quality data for effective in-context learning raises questions about the feasibility of these models when encountering with the inevitable variations and errors inherent in real-world medical data. In this paper, we introduce MID-M, a novel framework that leverages the in-context learning capabilities of a general-domain Large Language Model (LLM) to process multimodal data via image descriptions. MID-M achieves a comparable or superior performance to task-specific fine-tuned LMMs and other general-domain ones, without the extensive domain-specific training or pre-training on multimodal data, with significantly fewer parameters. This highlights the potential of leveraging general-domain LLMs for domain-specific tasks and offers a sustainable and cost-effective alternative to traditional LMM developments. Moreover, the robustness of MID-M against data quality issues demonstrates its practical utility in real-world medical domain applications.
• Abstract（参考訳）: 近年のLMM(Large Multimodal Models)の進歩は、その一般化能力への関心を惹き付けている。 この進歩は、データの品質と感度が、モデルトレーニングと応用に固有の課題をもたらす医療領域に特に関係している。 しかし、文脈内学習に有効な高品質なデータへの依存は、現実の医療データに固有の必然的変動や誤りに遭遇した場合に、これらのモデルの有効性に関する疑問を提起する。 本稿では,汎用言語モデル(LLM)のコンテキスト内学習機能を活用し,画像記述によるマルチモーダルデータの処理を行う新しいフレームワークであるMID-Mを紹介する。 MID-M はタスク固有の細調整 LMM や他の汎用ドメインに匹敵するあるいは優れた性能を達成し、ドメイン固有の訓練やマルチモーダルデータに対する事前トレーニングを行なわず、パラメータは大幅に少ない。 これは、ドメイン固有のタスクに汎用的なLLMを活用する可能性を強調し、従来のLMM開発に代わる持続的でコスト効率の高い代替手段を提供する。 さらに、データ品質問題に対するMID-Mの堅牢性は、実際の医療領域アプリケーションにおいて実用性を示している。

関連論文リスト

• RA-BLIP: Multimodal Adaptive Retrieval-Augmented Bootstrapping Language-Image Pre-training [55.54020926284334]
  近年,MLLM (Multimodal Large Language Models) が注目されている。 検索拡張技術はLLMとMLLMの両方に有効なプラグインであることが証明されている。 本研究では,MLLMの新しい検索支援フレームワークであるRA-BLIP(Retrieval-Augmented Bootstrapping Language-Image Pre-training)を提案する。
  論文  参考訳（メタデータ） (2024-10-18T03:45:19Z)
• Towards Robust Multimodal Sentiment Analysis with Incomplete Data [20.75292807497547]
  頑健なマルチモーダル感性分析(MSA)を実現するための言語支配型耐雑音学習ネットワーク(LNLN)を提案する。 LNLNは、支配的モダリティ補正(DMC)モジュールと支配的モダリティベースマルチモーダル学習(DMML)モジュールを備え、様々なノイズシナリオにおけるモデルの堅牢性を高める。
  論文  参考訳（メタデータ） (2024-09-30T07:14:31Z)
• MMEvol: Empowering Multimodal Large Language Models with Evol-Instruct [148.39859547619156]
  我々は,新しいマルチモーダル命令データ進化フレームワークであるMMEvolを提案する。 MMEvolは、きめ細かい知覚、認知的推論、相互作用の進化の洗練された組み合わせによって、データ品質を反復的に改善する。 提案手法は,9つのタスクにおいて,最先端モデルに比べて有意に少ない精度でSOTA(State-of-the-art)性能を実現する。
  論文  参考訳（メタデータ） (2024-09-09T17:44:00Z)
• Assessing Modality Bias in Video Question Answering Benchmarks with Multimodal Large Language Models [12.841405829775852]
  我々は、VidQAベンチマークとデータセットのバイアスを特定するために、MIS(Modality importance score)を導入する。 また,最新のMLLMを用いてモダリティの重要度を推定する手法を提案する。 以上の結果から,既存のデータセットでは,モダリティの不均衡による情報統合が効果的に行われていないことが示唆された。
  論文  参考訳（メタデータ） (2024-08-22T23:32:42Z)
• HEMM: Holistic Evaluation of Multimodal Foundation Models [91.60364024897653]
  マルチモーダル・ファンデーション・モデルは、画像、ビデオ、オーディオ、その他の知覚モダリティと共にテキストをホリスティックに処理することができる。 モデリング決定、タスク、ドメインの範囲を考えると、マルチモーダル基盤モデルの進歩を特徴づけ、研究することは困難である。
  論文  参考訳（メタデータ） (2024-07-03T18:00:48Z)
• MMRel: A Relation Understanding Dataset and Benchmark in the MLLM Era [72.95901753186227]
  MMRel(Multi-Modal Relation Understanding)は、Multi-Modal Large Language Models (MLLM)とのオブジェクト間関係を研究するための包括的データセットである。 MMRelには3つの特徴がある: (i) 大規模かつ高い多様性を保証する3つの異なるドメインから得られる15K以上の質問応答ペア; (ii) MLLMが幻覚によってしばしば失敗する非常に珍しい関係を持つサブセットを含む; (iii) オブジェクト間関係のために手作業で検証された高品質なラベルを提供する。
  論文  参考訳（メタデータ） (2024-06-13T13:51:59Z)
• MMA-DFER: MultiModal Adaptation of unimodal models for Dynamic Facial Expression Recognition in-the-wild [81.32127423981426]
  実世界のアプリケーションでは,音声およびビデオデータに基づくマルチモーダル感情認識が重要である。 近年の手法は、強力なマルチモーダルエンコーダの事前学習に自己教師付き学習(SSL)の進歩を活用することに重点を置いている。 SSL-pre-trained disimodal encoders を用いて,この問題に対する異なる視点とマルチモーダル DFER の性能向上について検討する。
  論文  参考訳（メタデータ） (2024-04-13T13:39:26Z)
• Dial-insight: Fine-tuning Large Language Models with High-Quality Domain-Specific Data Preventing Capability Collapse [4.98050508891467]
  高品質なデータを得るために設計された生産プロンプトを構築するための2段階のアプローチを提案する。 この方法は、幅広いタスクを包含し、多種多様な表現を示す多様なプロンプトの生成を含む。 生成したラベルデータの整合性を確保するため,コスト効率,多次元品質評価フレームワークを導入する。
  論文  参考訳（メタデータ） (2024-03-14T08:27:32Z)
• Model Composition for Multimodal Large Language Models [71.5729418523411]
  本稿では,既存のMLLMのモデル構成による新しいパラダイムを提案する。 我々の基本的な実装であるNaiveMCは、モダリティエンコーダを再利用し、LLMパラメータをマージすることで、このパラダイムの有効性を実証する。
  論文  参考訳（メタデータ） (2024-02-20T06:38:10Z)
• Cross-Modal Prototype based Multimodal Federated Learning under Severely Missing Modality [31.727012729846333]
  MFCPL (Multimodal Federated Cross Prototype Learning) は、MFLにおいて、高度に欠落したモダリティの下での新たなアプローチである。 MFCPLは、モダリティ共有レベルにおいて、クロスモーダル正規化とクロスモーダルコントラスト機構を備えたモダリティ固有レベルと共に多様なモダリティ知識を提供する。 提案手法では,モーダリティに特有な特徴の正規化を実現するために,クロスモーダルアライメントを導入し,全体的な性能を向上させる。
  論文  参考訳（メタデータ） (2024-01-25T02:25:23Z)
• Multimodal Question Answering for Unified Information Extraction [15.798187192290746]
  マルチモーダル情報抽出は、構造化されていないマルチメディアコンテンツから構造化された情報を抽出することを目的としている。 現在のMIEモデルはタスク固有でデータ集約である。 3つのMIEタスクを統合するための新しいマルチモーダル質問応答(MQA)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-04T17:58:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。