論文の概要: MoMA: A Mixture-of-Multimodal-Agents Architecture for Enhancing Clinical Prediction Modelling

• arxiv url: http://arxiv.org/abs/2508.05492v1
• Date: Thu, 07 Aug 2025 15:28:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-08 18:59:39.924433
• Title: MoMA: A Mixture-of-Multimodal-Agents Architecture for Enhancing Clinical Prediction Modelling
• Title（参考訳）: MoMA:Multimodal-Agentsアーキテクチャによる臨床予測モデルの構築
• Authors: Jifan Gao, Mahmudur Rahman, John Caskey, Madeline Oguss, Ann O'Rourke, Randy Brown, Anne Stey, Anoop Mayampurath, Matthew M. Churpek, Guanhua Chen, Majid Afshar,
• Abstract要約: 複数の大規模言語モデル (LLM) エージェントを臨床予測に利用するために設計された新しいアーキテクチャであるMixture-of-Multimodal-Agents (MoMA) を導入する。 MoMAは、医学画像や実験結果などの非テクストのモダリティを構造化されたテキスト要約に変換するために、特殊なLLMエージェント(特殊エージェント)を使用している。 MoMAは現在の最先端メソッドよりも優れており、さまざまなタスクにおける精度と柔軟性の向上を強調している。
• 参考スコア（独自算出の注目度）: 5.334856176687711
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal electronic health record (EHR) data provide richer, complementary insights into patient health compared to single-modality data. However, effectively integrating diverse data modalities for clinical prediction modeling remains challenging due to the substantial data requirements. We introduce a novel architecture, Mixture-of-Multimodal-Agents (MoMA), designed to leverage multiple large language model (LLM) agents for clinical prediction tasks using multimodal EHR data. MoMA employs specialized LLM agents ("specialist agents") to convert non-textual modalities, such as medical images and laboratory results, into structured textual summaries. These summaries, together with clinical notes, are combined by another LLM ("aggregator agent") to generate a unified multimodal summary, which is then used by a third LLM ("predictor agent") to produce clinical predictions. Evaluating MoMA on three prediction tasks using real-world datasets with different modality combinations and prediction settings, MoMA outperforms current state-of-the-art methods, highlighting its enhanced accuracy and flexibility across various tasks.
• Abstract（参考訳）: マルチモーダル電子健康記録(EHR)データは、単一モーダルデータと比較して、患者の健康についてより豊かで相補的な洞察を提供する。 しかし, 臨床予測モデルのための多種多様なデータモダリティを効果的に統合することは, 十分なデータ要求のため, 依然として困難である。 複数の大規模言語モデル (LLM) エージェントを多モーダルEHRデータを用いた臨床予測タスクに利用するために設計された新しいアーキテクチャであるMixture-of-Multimodal-Agents (MoMA) を導入する。 MoMAは、医学画像や実験結果などの非テクストのモダリティを構造化されたテキスト要約に変換するために、特殊なLLMエージェント(特殊エージェント)を使用している。 これらの要約と臨床ノートは、別のLCM(アグリゲーターエージェント)と組み合わせて統一されたマルチモーダル要約を生成し、次いで第3のLSM(予測エージェント)が臨床予測を生成する。 さまざまなモダリティの組み合わせと予測設定を備えた実世界のデータセットを使用して、3つの予測タスク上でのMoMAの評価は、現在の最先端メソッドよりも優れており、さまざまなタスクにおける精度と柔軟性の向上を強調している。

関連論文リスト

• MEXA: Towards General Multimodal Reasoning with Dynamic Multi-Expert Aggregation [64.85885900375483]
  MEXAは、エキスパートモデルのモダリティおよびタスク対応アグリゲーションを実行する、トレーニング不要のフレームワークである。 我々は,ビデオ推論,オーディオ推論,3D理解,医用QAなど,多様なマルチモーダルベンチマークに対するアプローチを評価した。
  論文  参考訳（メタデータ） (2025-06-20T16:14:13Z)
• MIND: Modality-Informed Knowledge Distillation Framework for Multimodal Clinical Prediction Tasks [50.98856172702256]
  マルチモーダルモデル圧縮手法である MIND (Modality-Informed Knowledge Distillation) フレームワークを提案する。 MINDは、様々なサイズの事前訓練されたディープニューラルネットワークのアンサンブルから、より小さなマルチモーダルの学生に知識を伝達する。 時系列データと胸部X線画像を用いた2値および複数ラベルの臨床予測タスクにおけるMINDの評価を行った。
  論文  参考訳（メタデータ） (2025-02-03T08:50:00Z)
• Continually Evolved Multimodal Foundation Models for Cancer Prognosis [50.43145292874533]
  がん予後は、患者の予後と生存率を予測する重要なタスクである。 これまでの研究では、臨床ノート、医療画像、ゲノムデータなどの多様なデータモダリティを統合し、補完的な情報を活用している。 既存のアプローチには2つの大きな制限がある。まず、各病院の患者記録など、各種のトレーニングに新しく到着したデータを組み込むことに苦慮する。 第二に、ほとんどのマルチモーダル統合手法は単純化された結合やタスク固有のパイプラインに依存しており、モダリティ間の複雑な相互依存を捉えることができない。
  論文  参考訳（メタデータ） (2025-01-30T06:49:57Z)
• MMEvol: Empowering Multimodal Large Language Models with Evol-Instruct [148.39859547619156]
  我々は,新しいマルチモーダル命令データ進化フレームワークであるMMEvolを提案する。 MMEvolは、きめ細かい知覚、認知的推論、相互作用の進化の洗練された組み合わせによって、データ品質を反復的に改善する。 提案手法は,9つのタスクにおいて,最先端モデルに比べて有意に少ない精度でSOTA(State-of-the-art)性能を実現する。
  論文  参考訳（メタデータ） (2024-09-09T17:44:00Z)
• MEDFuse: Multimodal EHR Data Fusion with Masked Lab-Test Modeling and Large Language Models [11.798375238713488]
  MEDFuseは構造化および非構造化の医療データを統合するフレームワークである。 10種類のマルチラベル分類タスクにおいて、90%以上のF1スコアを達成している。
  論文  参考訳（メタデータ） (2024-07-17T04:17:09Z)
• EMERGE: Enhancing Multimodal Electronic Health Records Predictive Modeling with Retrieval-Augmented Generation [22.94521527609479]
  EMERGEはRetrieval-Augmented Generation(RAG)駆動のフレームワークであり、マルチモーダルEHR予測モデリングを強化する。 時系列データと臨床ノートからエンティティを抽出し,LLM(Large Language Models)を誘導し,プロのPrimeKGと整合させる。 抽出した知識は、患者の健康状態のタスク関連サマリーを生成するために使用される。
  論文  参考訳（メタデータ） (2024-05-27T10:53:15Z)
• Uni-MoE: Scaling Unified Multimodal LLMs with Mixture of Experts [54.529880848937104]
  そこで我々は,MoEアーキテクチャをUni-MoEと呼ぶ一貫したMLLMを開発し,様々なモダリティを扱えるようにした。 具体的には、統一マルチモーダル表現のためのコネクタを持つモダリティ特化エンコーダを特徴とする。 マルチモーダルデータセットの包括的集合を用いた命令調整Uni-MoEの評価を行った。
  論文  参考訳（メタデータ） (2024-05-18T12:16:01Z)
• Med-MoE: Mixture of Domain-Specific Experts for Lightweight Medical Vision-Language Models [17.643421997037514]
  差別的, 生成的両マルチモーダル医療課題に対処する新しい枠組みを提案する。 Med-MoEの学習は、マルチモーダル医療アライメント、命令チューニングとルーティング、ドメイン固有のMoEチューニングの3つのステップで構成されている。 我々のモデルは最先端のベースラインに匹敵する性能を達成できる。
  論文  参考訳（メタデータ） (2024-04-16T02:35:17Z)
• REALM: RAG-Driven Enhancement of Multimodal Electronic Health Records Analysis via Large Language Models [19.62552013839689]
  既存のモデルは、しばしば臨床上の課題に医学的文脈を欠いているため、外部知識の組み入れが促される。 本稿では、マルチモーダルEHR表現を強化するためのRAG(Retrieval-Augmented Generation)駆動フレームワークREALMを提案する。 MIMIC-III 死亡率と可読化タスクに関する実験は,ベースラインよりもREALM フレームワークの優れた性能を示す。
  論文  参考訳（メタデータ） (2024-02-10T18:27:28Z)
• Multimodal Clinical Trial Outcome Prediction with Large Language Models [28.95412904299012]
  臨床試験の結果を予測するために, LIFTED(Multimodal Mixed-of-Experts)アプローチを提案する。 LIFTEDは、異なるモダリティデータを自然言語記述に変換することで統一する。 そして、LIFTEDは統合ノイズ耐性エンコーダを構築し、モーダル固有の言語記述から情報を抽出する。
  論文  参考訳（メタデータ） (2024-02-09T16:18:38Z)
• XAI for In-hospital Mortality Prediction via Multimodal ICU Data [57.73357047856416]
  マルチモーダルICUデータを用いて病院内死亡率を予測するための,効率的で説明可能なAIソリューションを提案する。 我々は,臨床データから異種入力を受信し,意思決定を行うマルチモーダル・ラーニングを我々のフレームワークに導入する。 我々の枠組みは、医療研究において重要な要素の発見を容易にする他の臨床課題に容易に移行することができる。
  論文  参考訳（メタデータ） (2023-12-29T14:28:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。