論文の概要: Sub-Region-Aware Modality Fusion and Adaptive Prompting for Multi-Modal Brain Tumor Segmentation

• arxiv url: http://arxiv.org/abs/2601.15734v1
• Date: Thu, 22 Jan 2026 08:03:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-23 21:37:20.536576
• Title: Sub-Region-Aware Modality Fusion and Adaptive Prompting for Multi-Modal Brain Tumor Segmentation
• Title（参考訳）: マルチモード脳腫瘍分節に対するサブレジオン・アウェア・モダリティ・フュージョンと適応的プロンプト
• Authors: Shadi Alijani, Fereshteh Aghaee Meibodi, Homayoun Najjaran,
• Abstract要約: マルチモーダル医療画像に基礎モデルを適用するための新しい枠組みを提案する。 サブリージョン対応のモダリティアテンションとアダプティブ・プロンプト・エンジニアリングを導入する。 我々はBraTS 2020脳腫瘍セグメンテーションデータセットの枠組みを検証した。
• 参考スコア（独自算出の注目度）: 7.597010311037805
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The successful adaptation of foundation models to multi-modal medical imaging is a critical yet unresolved challenge. Existing models often struggle to effectively fuse information from multiple sources and adapt to the heterogeneous nature of pathological tissues. To address this, we introduce a novel framework for adapting foundation models to multi-modal medical imaging, featuring two key technical innovations: sub-region-aware modality attention and adaptive prompt engineering. The attention mechanism enables the model to learn the optimal combination of modalities for each tumor sub-region, while the adaptive prompting strategy leverages the inherent capabilities of foundation models to refine segmentation accuracy. We validate our framework on the BraTS 2020 brain tumor segmentation dataset, demonstrating that our approach significantly outperforms baseline methods, particularly in the challenging necrotic core sub-region. Our work provides a principled and effective approach to multi-modal fusion and prompting, paving the way for more accurate and robust foundation model-based solutions in medical imaging.
• Abstract（参考訳）: 基礎モデルのマルチモーダル・メディカル・イメージングへの適応は、批判的だが未解決の課題である。 既存のモデルは、複数のソースからの情報を効果的に融合させ、病理組織の異種の性質に適応させるのに苦労することが多い。 これを解決するために,我々は,サブリージョン対応のモダリティアテンションと適応的プロンプトエンジニアリングの2つの重要な技術革新を特徴とする,基礎モデルをマルチモーダル・メディカル・イメージングに適用するための新しい枠組みを導入する。 注意機構により,各腫瘍サブリージョンに対するモダリティの最適組み合わせを学習し,適応的プロンプト戦略は基礎モデルの固有の機能を活用し,セグメンテーションの精度を向上する。 我々はBraTS 2020脳腫瘍セグメンテーションデータセットの枠組みを検証し、我々のアプローチが、特に難易度の高い壊死コアサブリージョンにおいて、ベースライン法を著しく上回っていることを実証した。 我々の研究は、マルチモーダル核融合に対する原則的かつ効果的なアプローチを提供し、医療画像におけるより正確で堅牢な基礎モデルベースのソリューションへの道を開いた。

関連論文リスト

• MIRROR: Multi-Modal Pathological Self-Supervised Representation Learning via Modality Alignment and Retention [57.044719143401664]
  病理組織学と転写学は、腫瘍学の基本的なモダリティであり、疾患の形態学的および分子的側面を包含している。 モーダルアライメントと保持を両立させる新しいマルチモーダル表現学習法であるMIRRORを提案する。 がんの亜型化と生存分析のためのTCGAコホートに関する広範囲な評価は,MIRRORの優れた性能を浮き彫りにしている。
  論文  参考訳（メタデータ） (2025-03-01T07:02:30Z)
• MoRE: Multi-Modal Contrastive Pre-training with Transformers on X-Rays, ECGs, and Diagnostic Report [4.340464264725625]
  我々は,X線,心電図(ECG),放射線学・心臓医学報告を相乗的に組み合わせた,新しいマルチモーダルコントラスト事前学習フレームワークを提案する。 我々はLoRA-Peftを用いて、LLMにおけるトレーニング可能なパラメータを著しく削減し、視覚変換器(ViT)に最近の線形アテンション降下戦略を取り入れ、よりスムーズなアテンションを実現する。 我々の知る限り、我々はX線、心電図、放射線学・医学レポートをこの手法と組み合わせた統合モデルを提案している。
  論文  参考訳（メタデータ） (2024-10-21T17:42:41Z)
• MedMAP: Promoting Incomplete Multi-modal Brain Tumor Segmentation with Alignment [20.358300924109162]
  臨床ではMRIの特定のモダリティが欠如している可能性があるため、より困難なシナリオが提示される。 知識蒸留、ドメイン適応、共有潜在空間は一般的に有望な戦略として現れている。 本稿では,事前学習モデルの置換として,係わるモダリティの潜在的特徴を適切に定義された分布アンカーに整合させる新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2024-08-18T13:16:30Z)
• Unified Modeling Enhanced Multimodal Learning for Precision Neuro-Oncology [8.802214988309684]
  ヒストロジーとゲノム学の両モードの共通性と相補的な特徴を利用する階層的アテンション構造を導入する。 本手法は,グリオーマ診断および予後タスクにおける従来の最先端手法を超越した手法である。
  論文  参考訳（メタデータ） (2024-06-11T09:06:41Z)
• Modality-Aware and Shift Mixer for Multi-modal Brain Tumor Segmentation [12.094890186803958]
  マルチモーダル画像のモダリティ内依存性とモダリティ間依存性を統合した新しいModality Aware and Shift Mixerを提案する。 具体的には,低レベルのモザイク対関係をモデル化するためのニューロイメージング研究に基づいてModality-Awareモジュールを導入し,モザイクパターンを具体化したModality-Shiftモジュールを開発し,高レベルのモザイク間の複雑な関係を自己注意を通して探索する。
  論文  参考訳（メタデータ） (2024-03-04T14:21:51Z)
• Multi-task Paired Masking with Alignment Modeling for Medical Vision-Language Pre-training [55.56609500764344]
  本稿では,マルチタスク・ペアド・マスキング・アライメント(MPMA)に基づく統合フレームワークを提案する。 また, メモリ拡張クロスモーダルフュージョン (MA-CMF) モジュールを導入し, 視覚情報を完全統合し, レポート再構築を支援する。
  論文  参考訳（メタデータ） (2023-05-13T13:53:48Z)
• Robust Multimodal Brain Tumor Segmentation via Feature Disentanglement and Gated Fusion [71.87627318863612]
  画像モダリティの欠如に頑健な新しいマルチモーダルセグメンテーションフレームワークを提案する。 我々のネットワークは、入力モードをモダリティ固有の外観コードに分解するために、特徴不整合を用いる。 我々は,BRATSチャレンジデータセットを用いて,重要なマルチモーダル脳腫瘍セグメンテーション課題に対する本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2020-02-22T14:32:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。