論文の概要: Towards a Universal 3D Medical Multi-modality Generalization via Learning Personalized Invariant Representation

• arxiv url: http://arxiv.org/abs/2411.06106v4
• Date: Thu, 24 Jul 2025 03:38:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-25 13:02:36.798052
• Title: Towards a Universal 3D Medical Multi-modality Generalization via Learning Personalized Invariant Representation
• Title（参考訳）: パーソナライズされた不変表現の学習によるユニバーサル3次元医療マルチモーダリティの一般化に向けて
• Authors: Zhaorui Tan, Xi Yang, Tan Pan, Tianyi Liu, Chen Jiang, Xin Guo, Qiufeng Wang, Anh Nguyen, Yuan Qi, Kaizhu Huang, Yuan Cheng,
• Abstract要約: 既存の方法はしばしば共通の解剖学的パターンにのみ集中し、個々の違いを無視する。 個人化のためのinvariant representation $mathbbX_h$で事前学習し、様々な下流タスクを微調整する2段階のアプローチを提案する。 本手法は, パーソナライゼーションが欠如している手法と比較して, 多様なマルチモーダル医療タスクにおける一般化性と伝達性が高い。
• 参考スコア（独自算出の注目度）: 35.5423842780382
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Variations in medical imaging modalities and individual anatomical differences pose challenges to cross-modality generalization in multi-modal tasks. Existing methods often concentrate exclusively on common anatomical patterns, thereby neglecting individual differences and consequently limiting their generalization performance. This paper emphasizes the critical role of learning individual-level invariance, i.e., personalized representation $\mathbb{X}_h$, to enhance multi-modality generalization under both homogeneous and heterogeneous settings. It reveals that mappings from individual biological profile to different medical modalities remain static across the population, which is implied in the personalization process. We propose a two-stage approach: pre-training with invariant representation $\mathbb{X}_h$ for personalization, then fine-tuning for diverse downstream tasks. We provide both theoretical and empirical evidence demonstrating the feasibility and advantages of personalization, showing that our approach yields greater generalizability and transferability across diverse multi-modal medical tasks compared to methods lacking personalization. Extensive experiments further validate that our approach significantly enhances performance in various generalization scenarios.
• Abstract（参考訳）: 医療画像のモダリティの変化と個々の解剖学的差異は、マルチモーダルタスクにおける相互モダリティの一般化に困難をもたらす。 既存の手法はしばしば共通の解剖学的パターンにのみ集中し、個々の違いを無視し、その結果一般化性能を制限する。 本稿では,個人レベルの不変性,すなわちパーソナライズされた表現 $\mathbb{X}_h$ の学習における重要な役割を強調する。 個々の生物学的プロファイルから異なる医学的モダリティへのマッピングは、個体群全体にわたって静的であり、パーソナライズプロセスに暗示されている。 個人化のための不変表現 $\mathbb{X}_h$ を事前学習し、様々な下流タスクを微調整する2段階のアプローチを提案する。 パーソナライゼーションの可能性を実証する理論的および実証的な証拠を共に提示し、パーソナライゼーションの欠如する手法と比較して、我々のアプローチは多様なマルチモーダル医療タスクにおいて、より一般化性と伝達性が高いことを示す。 さらに大規模な実験により,本手法が様々な一般化シナリオにおける性能を著しく向上させることが確認された。

関連論文リスト

• Multimodal Causal-Driven Representation Learning for Generalizable Medical Image Segmentation [56.52520416420957]
  医用画像セグメンテーションにおける領域一般化に取り組むために, MCDRL(Multimodal Causal-Driven Representation Learning)を提案する。 MCDRLは競合する手法より一貫して優れ、セグメンテーション精度が優れ、堅牢な一般化性を示す。
  論文  参考訳（メタデータ） (2025-08-07T03:41:41Z)
• Semantic Alignment of Unimodal Medical Text and Vision Representations [1.8848810602776873]
  汎用AIモデルは、セマンティックな関連データを処理する際に、同様の潜在空間を示すことができる。 我々は、汎用AIを専門の医療知識で橋渡しできるセマンティックアライメントについて述べる。 モダリティ間のセマンティックアライメントを利用する一元視覚エンコーダの新しいゼロショット分類手法を提案する。
  論文  参考訳（メタデータ） (2025-03-06T14:28:17Z)
• MIRROR: Multi-Modal Pathological Self-Supervised Representation Learning via Modality Alignment and Retention [52.106879463828044]
  病理組織学と転写学は、腫瘍学の基本的なモダリティであり、疾患の形態学的および分子的側面を包含している。 モーダルアライメントと保持を両立させる新しいマルチモーダル表現学習法であるMIRRORを提案する。 がんの亜型化と生存分析のためのTCGAコホートに関する広範囲な評価は,MIRRORの優れた性能を浮き彫りにしている。
  論文  参考訳（メタデータ） (2025-03-01T07:02:30Z)
• Test-Time Modality Generalization for Medical Image Segmentation [0.9092907230570326]
  一般的な医用画像のセグメンテーションは、さまざまな臨床現場で一貫したパフォーマンスを確保するために不可欠である。 MASP(Modality-Aware Style Projection)とMSIW(Modality-Sensitive Instance Whitening)の2つのコアコンポーネントからなる新しいテスト時モダリティ一般化(TTMG)フレームワークを紹介する。 MASPは、見た各モダリティに属するテストインスタンスの可能性を推定し、モダリティ固有のスタイルベースを使用して分布にマッピングし、そのプロジェクションを効果的に導く。 MSIWは、モダリティの不変性を保ちながら、モダリティに敏感な情報を選択的に抑制するために訓練中に適用される。
  論文  参考訳（メタデータ） (2025-02-27T01:32:13Z)
• Continually Evolved Multimodal Foundation Models for Cancer Prognosis [50.43145292874533]
  がん予後は、患者の予後と生存率を予測する重要なタスクである。 これまでの研究では、臨床ノート、医療画像、ゲノムデータなどの多様なデータモダリティを統合し、補完的な情報を活用している。 既存のアプローチには2つの大きな制限がある。まず、各病院の患者記録など、各種のトレーニングに新しく到着したデータを組み込むことに苦慮する。 第二に、ほとんどのマルチモーダル統合手法は単純化された結合やタスク固有のパイプラインに依存しており、モダリティ間の複雑な相互依存を捉えることができない。
  論文  参考訳（メタデータ） (2025-01-30T06:49:57Z)
• Generalizable Single-Source Cross-modality Medical Image Segmentation via Invariant Causal Mechanisms [16.699205051836657]
  単一ソースドメインの一般化は、見当たらないターゲットドメインをうまく一般化できる単一のソースドメインからモデルを学ぶことを目的としている。 これはコンピュータビジョンにおいて重要なタスクであり、特にドメインシフトが一般的である医療画像に関係している。 我々は,領域不変表現の学習に関する因果性に着想を得た理論的洞察と拡散に基づく拡張の最近の進歩を組み合わせることにより,多様な画像モダリティの一般化を向上する。
  論文  参考訳（メタデータ） (2024-11-07T22:35:17Z)
• MedViLaM: A multimodal large language model with advanced generalizability and explainability for medical data understanding and generation [40.9095393430871]
  MedViLaMは、医用データの汎用モデルに向けた統合視覚言語モデルである。 MedViLaMは、臨床言語や画像など、様々な形の医療データを柔軟にエンコードし、解釈することができる。 ゼロショットの一般化を新しい医療概念やタスクに適用し、異なるタスク間で効果的な伝達学習を行い、ゼロショットの医学推論が出現する事例を提示する。
  論文  参考訳（メタデータ） (2024-09-29T12:23:10Z)
• 3M-Health: Multimodal Multi-Teacher Knowledge Distillation for Mental Health Detection [9.469887408109251]
  メンタルヘルス分類のためのマルチモーダル・マルチティーラー知識蒸留モデルを提案する。 多様な特徴を統合するための単純な結合にしばしば依存する従来のアプローチとは異なり、我々のモデルは様々な性質の入力を適切に表現するという課題に対処する。
  論文  参考訳（メタデータ） (2024-07-12T06:22:45Z)
• Confidence-aware multi-modality learning for eye disease screening [58.861421804458395]
  眼疾患スクリーニングのための新しい多モード顕在核融合パイプラインを提案する。 モダリティごとに信頼度を測り、マルチモダリティ情報をエレガントに統合する。 パブリックデータセットと内部データセットの両方の実験結果は、我々のモデルが堅牢性に優れていることを示している。
  論文  参考訳（メタデータ） (2024-05-28T13:27:30Z)
• Diversified and Personalized Multi-rater Medical Image Segmentation [43.47142636000329]
  本稿ではD-Personaという2段階のフレームワークを提案する。 ステージIでは、複数のアノテーションを使って確率的U-Netモデルをトレーニングし、予測の多様性を改善するために制約付き損失を制限した。 ステージIIでは、複数の注意に基づく投影ヘッドを設計し、対応する専門家のプロンプトを共有潜在空間から適応的にクエリし、パーソナライズされた医用画像セグメンテーションを実行する。
  論文  参考訳（メタデータ） (2024-03-20T09:00:19Z)
• Towards Unified Multi-Modal Personalization: Large Vision-Language Models for Generative Recommendation and Beyond [87.1712108247199]
  我々の目標は、マルチモーダルパーソナライゼーションシステム(UniMP)のための統一パラダイムを確立することである。 我々は、幅広いパーソナライズされたニーズに対処できる汎用的でパーソナライズされた生成フレームワークを開発する。 我々の手法は、パーソナライズされたタスクのための基礎言語モデルの能力を高める。
  論文  参考訳（メタデータ） (2024-03-15T20:21:31Z)
• Enhancing Multimodal Unified Representations for Cross Modal Generalization [52.16653133604068]
  我々は、コードブック(TOC)のトレーニング不要最適化と、FCID(Fin and Coarse Cross-modal Information Disentangling)を提案する。 これらの方法は、各モードの特定の特性に合わせて、事前学習から統一された離散表現を洗練し、きめ細かな情報と粗い情報の絡み合わせを行う。
  論文  参考訳（メタデータ） (2024-03-08T09:16:47Z)
• Stone Needle: A General Multimodal Large-scale Model Framework towards Healthcare [1.7894377200944511]
  Stone Needleは、医療アプリケーションに特化して設計された、一般的なマルチモーダルな大規模モデルフレームワークである。 アーキテクチャは複数ラウンドの対話でマルチモーダルインタラクションを行うことができる。 異なるモダリティの融合と複雑な医療情報をストーンニードルで処理する能力は、正確な診断、治療勧告、患者医療に有効である。
  論文  参考訳（メタデータ） (2023-06-28T09:04:56Z)
• BiomedGPT: A Generalist Vision-Language Foundation Model for Diverse Biomedical Tasks [68.39821375903591]
  汎用AIは、さまざまなデータ型を解釈する汎用性のために、制限に対処する可能性を秘めている。 本稿では,最初のオープンソースかつ軽量な視覚言語基盤モデルであるBiomedGPTを提案する。
  論文  参考訳（メタデータ） (2023-05-26T17:14:43Z)
• Ambiguous Medical Image Segmentation using Diffusion Models [60.378180265885945]
  我々は,グループ洞察の分布を学習することで,複数の可算出力を生成する単一拡散モデルに基づくアプローチを提案する。 提案モデルでは,拡散の固有のサンプリングプロセスを利用してセグメンテーションマスクの分布を生成する。 その結果,提案手法は既存の最先端曖昧なセグメンテーションネットワークよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-04-10T17:58:22Z)
• Representational Ethical Model Calibration [0.7078141380481605]
  エピステム・エクイティ(英: Epistem equity)は、意思決定におけるインテリジェンスの比較忠実度である。 その量化の一般的な枠組みは、言うまでもなく、保証は存在しない。 表現倫理モデルのための包括的枠組みを導入する。
  論文  参考訳（メタデータ） (2022-07-25T10:33:39Z)
• Multi-Domain Balanced Sampling Improves Out-of-Distribution Generalization of Chest X-ray Pathology Prediction Models [67.2867506736665]
  そこで本研究では, 簡単なバッチサンプリング手法を用いた胸部X線像の分布外一般化法を提案する。 複数のトレーニングデータセット間のバランスの取れたサンプリングは、バランスを取らずにトレーニングされたベースラインモデルよりもパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2021-12-27T15:28:01Z)
• Multimodal Routing: Improving Local and Global Interpretability of Multimodal Language Analysis [103.69656907534456]
  人間中心のタスクに強いパフォーマンスを持つ最近のマルチモーダル学習は、しばしばブラックボックスである。 本稿では,各入力サンプルに対して,入力モダリティと出力表現の重み付けを異なる方法で調整するマルチモーダルルーティングを提案する。
  論文  参考訳（メタデータ） (2020-04-29T13:42:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。