論文の概要: Personalize to generalize: Towards a universal medical multi-modality generalization through personalization
- arxiv url: http://arxiv.org/abs/2411.06106v2
- Date: Wed, 13 Nov 2024 03:19:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-14 12:31:45.427509
- Title: Personalize to generalize: Towards a universal medical multi-modality generalization through personalization
- Title（参考訳）: 一般化へのパーソナライズ--パーソナライズによるユニバーサル医療多目的一般化を目指して
- Authors: Zhaorui Tan, Xi Yang, Tan Pan, Tianyi Liu, Chen Jiang, Xin Guo, Qiufeng Wang, Anh Nguyen, Yuan Qi, Kaizhu Huang, Yuan Cheng,
- Abstract要約: 本稿では,様々なモダリティにまたがるパーソナライズされた不変表現を近似することで,パーソナライズされた一般化を実現するアプローチを提案する。
我々は、パーソナライズされた$X_h$の学習の実現可能性とメリットを検証し、この表現が多種多様な医療タスクにおいて非常に一般化可能であり、伝達可能であることを示す。
- 参考スコア（独自算出の注目度）: 35.5423842780382
- License:
- Abstract: The differences among medical imaging modalities, driven by distinct underlying principles, pose significant challenges for generalization in multi-modal medical tasks. Beyond modality gaps, individual variations, such as differences in organ size and metabolic rate, further impede a model's ability to generalize effectively across both modalities and diverse populations. Despite the importance of personalization, existing approaches to multi-modal generalization often neglect individual differences, focusing solely on common anatomical features. This limitation may result in weakened generalization in various medical tasks. In this paper, we unveil that personalization is critical for multi-modal generalization. Specifically, we propose an approach to achieve personalized generalization through approximating the underlying personalized invariant representation ${X}_h$ across various modalities by leveraging individual-level constraints and a learnable biological prior. We validate the feasibility and benefits of learning a personalized ${X}_h$, showing that this representation is highly generalizable and transferable across various multi-modal medical tasks. Extensive experimental results consistently show that the additionally incorporated personalization significantly improves performance and generalization across diverse scenarios, confirming its effectiveness.
- Abstract（参考訳）: 医用画像のモダリティの違いは、異なる基礎原理によって引き起こされ、マルチモーダル医療タスクにおける一般化に重大な課題を生じさせる。
モダリティのギャップを超えて、臓器の大きさと代謝率の違いのような個々のバリエーションは、モデルがモダリティと多様な集団の両方で効果的に一般化する能力を妨げている。
パーソナライズの重要性にもかかわらず、既存のマルチモーダル一般化へのアプローチは、共通の解剖学的特徴にのみ焦点をあてて、個々の違いを無視することが多い。
この制限は、様々な医療タスクにおける一般化を弱める可能性がある。
本稿では,パーソナライズがマルチモーダルな一般化に不可欠であることを明らかにする。
具体的には,個人レベルの制約と学習可能な生物学的先行性を活用することで,様々なモダリティにまたがるパーソナライズされた不変表現${X}_h$を近似することで,パーソナライズされた一般化を実現するアプローチを提案する。
我々は、パーソナライズされた${X}_h$を学習し、この表現が様々なマルチモーダル医療タスクにおいて非常に一般化可能であり、伝達可能であることを示す。
総合的な実験結果から、追加的に組み込まれたパーソナライゼーションは、様々なシナリオにおけるパフォーマンスと一般化を著しく改善し、その有効性を確認している。
関連論文リスト
- MedViLaM: A multimodal large language model with advanced generalizability and explainability for medical data understanding and generation [40.9095393430871]
MedViLaMは、医用データの汎用モデルに向けた統合視覚言語モデルである。
MedViLaMは、臨床言語や画像など、様々な形の医療データを柔軟にエンコードし、解釈することができる。
ゼロショットの一般化を新しい医療概念やタスクに適用し、異なるタスク間で効果的な伝達学習を行い、ゼロショットの医学推論が出現する事例を提示する。
論文 参考訳（メタデータ） (2024-09-29T12:23:10Z) - Lightening Anything in Medical Images [23.366303785451684]
我々はUniMIEという名前のUniMIE(Universal Medical Image Enhancement)のための、先駆的なトレーニングフリー拡散モデルを導入する。
UniMIEは、微調整を必要とせず、様々な医用画像モダリティにまたがる教師なしの強化能力を実証している。
我々は、13の画像モダリティと15以上の医療タイプを総合的に評価し、他のモダリティ特化モデルやデータ非効率モデルよりも優れた品質、堅牢性、正確性を示す。
論文 参考訳（メタデータ） (2024-06-01T05:07:50Z) - MedM2G: Unifying Medical Multi-Modal Generation via Cross-Guided
Diffusion with Visual Invariant [15.30998544228763]
MedM2Gは、テキスト・ツー・イメージ、画像・トゥ・テキスト、医用モダリティの統一的な生成タスクを統一する医療生成モデルである。
10のデータセットにまたがって5つの医療生成タスクを実行する。
論文 参考訳（メタデータ） (2024-03-07T07:39:00Z) - C^2M-DoT: Cross-modal consistent multi-view medical report generation
with domain transfer network [67.97926983664676]
ドメイン転送ネットワーク(C2M-DoT)を用いたクロスモーダルなマルチビュー医療レポート生成を提案する。
C2M-DoTは、すべてのメトリクスで最先端のベースラインを大幅に上回る。
論文 参考訳（メタデータ） (2023-10-09T02:31:36Z) - Stone Needle: A General Multimodal Large-scale Model Framework towards
Healthcare [1.7894377200944511]
Stone Needleは、医療アプリケーションに特化して設計された、一般的なマルチモーダルな大規模モデルフレームワークである。
アーキテクチャは複数ラウンドの対話でマルチモーダルインタラクションを行うことができる。
異なるモダリティの融合と複雑な医療情報をストーンニードルで処理する能力は、正確な診断、治療勧告、患者医療に有効である。
論文 参考訳（メタデータ） (2023-06-28T09:04:56Z) - Training Like a Medical Resident: Context-Prior Learning Toward Universal Medical Image Segmentation [38.61227663176952]
医用画像理解基盤モデルの構築を目的としたパラダイムであるユニバーサル・メディカルイメージ・セグメンテーションへのシフトを提案する。
医用画像セグメンテーションにおけるデータの異質性やアノテーションの違いに対処する新しい文脈優先学習手法であるHermesを開発した。
論文 参考訳（メタデータ） (2023-06-04T17:39:08Z) - Multi-task Paired Masking with Alignment Modeling for Medical
Vision-Language Pre-training [55.56609500764344]
本稿では,マルチタスク・ペアド・マスキング・アライメント(MPMA)に基づく統合フレームワークを提案する。
また, メモリ拡張クロスモーダルフュージョン (MA-CMF) モジュールを導入し, 視覚情報を完全統合し, レポート再構築を支援する。
論文 参考訳（メタデータ） (2023-05-13T13:53:48Z) - Towards Medical Artificial General Intelligence via Knowledge-Enhanced
Multimodal Pretraining [121.89793208683625]
医療人工知能(MAGI)は、1つの基礎モデルで異なる医療課題を解くことができる。
我々は、Micical-knedge-enhanced mulTimOdal pretRaining (motoR)と呼ばれる新しいパラダイムを提案する。
論文 参考訳（メタデータ） (2023-04-26T01:26:19Z) - Cross-Modal Information Maximization for Medical Imaging: CMIM [62.28852442561818]
病院では、同じ情報を異なるモダリティの下で利用できるようにする特定の情報システムにデータがサイロ化される。
これは、テスト時に常に利用できないかもしれない同じ情報の複数のビューを列車で取得し、使用するためのユニークな機会を提供する。
テスト時にモダリティの低下に耐性を持つマルチモーダル入力の優れた表現を学習することで、利用可能なデータを最大限活用する革新的なフレームワークを提案する。
論文 参考訳（メタデータ） (2020-10-20T20:05:35Z) - Robust Multimodal Brain Tumor Segmentation via Feature Disentanglement
and Gated Fusion [71.87627318863612]
画像モダリティの欠如に頑健な新しいマルチモーダルセグメンテーションフレームワークを提案する。
我々のネットワークは、入力モードをモダリティ固有の外観コードに分解するために、特徴不整合を用いる。
我々は,BRATSチャレンジデータセットを用いて,重要なマルチモーダル脳腫瘍セグメンテーション課題に対する本手法の有効性を検証した。
論文 参考訳（メタデータ） (2020-02-22T14:32:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。