論文の概要: Distilled Prompt Learning for Incomplete Multimodal Survival Prediction
- arxiv url: http://arxiv.org/abs/2503.01653v1
- Date: Mon, 03 Mar 2025 15:28:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-05 19:26:02.550185
- Title: Distilled Prompt Learning for Incomplete Multimodal Survival Prediction
- Title（参考訳）: 不完全なマルチモーダル生存予測のための蒸留プロンプト学習
- Authors: Yingxue Xu, Fengtao Zhou, Chenyu Zhao, Yihui Wang, Can Yang, Hao Chen,
- Abstract要約: 本稿では,大規模言語モデル (LLM) の強強靭性を欠くモダリティに活用するために,DisPro(Distilled Prompt Learning framework)を提案する。
第一段階では、ユニモーダル・プロンプティング (UniPro) は各モーダルの知識分布を蒸留する。
第2段階では、MultiPro (MultiPro) は利用可能なモダリティを欠落したモダリティを推測するプロンプトとして利用する。
- 参考スコア（独自算出の注目度）: 13.405184669699137
- License:
- Abstract: The integration of multimodal data including pathology images and gene profiles is widely applied in precise survival prediction. Despite recent advances in multimodal survival models, collecting complete modalities for multimodal fusion still poses a significant challenge, hindering their application in clinical settings. Current approaches tackling incomplete modalities often fall short, as they typically compensate for only a limited part of the knowledge of missing modalities. To address this issue, we propose a Distilled Prompt Learning framework (DisPro) to utilize the strong robustness of Large Language Models (LLMs) to missing modalities, which employs two-stage prompting for compensation of comprehensive information for missing modalities. In the first stage, Unimodal Prompting (UniPro) distills the knowledge distribution of each modality, preparing for supplementing modality-specific knowledge of the missing modality in the subsequent stage. In the second stage, Multimodal Prompting (MultiPro) leverages available modalities as prompts for LLMs to infer the missing modality, which provides modality-common information. Simultaneously, the unimodal knowledge acquired in the first stage is injected into multimodal inference to compensate for the modality-specific knowledge of the missing modality. Extensive experiments covering various missing scenarios demonstrated the superiority of the proposed method. The code is available at https://github.com/Innse/DisPro.
- Abstract（参考訳）: 病理画像と遺伝子プロファイルを含むマルチモーダルデータの統合は、正確な生存予測に広く応用されている。
近年のマルチモーダル・サバイバル・モデルの発展にもかかわらず、マルチモーダル・フュージョンのための完全なモダリティの収集は依然として大きな課題であり、臨床応用を妨げている。
現在、不完全モダリティに取り組むアプローチは、しばしば不足モダリティに関する知識の限られた部分だけを補うため、不足する。
この問題に対処するため,大規模言語モデル(LLM)の強靭性を欠落モダリティに活用するためのDisPro(Distilled Prompt Learning framework)を提案する。
第一段階では、ユニモーダル・プロンプティング (UniPro) は各モーダリティの知識分布を蒸留し、欠落したモーダリティのモダリティ固有の知識を補う準備をする。
第2段階では、マルチモーダル・プロンプティング(MultiPro)は、利用可能なモダリティをLLMが欠落したモダリティを推測するプロンプトとして利用し、モダリティの共通情報を提供する。
同時に、第1段階で得られた一助的知識は、欠落したモダリティのモダリティ固有の知識を補うために、マルチモーダル推論に注入される。
様々なシナリオを網羅した大規模な実験により,提案手法の優位性を実証した。
コードはhttps://github.com/Innse/DisPro.comで入手できる。
関連論文リスト
- Incomplete Modality Disentangled Representation for Ophthalmic Disease Grading and Diagnosis [16.95583564875497]
本稿では,不完全なモダリティ・ディアンタングル表現(IMDR)戦略を提案する。
4つのマルチモーダルデータセットの実験により、提案したIMDRが最先端の手法を大幅に上回ることを示した。
論文 参考訳（メタデータ） (2025-02-17T12:10:35Z) - Continually Evolved Multimodal Foundation Models for Cancer Prognosis [50.43145292874533]
がん予後は、患者の予後と生存率を予測する重要なタスクである。
これまでの研究では、臨床ノート、医療画像、ゲノムデータなどの多様なデータモダリティを統合し、補完的な情報を活用している。
既存のアプローチには2つの大きな制限がある。まず、各病院の患者記録など、各種のトレーニングに新しく到着したデータを組み込むことに苦慮する。
第二に、ほとんどのマルチモーダル統合手法は単純化された結合やタスク固有のパイプラインに依存しており、モダリティ間の複雑な相互依存を捉えることができない。
論文 参考訳（メタデータ） (2025-01-30T06:49:57Z) - AMM-Diff: Adaptive Multi-Modality Diffusion Network for Missing Modality Imputation [2.8498944632323755]
臨床実践において、フルイメージングは必ずしも実現可能ではなく、多くの場合、複雑な取得プロトコル、厳格なプライバシ規則、特定の臨床ニーズのためである。
有望な解決策は、利用可能なものから欠落したモダリティが生成されるデータ計算の欠如である。
適応多モード拡散ネットワーク (AMM-Diff) を提案する。
論文 参考訳（メタデータ） (2025-01-22T12:29:33Z) - Cross-Modal Few-Shot Learning: a Generative Transfer Learning Framework [58.362064122489166]
本稿では,複数モーダルからインスタンスを識別するクロスモーダルなFew-Shot Learningタスクを提案する。
本稿では,1つの段階からなる生成的転帰学習フレームワークを提案する。1つは豊富な一助データに対する学習を伴い,もう1つは新しいデータに適応するための転帰学習に焦点を当てる。
以上の結果から,GTLは4つの異なるマルチモーダルデータセット間の最先端手法よりも優れた性能を示す。
論文 参考訳（メタデータ） (2024-10-14T16:09:38Z) - Deep Correlated Prompting for Visual Recognition with Missing Modalities [22.40271366031256]
大規模マルチモーダルモデルでは、ペア化された大規模マルチモーダルトレーニングデータを用いて、一連のタスクに対して優れた性能を示す。
しかし、プライバシーの制約やコレクションの難しさのために、この単純な仮定が現実の世界で常に成り立つとは限らない。
そこで本研究では,大規模事前学習型マルチモーダルモデルを用いて,欠落事例を異なる入力タイプとして扱うことで,欠落したモダリティシナリオに対処する学習手法を提案する。
論文 参考訳（メタデータ） (2024-10-09T05:28:43Z) - Missing Modality Prediction for Unpaired Multimodal Learning via Joint Embedding of Unimodal Models [6.610033827647869]
実世界のシナリオでは、完全なマルチモーダルデータを一貫して取得することは重大な課題である。
これはしばしば、特定のモダリティのデータが欠落しているモダリティの問題につながる。
自己教師型共同埋め込み学習手法を用いて, パラメータ効率のよい未学習モデルの微調整を行う新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2024-07-17T14:44:25Z) - Confidence-aware multi-modality learning for eye disease screening [58.861421804458395]
眼疾患スクリーニングのための新しい多モード顕在核融合パイプラインを提案する。
モダリティごとに信頼度を測り、マルチモダリティ情報をエレガントに統合する。
パブリックデータセットと内部データセットの両方の実験結果は、我々のモデルが堅牢性に優れていることを示している。
論文 参考訳（メタデータ） (2024-05-28T13:27:30Z) - Multimodal Representation Learning by Alternating Unimodal Adaptation [73.15829571740866]
MLA(Multimodal Learning with Alternating Unimodal Adaptation)を提案する。
MLAは、それを交互に一助学習プロセスに変換することで、従来の共同マルチモーダル学習プロセスを再構築する。
共有ヘッドを通じてモーダル間相互作用をキャプチャし、異なるモーダル間で連続的な最適化を行う。
実験は5つの多様なデータセットで行われ、完全なモダリティを持つシナリオと、欠落したモダリティを持つシナリオを含む。
論文 参考訳（メタデータ） (2023-11-17T18:57:40Z) - Unified Multi-modal Unsupervised Representation Learning for
Skeleton-based Action Understanding [62.70450216120704]
教師なしの事前訓練は骨格に基づく行動理解において大きな成功を収めた。
我々はUmURLと呼ばれる統一マルチモーダル非教師なし表現学習フレームワークを提案する。
UmURLは効率的な早期融合戦略を利用して、マルチモーダル機能を単一ストリームで共同でエンコードする。
論文 参考訳（メタデータ） (2023-11-06T13:56:57Z) - One-stage Modality Distillation for Incomplete Multimodal Learning [7.791488931628906]
本稿では,特権的知識伝達とモダリティ情報融合を一体化する一段階のモダリティ蒸留フレームワークを提案する。
提案手法は,各シーンにおける不完全なモダリティ入力の問題を克服し,最先端の性能を実現する。
論文 参考訳（メタデータ） (2023-09-15T07:12:27Z) - Learning Unseen Modality Interaction [54.23533023883659]
マルチモーダル学習は、すべてのモダリティの組み合わせが訓練中に利用でき、クロスモーダル対応を学ぶことを前提としている。
我々は、目に見えないモダリティ相互作用の問題を提起し、第1の解を導入する。
異なるモジュラリティの多次元的特徴を、豊富な情報を保存した共通空間に投影するモジュールを利用する。
論文 参考訳（メタデータ） (2023-06-22T10:53:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。