論文の概要: AdaFuse: Adaptive Multimodal Fusion for Lung Cancer Risk Prediction via Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2602.00347v1
- Date: Fri, 30 Jan 2026 21:51:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-03 19:28:33.128304
- Title: AdaFuse: Adaptive Multimodal Fusion for Lung Cancer Risk Prediction via Reinforcement Learning
- Title(参考訳): AdaFuse:強化学習による肺がんリスク予測のための適応型マルチモーダルフュージョン
- Authors: Chongyu Qu, Zhengyi Lu, Yuxiang Lai, Thomas Z. Li, Junchao Zhu, Junlin Guo, Juming Xiong, Yanfan Zhu, Yuechen Yang, Allen J. Luna, Kim L. Sandler, Bennett A. Landman, Yuankai Huo,
- Abstract要約: 肺がんリスク予測のための患者固有のモダリティ選択と融合戦略を学習する適応型多モード融合フレームワークであるAdaFuseを提案する。
AdaFuseは、ポリシーネットワークが追加のモダリティを組み込むか、既に取得した情報に基づいて予測に進むかを反復的に決定する、シーケンシャルな決定プロセスとしてマルチモーダル融合を定式化する。
- 参考スコア(独自算出の注目度): 5.519724506536996
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multimodal fusion has emerged as a promising paradigm for disease diagnosis and prognosis, integrating complementary information from heterogeneous data sources such as medical images, clinical records, and radiology reports. However, existing fusion methods process all available modalities through the network, either treating them equally or learning to assign different contribution weights, leaving a fundamental question unaddressed: for a given patient, should certain modalities be used at all? We present AdaFuse, an adaptive multimodal fusion framework that leverages reinforcement learning (RL) to learn patient-specific modality selection and fusion strategies for lung cancer risk prediction. AdaFuse formulates multimodal fusion as a sequential decision process, where the policy network iteratively decides whether to incorporate an additional modality or proceed to prediction based on the information already acquired. This sequential formulation enables the model to condition each selection on previously observed modalities and terminate early when sufficient information is available, rather than committing to a fixed subset upfront. We evaluate AdaFuse on the National Lung Screening Trial (NLST) dataset. Experimental results demonstrate that AdaFuse achieves the highest AUC (0.762) compared to the best single-modality baseline (0.732), the best fixed fusion strategy (0.759), and adaptive baselines including DynMM (0.754) and MoE (0.742), while using fewer FLOPs than all triple-modality methods. Our work demonstrates the potential of reinforcement learning for personalized multimodal fusion in medical imaging, representing a shift from uniform fusion strategies toward adaptive diagnostic pipelines that learn when to consult additional modalities and when existing information suffices for accurate prediction.
- Abstract(参考訳): マルチモーダル融合は, 医療画像, 臨床記録, 放射線診断などの異種データソースからの相補的情報を統合し, 疾患診断と予後に有望なパラダイムとして浮上している。
しかし、既存の融合法は、ネットワークを通じて利用可能なすべてのモダリティを処理し、それらを平等に扱うか、異なるコントリビューション重みを割り当てることを学ぶ。
肺がんリスク予測のための患者固有のモダリティ選択と融合戦略を学習するために強化学習(RL)を利用する適応型マルチモーダル融合フレームワークであるAdaFuseを提案する。
AdaFuseは、ポリシーネットワークが追加のモダリティを組み込むか、既に取得した情報に基づいて予測に進むかを反復的に決定する、シーケンシャルな決定プロセスとしてマルチモーダル融合を定式化する。
このシーケンシャルな定式化により、モデルは事前に観測されたモダリティに対して各選択を条件付けし、固定されたサブセットにコミットするのではなく、十分な情報が得られれば早期に終了することができる。
In the National Lung Screening Trial (NLST) data。
AdaFuse は AUC (0.762) を最高の単一モダリティベースライン (0.732) 、最良の固定融合戦略 (0.759) 、適応ベースライン DynMM (0.754) や MoE (0.742) に比べて高い AUC (0.762) を達成している。
本研究は, 医用画像における多モード融合のための強化学習の可能性を示し, 統一融合戦略から適応型診断パイプラインへのシフトを示すものである。
関連論文リスト
- A Federated and Parameter-Efficient Framework for Large Language Model Training in Medicine [59.78991974851707]
大規模言語モデル(LLM)は、質問応答や診断など、医療ベンチマークにおいて強力なパフォーマンスを示している。
ほとんどの医療用LDMは、異種システムの一般化性と安全性の制限に直面している単一の機関のデータに基づいて訓練されている。
本稿では, LLMを医療応用に適用するためのモデルに依存しない, パラメータ効率のよいフェデレーション学習フレームワークを提案する。
論文 参考訳(メタデータ) (2026-01-29T18:48:21Z) - Handling Missing Modalities in Multimodal Survival Prediction for Non-Small Cell Lung Cancer [28.475952006436227]
我々はCT(Computed Tomography)、WSI(Whole-Slide Histopathology)画像、および非切除性ステージII-III NSCLCにおける総合生存モデリングのための構造化された臨床変数を統合した、欠落したマルチモーダルサバイバルフレームワークを提案する。
実験結果から, 中間核融合は早期および後期核融合戦略と同様に, 単相塩基性よりも一貫して優れていた。
論文 参考訳(メタデータ) (2026-01-15T13:38:19Z) - impuTMAE: Multi-modal Transformer with Masked Pre-training for Missing Modalities Imputation in Cancer Survival Prediction [75.43342771863837]
我々は,効率的なマルチモーダル事前学習戦略を備えた新しいトランスフォーマーに基づくエンドツーエンドアプローチである impuTMAE を紹介する。
マスクされたパッチを再構築することで、モダリティの欠如を同時に示唆しながら、モダリティ間の相互作用とモダリティ内相互作用を学習する。
本モデルは,TGA-GBM/LGGとBraTSデータセットを用いたグリオーマ生存予測のために,異種不完全データに基づいて事前訓練を行った。
論文 参考訳(メタデータ) (2025-08-08T10:01:16Z) - AdaFusion: Prompt-Guided Inference with Adaptive Fusion of Pathology Foundation Models [49.550545038402184]
本稿では,新しいプロンプト誘導推論フレームワークであるAdaFusionを提案する。
本手法は,多様なモデルからタイルレベルの特徴を圧縮・整列する。
AdaFusionは、分類タスクと回帰タスクの両方にわたって、個々のPFMを一貫して上回っている。
論文 参考訳(メタデータ) (2025-08-07T07:09:31Z) - Continually Evolved Multimodal Foundation Models for Cancer Prognosis [50.43145292874533]
がん予後は、患者の予後と生存率を予測する重要なタスクである。
これまでの研究では、臨床ノート、医療画像、ゲノムデータなどの多様なデータモダリティを統合し、補完的な情報を活用している。
既存のアプローチには2つの大きな制限がある。まず、各病院の患者記録など、各種のトレーニングに新しく到着したデータを組み込むことに苦慮する。
第二に、ほとんどのマルチモーダル統合手法は単純化された結合やタスク固有のパイプラインに依存しており、モダリティ間の複雑な相互依存を捉えることができない。
論文 参考訳(メタデータ) (2025-01-30T06:49:57Z) - XAI for In-hospital Mortality Prediction via Multimodal ICU Data [57.73357047856416]
マルチモーダルICUデータを用いて病院内死亡率を予測するための,効率的で説明可能なAIソリューションを提案する。
我々は,臨床データから異種入力を受信し,意思決定を行うマルチモーダル・ラーニングを我々のフレームワークに導入する。
我々の枠組みは、医療研究において重要な要素の発見を容易にする他の臨床課題に容易に移行することができる。
論文 参考訳(メタデータ) (2023-12-29T14:28:04Z) - Cross-modality Attention-based Multimodal Fusion for Non-small Cell Lung
Cancer (NSCLC) Patient Survival Prediction [0.6476298550949928]
非小細胞肺癌(NSCLC)における患者生存予測のためのモダリティ特異的知識の統合を目的としたマルチモーダル核融合パイプラインを提案する。
組織画像データとRNA-seqデータのみを用いてc-index0.5772と0.5885を達成した単一モダリティと比較して, 提案した融合法はc-index0.6587を達成した。
論文 参考訳(メタデータ) (2023-08-18T21:42:52Z) - RadioPathomics: Multimodal Learning in Non-Small Cell Lung Cancer for
Adaptive Radiotherapy [1.8161758803237067]
非小細胞肺癌に対する放射線治療成績を予測するため, マルチモーダルレイトフュージョン法を開発した。
実験により、AUCが90.9%ドルと同等のマルチモーダルパラダイムが、各ユニモーダルアプローチより優れていることが示された。
論文 参考訳(メタデータ) (2022-04-26T16:32:52Z) - Deep Orthogonal Fusion: Multimodal Prognostic Biomarker Discovery
Integrating Radiology, Pathology, Genomic, and Clinical Data [0.32622301272834525]
グリオーマ患者の生存率 (OS) を, 深層直交核融合モデルを用いて予測した。
このモデルは、MRI検査、生検に基づくモダリティ、臨床変数から得た情報を総合的なマルチモーダルリスクスコアに組み合わせることを学ぶ。
グリオーマ患者を臨床的サブセット内でOSにより明らかに層分けし、予後不良な臨床グレーディングと分子サブタイプにさらに粒度を付加する。
論文 参考訳(メタデータ) (2021-07-01T17:59:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。