論文の概要: Design Choices for Multimodal Transformer Learning with Missing and Longitudinal Healthcare Data

• arxiv url: http://arxiv.org/abs/2610.14436v1
• Date: Sat, 10 Oct 2026 01:05:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 21:32:58.617615
• Title: Design Choices for Multimodal Transformer Learning with Missing and Longitudinal Healthcare Data
• Title（参考訳）: 欠席・縦断医療データを用いたマルチモーダルトランスフォーマー学習のための設計選択
• Abstract要約: マルチモーダル学習は、異種データソースからの相補的な情報を統合することにより、予測を改善する可能性を提供する。 不完全なマルチモーダルデータは、モダリティの欠如やモダリティの欠如といった課題をもたらす。 本研究では,3つの異なる癌データセットを用いて,これらの設計選択について検討する。
• 参考スコア（独自算出の注目度）: 9.050510996987436
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal learning offers the potential to improve predictions by integrating complementary information from heterogeneous data sources. However, multimodal datasets are frequently incomplete, raising important questions about how models should handle missing information. Although recent approaches increasingly rely on Transformer-based architectures for multimodal fusion, incomplete multimodal data introduces challenges such as missing modalities and intra-modal missingness, which motivate key architectural design choices, such as tokenization granularity. In addition, many datasets are longitudinal, with observations collected across multiple time points. The sequential nature of the Transformer architectures provides a natural framework for modeling such data, but introduces additional considerations, such as how temporal information should be represented. In this study, we systematically investigate these design choices using three different cancer datasets. We compare modality-level and feature-level tokenization and evaluate attention masking and imputation as strategies for handling missing information, both naturally occurring in the datasets and synthetically induced. We further investigate approaches for incorporating temporal information in our training process and how to model it. Experiments are conducted with unimodal and multimodal configurations, as well as different levels of missingness for binary survival classification and multiple time encoding strategies for discrete-time survival prediction. Our results show that while multimodal outperforms unimodal results, missing data heavily impacts predictions and thus effective design choices such as tokenization granularity, and intra-missing handling is essential for reliable prediction.
• Abstract（参考訳）: マルチモーダル学習は、異種データソースからの相補的な情報を統合することにより、予測を改善する可能性を提供する。 しかし、マルチモーダルデータセットはしばしば不完全であり、モデルがどのように行方不明の情報を扱うべきかという重要な疑問を提起する。 近年のアプローチではトランスフォーマーをベースとしたマルチモーダル融合のアーキテクチャにますます依存しているが、不完全なマルチモーダルデータにはモダリティの欠如や、トークン化の粒度などの重要な設計上の選択を動機付けるモダリティの欠如といった課題が伴っている。 さらに、多くのデータセットは縦長であり、観測は複数の時点にわたって収集される。 Transformerアーキテクチャのシーケンシャルな性質は、このようなデータをモデリングするための自然なフレームワークを提供するが、時間的情報をどのように表現すべきかといった追加の考慮を導入する。 本研究では,3つの異なる癌データセットを用いて,これらの設計選択を体系的に検討する。 本研究は,モダリティレベルのトークン化と特徴レベルのトークン化を比較し,アテンションマスキングとインプットを,データセット内で自然に発生し合成的に誘導される欠落情報を扱うための戦略として評価する。 さらに、時間的情報をトレーニングプロセスに組み込むためのアプローチと、それをモデル化する方法についても検討する。 一様および多モード構成で実験を行い、二項生存の分類と離散時間生存予測のための多重時間符号化戦略の相違点について実験を行った。 その結果、マルチモーダルは単調な結果よりも優れるが、欠落したデータは予測に大きく影響し、トークン化の粒度やミッション内ハンドリングといった効果的な設計選択は信頼性の高い予測に不可欠であることが示唆された。

関連論文リスト

• Multi-modal Bayesian Neural Network Surrogates with Conjugate Last-Layer Estimation [0.30586855806896046]
  我々は、2つのマルチモーダルニューラルネットワークサロゲートモデルを開発し、最終層における条件共役分布を利用してモデルパラメータを推定する。 我々は,スカラーデータと時系列データの両方に対する一様サロゲートモデルと比較して,予測精度と不確実性が改善されたことを示す。
  論文  参考訳（メタデータ） (2025-09-26T00:13:57Z)
• impuTMAE: Multi-modal Transformer with Masked Pre-training for Missing Modalities Imputation in Cancer Survival Prediction [75.43342771863837]
  我々は,効率的なマルチモーダル事前学習戦略を備えた新しいトランスフォーマーに基づくエンドツーエンドアプローチである impuTMAE を紹介する。 マスクされたパッチを再構築することで、モダリティの欠如を同時に示唆しながら、モダリティ間の相互作用とモダリティ内相互作用を学習する。 本モデルは,TGA-GBM/LGGとBraTSデータセットを用いたグリオーマ生存予測のために,異種不完全データに基づいて事前訓練を行った。
  論文  参考訳（メタデータ） (2025-08-08T10:01:16Z)
• Continually Evolved Multimodal Foundation Models for Cancer Prognosis [50.43145292874533]
  がん予後は、患者の予後と生存率を予測する重要なタスクである。 これまでの研究では、臨床ノート、医療画像、ゲノムデータなどの多様なデータモダリティを統合し、補完的な情報を活用している。 既存のアプローチには2つの大きな制限がある。まず、各病院の患者記録など、各種のトレーニングに新しく到着したデータを組み込むことに苦慮する。 第二に、ほとんどのマルチモーダル統合手法は単純化された結合やタスク固有のパイプラインに依存しており、モダリティ間の複雑な相互依存を捉えることができない。
  論文  参考訳（メタデータ） (2025-01-30T06:49:57Z)
• Towards Precision Healthcare: Robust Fusion of Time Series and Image Data [8.579651833717763]
  本稿では,データの種類毎に2つのエンコーダを用いて,視覚情報と時間情報の両方において複雑なパターンをモデル化する手法を提案する。 また、不均衡なデータセットに対処し、不確実性損失関数を使用し、改善した結果を得る。 本手法は,臨床応用におけるマルチモーダルディープラーニングの改善に有効であることを示す。
  論文  参考訳（メタデータ） (2024-05-24T11:18:13Z)
• Beyond DAGs: A Latent Partial Causal Model for Multimodal Learning [80.44084021062105]
  本稿では,非方向エッジで連結された2つの潜在結合変数を特徴とする,多モーダルデータに対する新しい潜在部分因果モデルを提案する。 特定の統計的仮定の下では、多モーダル・コントラッシブ・ラーニングによって学習された表現が、自明な変換までの潜在結合変数に対応することを示す。 事前トレーニングされたCLIPモデルの実験は、非絡み合った表現を具現化し、数ショットの学習を可能にし、さまざまな現実世界のデータセットにわたるドメインの一般化を改善する。
  論文  参考訳（メタデータ） (2024-02-09T07:18:06Z)
• HEALNet: Multimodal Fusion for Heterogeneous Biomedical Data [10.774128925670183]
  本稿では,フレキシブルなマルチモーダル融合アーキテクチャであるHybrid Early-fusion Attention Learning Network (HEALNet)を提案する。 The Cancer Genome Atlas (TCGA) の4つのがんデータセットにおける全スライド画像と多モードデータを用いたマルチモーダルサバイバル解析を行った。 HEALNetは、他のエンドツーエンドの訓練された融合モデルと比較して最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-11-15T17:06:26Z)
• Quantifying & Modeling Multimodal Interactions: An Information Decomposition Framework [89.8609061423685]
  本稿では,入力モーダル性と出力タスクを関連付けた冗長性,特異性,シナジーの度合いを定量化する情報理論手法を提案する。 PID推定を検証するために、PIDが知られている合成データセットと大規模マルチモーダルベンチマークの両方で広範な実験を行う。 本研究では,(1)マルチモーダルデータセット内の相互作用の定量化,(2)マルチモーダルモデルで捉えた相互作用の定量化,(3)モデル選択の原理的アプローチ,(4)実世界のケーススタディの3つにその有用性を示す。
  論文  参考訳（メタデータ） (2023-02-23T18:59:05Z)
• Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
  本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。 そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。 最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
  論文  参考訳（メタデータ） (2020-03-10T03:10:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。