論文の概要: PANDA - Prototype-Anchored Alignment for Partially Unpaired Multimodal Learning, with Applications to Alzheimers MRI and TCGA Pathology
- arxiv url: http://arxiv.org/abs/2608.25970v1
- Date: Wed, 26 Aug 2026 16:28:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-27 14:15:15.908824
- Title: PANDA - Prototype-Anchored Alignment for Partially Unpaired Multimodal Learning, with Applications to Alzheimers MRI and TCGA Pathology
- Title（参考訳）: PANDA - 部分的障害のないマルチモーダル学習のためのプロトタイプアンコールアライメントとアルツハイマーMRIとTCGAの病態への応用
- Abstract要約: PANDA(Prototype Anchored Data Alignment)は、補助情報を推論時に補助入力なしで一次モダリティモデルに転送するフレームワークである。
同バックボーンMRIのみのベースラインと比較して、PANDAはAUC 0.868 +-0.020 (+7.9pp)を獲得し、1.5T CN偽陽性を24.3pp減少させる。
RNA-seqを補助データとする全スライド画像からのTCGA-Lung生存予測について、PANDAは2年間のOS(AUC +3.5pp)とCox PH(C-index +9.0pts)でWSIのみを改善する。
- 参考スコア（独自算出の注目度）: 3.0294044944521694
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multimodal medical prediction often faces incomplete pairing: auxiliary modalities with complementary signal are available for only a subset of subjects (or none) and cannot be assumed at deployment. We introduce PANDA (Prototype Anchored Data Alignment), a two-stage framework that transfers auxiliary information to a primary-modality model without auxiliary inputs at inference. Stage 1 learns a shared embedding from the paired subset and estimates class prototypes from auxiliary modalities; Stage 2 trains the primary encoder on all subjects using cross-entropy plus alignment to the frozen prototypes. Because supervision is defined at the class-prototype level, PANDA accommodates arbitrary pairing rates, including zero subject overlap. We evaluate PANDA on two applications. On a 1,021-subject multi-scanner ADNI cohort, we perform AD/CN classification with three auxiliary modalities at distinct pairing rates: tabular scores (44.8%), FDG-PET (18.7%), and external handwriting kinematics (0% overlap). Relative to the same-backbone MRI-only baseline, PANDA attains AUC 0.868 +-0.020 (+7.9pp) and reduces 1.5T CN false positives by 24.3pp; on a fully trainable Conv5-FC3 backbone it reaches AUC 0.893 (best overall). A pairing-rate ablation shows that the joint anchor remains within seed noise from 75% to 5% pairing. On TCGA-Lung survival prediction from whole-slide images with RNA-seq as auxiliary data, PANDA improves over WSI-only on 2-year OS (AUC +3.5pp) and Cox PH (C-index +9.0pts) and outperforms full-fusion training, which underperforms WSI-only, while requiring no RNA at inference; wide confidence intervals on this smaller cohort keep the gains below conventional significance. Overall, PANDA provides a deployment-oriented mechanism for leveraging incomplete auxiliary modalities to improve primary-modality prediction.
- Abstract（参考訳）: 多モードの医療予測は、しばしば不完全なペアリングに直面している: 補完的な信号を持つ補助的なモダリティは、サブセット(または全く)でのみ利用可能であり、デプロイ時に想定できない。
本稿では,2段階のフレームワークであるPANDA(Prototype Anchored Data Alignment)を紹介する。
ステージ1は、ペア化されたサブセットから共有埋め込みを学び、補助的なモダリティからクラスプロトタイプを推定する。ステージ2は、クロスエントロピーと凍結プロトタイプへのアライメントを使用して、すべての被験者にプライマリエンコーダを訓練する。
監督はクラスプロトタイプレベルで定義されるため、PANDAは対象の重複がゼロとなるような任意のペアリングレートに対応できる。
PANDAを2つのアプリケーションで評価する。
1,021サブジェクトのマルチスキャンADNIコホートでは、表のスコア(44.8%)、FDG-PET(18.7%)、外部手書きキネマティクス(0%重なり)の3つの補助モーダルでAD/CN分類を行う。
同じバックボーンMRIのみのベースラインに対して、PANDAはAUC 0.868 +-0.020 (+7.9pp)を獲得し、1.5T CN偽陽性を24.3pp削減する。
ペアリングレートのアブレーションは、結合アンカーが75%から5%のペアリングでシードノイズ内に留まっていることを示している。
RNA-seqを補助データとする全スライド画像からのTCGA-Lung生存予測では、PANDAは2年ごとのOS(AUC +3.5pp)とCox PH(C-index +9.0pts)でWSIのみを改良し、推論時にRNAを必要とせず、WSIのみを過小評価するフルフュージョントレーニングより優れている。
PANDAは、不完全な補助的なモダリティを活用して、プライマリ・モダリティの予測を改善するためのデプロイメント指向のメカニズムを提供する。
関連論文リスト
- Modalities Should Talk to Each Other: Dual-Stream Multimodal Learning for Long-Horizon Influenza Forecasting [1.2599533416395763]
一般に入手可能な監視データセットは、通常、数値疫学的信号をノイズと組み合わせ、ゆるやかに構造化され、短期的な傾向にのみ間接的に関係しており、しばしば数値的な信号と相対的に関連付けられている。
我々は,36週間のマルチモーダル履歴から12週間のILI活動を予測するマルチモーダルディープラーニングフレームワークであるDual-Stream Attention (DSA)を提案する。
論文 参考訳（メタデータ） (2026-08-24T15:20:01Z) - On Cross-Validation for Hyperparameter Optimization of Deep Learning Image Classifiers [0.0]
ハイパー最適化(HPO)は、ディープラーニング(DL)画像分類器の性能に大きな影響を与える。
我々は絶対性能パラメータ誤差推定(AEE)の観点から3つのHPOプロトコルを比較した。
各ポイント推定は、医療データセット上の両方のホールドアウトプロトコルよりも、クロスバリデーションを好んだ。
小サンプルの医用画像分類では, クロスバリデーションに基づくHPOを推奨する。
論文 参考訳（メタデータ） (2026-08-10T22:44:42Z) - Patient-Aware Contrastive Learning Preserves Per-Patient Structure in RR-Interval Representations [0.0]
RR-interval(RRI)配列からの発作性心房細動(PAF)検出における問題点について検討した。
同一患者からのみ肯定的な対を形成する患者対応コントラスト目的を提案する。
論文 参考訳（メタデータ） (2026-06-22T16:35:18Z) - A Controlled Audit of Pretraining Contamination in Public Medical Vision-Language Benchmarks [46.43161388634735]
医用視覚言語モデル(VLM)は、画像と質問応答ペアが何年も無料でダウンロードされている公開ベンチマークで評価される。
SLAKE-En,PathVQA,VQA-RAD,および4つの検出器ファミリを用いたOmniMedVQAミラーのオープンVLMを検査した。
論文 参考訳（メタデータ） (2026-06-08T18:40:10Z) - Architecture-Agnostic Modality-Isolated Gated Fusion for Robust Multi-Modal Prostate MRI Segmentation [0.0]
多重化前立腺MRIは、T2パラメトリック(T2W)、見かけ拡散係数(ADC)、高b値拡散強調(HBV)配列を組み合わせる。
実際には、拡散配列は、T2Wよりも、取得のばらつき、動き、アーティファクトの影響を受けることが多い。
我々は、学習ゲーティングステージの前に、個別のモダリティ固有の符号化ストリームを維持するために、Modality-Isolated Gated Fusion (MIGF)を提案する。
論文 参考訳（メタデータ） (2026-04-12T15:54:21Z) - PRIME: Prototype-Driven Multimodal Pretraining for Cancer Prognosis with Missing Modalities [86.63247982275396]
PRIMEは、欠落を認識したマルチモーダルな自己教師型事前トレーニングフレームワークである。
部分的に観察されたコホートから頑健で伝達可能な表現を学ぶ。
The Cancer Genome AtlasのPRIMEを32種類の癌に対してラベルフリープレトレーニングで評価した。
論文 参考訳（メタデータ） (2026-04-05T21:14:27Z) - Prune Redundancy, Preserve Essence: Vision Token Compression in VLMs via Synergistic Importance-Diversity [54.95089105944234]
視覚言語モデル(VLM)は、過剰な視覚トークンの生成によって引き起こされる計算の非効率性に直面する。
2段階パイプラインを特徴とする訓練不要なSynergistic Importance-DiversityアプローチPruneSIDを提案する。
LLaVA-NeXTでは11.1%のトークン保持率で96.3%の精度、極端な圧縮速度(5.6%)で92.8%の精度を実現した。
論文 参考訳（メタデータ） (2026-03-10T10:31:58Z) - VesSAM: Efficient Multi-Prompting for Segmenting Complex Vessel [68.24765319399286]
本稿では,2次元血管セグメンテーションに適した,強力で効率的なフレームワークであるVesSAMを提案する。
VesSAMは、(1)局所的なテクスチャ機能を強化する畳み込みアダプタ、(2)解剖学的プロンプトを融合するマルチプロンプトエンコーダ、(3)ジャグアーティファクトを減らす軽量マスクデコーダを統合する。
VesSAMは、最先端のPEFTベースのSAMを10%以上のDiceと13%のIoUで一貫して上回っている。
論文 参考訳（メタデータ） (2025-11-02T15:47:05Z) - AHDMIL: Asymmetric Hierarchical Distillation Multi-Instance Learning for Fast and Accurate Whole-Slide Image Classification [51.525891360380285]
AHDMILは非対称な階層的蒸留マルチインスタンス学習フレームワークである。
2段階のトレーニングプロセスを通じて、無関係なパッチを排除します。
分類性能と推論速度の両方において、従来の最先端手法を一貫して上回っている。
論文 参考訳（メタデータ） (2025-08-07T07:47:16Z) - Cross-Shaped Windows Transformer with Self-supervised Pretraining for Clinically Significant Prostate Cancer Detection in Bi-parametric MRI [6.930082824262643]
前立腺癌 (bpMRI) における臨床的に重要な前立腺癌 (csPCa) を検出するために, CSwin 変圧器 UNet モデル (CSwin 変圧器 UNet モデル) を導入した。
1500人の患者を対象とした大規模前立腺bpMRIデータセットを用いて、まずマルチタスク自己教師型学習を用いてCSwin変換器を事前訓練し、データ効率とネットワークの一般化性を向上させる。
5倍のクロスバリデーションは、自己教師型CSwin UNetが0.888 AUCと0.545 Average Precision(AP)を達成し、4つの同等モデル(Swin U)を著しく上回っていることを示している。
論文 参考訳（メタデータ） (2023-04-30T04:40:32Z) - Prompt Tuning for Parameter-efficient Medical Image Segmentation [79.09285179181225]
2つの医用画像データセットのセマンティックセグメンテーションにパラメータ効率が良いが効果的な適応を実現するために,いくつかのコントリビューションを提案し,検討する。
我々はこのアーキテクチャを、オンライン生成プロトタイプへの割り当てに基づく専用密集型セルフスーパービジョンスキームで事前訓練する。
得られたニューラルネットワークモデルにより、完全に微調整されたモデルとパラメータに適応したモデルとのギャップを緩和できることを実証する。
論文 参考訳（メタデータ） (2022-11-16T21:55:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。