論文の概要: Any-to-Any Learning in Computational Pathology via Triplet Multimodal Pretraining

• arxiv url: http://arxiv.org/abs/2505.12711v2
• Date: Tue, 20 May 2025 12:57:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-21 12:33:37.442146
• Title: Any-to-Any Learning in Computational Pathology via Triplet Multimodal Pretraining
• Title（参考訳）: Triplet Multimodal Pretrainingによる計算病理の任意の学習
• Authors: Qichen Sun, Zhengrui Guo, Rui Peng, Hao Chen, Jinzhuo Wang,
• Abstract要約: ALTERは、WSI、ゲノム学、病理学のレポートを統合した、トリモーダルな事前トレーニングフレームワークである。 WSI中心のアプローチを超えて、堅牢でクロスプラットフォームな表現を学びます。 ALTERは生存予測,癌サブタイプ,遺伝子変異予測,報告生成など,幅広い臨床課題にまたがって評価を行った。
• 参考スコア（独自算出の注目度）: 7.22968366818898
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in computational pathology and artificial intelligence have significantly enhanced the utilization of gigapixel whole-slide images and and additional modalities (e.g., genomics) for pathological diagnosis. Although deep learning has demonstrated strong potential in pathology, several key challenges persist: (1) fusing heterogeneous data types requires sophisticated strategies beyond simple concatenation due to high computational costs; (2) common scenarios of missing modalities necessitate flexible strategies that allow the model to learn robustly in the absence of certain modalities; (3) the downstream tasks in CPath are diverse, ranging from unimodal to multimodal, cnecessitating a unified model capable of handling all modalities. To address these challenges, we propose ALTER, an any-to-any tri-modal pretraining framework that integrates WSIs, genomics, and pathology reports. The term "any" emphasizes ALTER's modality-adaptive design, enabling flexible pretraining with any subset of modalities, and its capacity to learn robust, cross-modal representations beyond WSI-centric approaches. We evaluate ALTER across extensive clinical tasks including survival prediction, cancer subtyping, gene mutation prediction, and report generation, achieving superior or comparable performance to state-of-the-art baselines.
• Abstract（参考訳）: 近年の計算病理学と人工知能の進歩により, ギガピクセル全スライディング画像の利用が著しく向上し, 病理診断に付加的なモダリティ(例, ゲノミクス)が加えられている。 深層学習は病理学において強い可能性を示してきたが、(1)不均一なデータ型を融合させるには、高い計算コストによる単純な結合を超越した高度な戦略が必要であり、(2)モダリティの欠如の一般的なシナリオは、特定のモダリティの欠如に頑健に学習できる柔軟な戦略を必要とする。 これらの課題に対処するため、我々はWSI、ゲノム学、病理学のレポートを統合した、あらゆる意味でのトリモーダル事前学習フレームワークであるALTERを提案する。 any" という用語は、ALTER のモダリティ適応型設計を強調しており、モダリティの任意のサブセットで柔軟な事前訓練を可能にし、WSI 中心のアプローチを超えた堅牢でクロスモーダルな表現を学習することができる。 ALTERは生存予測,癌サブタイプ,遺伝子変異予測,報告生成など幅広い臨床課題で評価され,最先端のベースラインよりも優れた,あるいは同等のパフォーマンスを達成できる。

関連論文リスト

• Towards Robust Multimodal Physiological Foundation Models: Handling Arbitrary Missing Modalities [9.785262633953794]
  生理オムニ (Phylo Omni) は、マルチモーダルな生理的信号解析の基礎モデルである。 分離されたマルチモーダル・トークンーザを訓練し、マスクされた信号の事前訓練を可能にする。 最先端のパフォーマンスを達成しつつ、モダリティの欠如に対して強い堅牢性を維持します。
  論文  参考訳（メタデータ） (2025-04-28T09:00:04Z)
• MIRROR: Multi-Modal Pathological Self-Supervised Representation Learning via Modality Alignment and Retention [52.106879463828044]
  病理組織学と転写学は、腫瘍学の基本的なモダリティであり、疾患の形態学的および分子的側面を包含している。 モーダルアライメントと保持を両立させる新しいマルチモーダル表現学習法であるMIRRORを提案する。 がんの亜型化と生存分析のためのTCGAコホートに関する広範囲な評価は,MIRRORの優れた性能を浮き彫りにしている。
  論文  参考訳（メタデータ） (2025-03-01T07:02:30Z)
• Continually Evolved Multimodal Foundation Models for Cancer Prognosis [50.43145292874533]
  がん予後は、患者の予後と生存率を予測する重要なタスクである。 これまでの研究では、臨床ノート、医療画像、ゲノムデータなどの多様なデータモダリティを統合し、補完的な情報を活用している。 既存のアプローチには2つの大きな制限がある。まず、各病院の患者記録など、各種のトレーニングに新しく到着したデータを組み込むことに苦慮する。 第二に、ほとんどのマルチモーダル統合手法は単純化された結合やタスク固有のパイプラインに依存しており、モダリティ間の複雑な相互依存を捉えることができない。
  論文  参考訳（メタデータ） (2025-01-30T06:49:57Z)
• GTP-4o: Modality-prompted Heterogeneous Graph Learning for Omni-modal Biomedical Representation [68.63955715643974]
  Omnimodal Learning(GTP-4o)のためのモダリティプロンプト不均質グラフ 我々は、Omnimodal Learning(GTP-4o)のための革新的モダリティプロンプト不均質グラフを提案する。
  論文  参考訳（メタデータ） (2024-07-08T01:06:13Z)
• HEALNet: Multimodal Fusion for Heterogeneous Biomedical Data [10.774128925670183]
  本稿では,フレキシブルなマルチモーダル融合アーキテクチャであるHybrid Early-fusion Attention Learning Network (HEALNet)を提案する。 The Cancer Genome Atlas (TCGA) の4つのがんデータセットにおける全スライド画像と多モードデータを用いたマルチモーダルサバイバル解析を行った。 HEALNetは、他のエンドツーエンドの訓練された融合モデルと比較して最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-11-15T17:06:26Z)
• Incomplete Multimodal Learning for Complex Brain Disorders Prediction [65.95783479249745]
  本稿では,変換器と生成対向ネットワークを用いた不完全なマルチモーダルデータ統合手法を提案する。 アルツハイマー病神経画像イニシアチブコホートを用いたマルチモーダルイメージングによる認知変性と疾患予後の予測に本手法を適用した。
  論文  参考訳（メタデータ） (2023-05-25T16:29:16Z)
• PathAsst: A Generative Foundation AI Assistant Towards Artificial General Intelligence of Pathology [15.419350834457136]
  病理学における診断・予測分析に革命をもたらすための多モード生成基盤AIアシスタントであるPathAsstを提案する。 PathAsstの開発には、データ取得、CLIPモデル適応、PathAsstのマルチモーダル生成機能のトレーニングの3つの重要なステップが含まれている。 PathAsstの実験結果は、病理診断と治療プロセスを改善するためにAIを利用した生成基盤モデルを活用する可能性を示している。
  論文  参考訳（メタデータ） (2023-05-24T11:55:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。