論文の概要: Any-to-Any Learning in Computational Pathology via Triplet Multimodal Pretraining

• arxiv url: http://arxiv.org/abs/2505.12711v2
• Date: Tue, 20 May 2025 12:57:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-21 12:33:37.442146
• Title: Any-to-Any Learning in Computational Pathology via Triplet Multimodal Pretraining
• Title（参考訳）: Triplet Multimodal Pretrainingによる計算病理の任意の学習
• Authors: Qichen Sun, Zhengrui Guo, Rui Peng, Hao Chen, Jinzhuo Wang,
• Abstract要約: ALTERは、WSI、ゲノム学、病理学のレポートを統合した、トリモーダルな事前トレーニングフレームワークである。 WSI中心のアプローチを超えて、堅牢でクロスプラットフォームな表現を学びます。 ALTERは生存予測,癌サブタイプ,遺伝子変異予測,報告生成など,幅広い臨床課題にまたがって評価を行った。
• 参考スコア（独自算出の注目度）: 7.22968366818898
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in computational pathology and artificial intelligence have significantly enhanced the utilization of gigapixel whole-slide images and and additional modalities (e.g., genomics) for pathological diagnosis. Although deep learning has demonstrated strong potential in pathology, several key challenges persist: (1) fusing heterogeneous data types requires sophisticated strategies beyond simple concatenation due to high computational costs; (2) common scenarios of missing modalities necessitate flexible strategies that allow the model to learn robustly in the absence of certain modalities; (3) the downstream tasks in CPath are diverse, ranging from unimodal to multimodal, cnecessitating a unified model capable of handling all modalities. To address these challenges, we propose ALTER, an any-to-any tri-modal pretraining framework that integrates WSIs, genomics, and pathology reports. The term "any" emphasizes ALTER's modality-adaptive design, enabling flexible pretraining with any subset of modalities, and its capacity to learn robust, cross-modal representations beyond WSI-centric approaches. We evaluate ALTER across extensive clinical tasks including survival prediction, cancer subtyping, gene mutation prediction, and report generation, achieving superior or comparable performance to state-of-the-art baselines.
• Abstract（参考訳）: 近年の計算病理学と人工知能の進歩により, ギガピクセル全スライディング画像の利用が著しく向上し, 病理診断に付加的なモダリティ(例, ゲノミクス)が加えられている。 深層学習は病理学において強い可能性を示してきたが、(1)不均一なデータ型を融合させるには、高い計算コストによる単純な結合を超越した高度な戦略が必要であり、(2)モダリティの欠如の一般的なシナリオは、特定のモダリティの欠如に頑健に学習できる柔軟な戦略を必要とする。 これらの課題に対処するため、我々はWSI、ゲノム学、病理学のレポートを統合した、あらゆる意味でのトリモーダル事前学習フレームワークであるALTERを提案する。 any" という用語は、ALTER のモダリティ適応型設計を強調しており、モダリティの任意のサブセットで柔軟な事前訓練を可能にし、WSI 中心のアプローチを超えた堅牢でクロスモーダルな表現を学習することができる。 ALTERは生存予測,癌サブタイプ,遺伝子変異予測,報告生成など幅広い臨床課題で評価され,最先端のベースラインよりも優れた,あるいは同等のパフォーマンスを達成できる。

関連論文リスト

• Handling Missing Modalities in Multimodal Survival Prediction for Non-Small Cell Lung Cancer [28.475952006436227]
  我々はCT(Computed Tomography)、WSI(Whole-Slide Histopathology)画像、および非切除性ステージII-III NSCLCにおける総合生存モデリングのための構造化された臨床変数を統合した、欠落したマルチモーダルサバイバルフレームワークを提案する。 実験結果から, 中間核融合は早期および後期核融合戦略と同様に, 単相塩基性よりも一貫して優れていた。
  論文  参考訳（メタデータ） (2026-01-15T13:38:19Z)
• A Semantically Enhanced Generative Foundation Model Improves Pathological Image Synthesis [82.01597026329158]
  本稿では,組織合成のための相関調整フレームワーク(CRAFTS)について紹介する。 CRAFTSは、生物学的精度を確保するためにセマンティックドリフトを抑制する新しいアライメント機構を組み込んでいる。 本モデルは,30種類の癌にまたがる多彩な病理像を生成する。
  論文  参考訳（メタデータ） (2025-12-15T10:22:43Z)
• Integrating Genomics into Multimodal EHR Foundation Models [56.31910745104141]
  本稿では,ポリジェニックリスクスコア(PRS)を基本データモダリティとして統合した,革新的なEHR基盤モデルを提案する。 このフレームワークは、臨床データと遺伝子前置詞の複雑な関係を学習することを目的としている。 このアプローチは、病気の予測、積極的な健康管理、リスク階層化、パーソナライズされた治療戦略に対する新たな洞察を解放するために重要である。
  論文  参考訳（メタデータ） (2025-10-24T15:56:40Z)
• PS3: A Multimodal Transformer Integrating Pathology Reports with Histology Images and Biological Pathways for Cancer Survival Prediction [2.638791169659607]
  計算オンコロジーにおける現在のマルチモーダル融合アプローチは、主に、複数のギガピクセルのヒストロジー全体のスライド画像(WSI)をゲノムデータや転写データと統合することに焦点を当てている。 本稿では,両立表現を生成するプロトタイプベースの手法を提案し,生存予測のためにTransformerベースの融合モデルを用いて統合する。
  論文  参考訳（メタデータ） (2025-09-24T11:37:52Z)
• impuTMAE: Multi-modal Transformer with Masked Pre-training for Missing Modalities Imputation in Cancer Survival Prediction [75.43342771863837]
  我々は,効率的なマルチモーダル事前学習戦略を備えた新しいトランスフォーマーに基づくエンドツーエンドアプローチである impuTMAE を紹介する。 マスクされたパッチを再構築することで、モダリティの欠如を同時に示唆しながら、モダリティ間の相互作用とモダリティ内相互作用を学習する。 本モデルは,TGA-GBM/LGGとBraTSデータセットを用いたグリオーマ生存予測のために,異種不完全データに基づいて事前訓練を行った。
  論文  参考訳（メタデータ） (2025-08-08T10:01:16Z)
• Memory-Augmented Incomplete Multimodal Survival Prediction via Cross-Slide and Gene-Attentive Hypergraph Learning [14.966126636473952]
  癌生存予測にはマルチモーダルな病理・ゲノム解析が重要である。 既存のアプローチは主に、フォーマリン固定パラフィン埋め込み(FFPE)スライドとゲノムデータを統合する。 本稿では,ハイパーグラフ学習を活用して,病理スライドとゲノムデータ間の多WSI情報と相互モダリティの相互作用を統合するフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-06-24T05:31:13Z)
• Multimodal Cancer Survival Analysis via Hypergraph Learning with Cross-Modality Rebalance [14.966126636473952]
  本稿では,ハイパーグラフ学習を取り入れた病理画像から文脈的・階層的詳細を抽出するフレームワークを提案する。 C-Indexの性能は3.4%以上向上した。
  論文  参考訳（メタデータ） (2025-05-17T13:16:54Z)
• Towards Robust Multimodal Physiological Foundation Models: Handling Arbitrary Missing Modalities [9.785262633953794]
  生理オムニ (Phylo Omni) は、マルチモーダルな生理的信号解析の基礎モデルである。 分離されたマルチモーダル・トークンーザを訓練し、マスクされた信号の事前訓練を可能にする。 最先端のパフォーマンスを達成しつつ、モダリティの欠如に対して強い堅牢性を維持します。
  論文  参考訳（メタデータ） (2025-04-28T09:00:04Z)
• MIRROR: Multi-Modal Pathological Self-Supervised Representation Learning via Modality Alignment and Retention [52.106879463828044]
  病理組織学と転写学は、腫瘍学の基本的なモダリティであり、疾患の形態学的および分子的側面を包含している。 モーダルアライメントと保持を両立させる新しいマルチモーダル表現学習法であるMIRRORを提案する。 がんの亜型化と生存分析のためのTCGAコホートに関する広範囲な評価は,MIRRORの優れた性能を浮き彫りにしている。
  論文  参考訳（メタデータ） (2025-03-01T07:02:30Z)
• Continually Evolved Multimodal Foundation Models for Cancer Prognosis [50.43145292874533]
  がん予後は、患者の予後と生存率を予測する重要なタスクである。 これまでの研究では、臨床ノート、医療画像、ゲノムデータなどの多様なデータモダリティを統合し、補完的な情報を活用している。 既存のアプローチには2つの大きな制限がある。まず、各病院の患者記録など、各種のトレーニングに新しく到着したデータを組み込むことに苦慮する。 第二に、ほとんどのマルチモーダル統合手法は単純化された結合やタスク固有のパイプラインに依存しており、モダリティ間の複雑な相互依存を捉えることができない。
  論文  参考訳（メタデータ） (2025-01-30T06:49:57Z)
• GTP-4o: Modality-prompted Heterogeneous Graph Learning for Omni-modal Biomedical Representation [68.63955715643974]
  Omnimodal Learning(GTP-4o)のためのモダリティプロンプト不均質グラフ 我々は、Omnimodal Learning(GTP-4o)のための革新的モダリティプロンプト不均質グラフを提案する。
  論文  参考訳（メタデータ） (2024-07-08T01:06:13Z)
• HEALNet: Multimodal Fusion for Heterogeneous Biomedical Data [10.774128925670183]
  本稿では,フレキシブルなマルチモーダル融合アーキテクチャであるHybrid Early-fusion Attention Learning Network (HEALNet)を提案する。 The Cancer Genome Atlas (TCGA) の4つのがんデータセットにおける全スライド画像と多モードデータを用いたマルチモーダルサバイバル解析を行った。 HEALNetは、他のエンドツーエンドの訓練された融合モデルと比較して最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-11-15T17:06:26Z)
• Incomplete Multimodal Learning for Complex Brain Disorders Prediction [65.95783479249745]
  本稿では,変換器と生成対向ネットワークを用いた不完全なマルチモーダルデータ統合手法を提案する。 アルツハイマー病神経画像イニシアチブコホートを用いたマルチモーダルイメージングによる認知変性と疾患予後の予測に本手法を適用した。
  論文  参考訳（メタデータ） (2023-05-25T16:29:16Z)
• PathAsst: A Generative Foundation AI Assistant Towards Artificial General Intelligence of Pathology [15.419350834457136]
  病理学における診断・予測分析に革命をもたらすための多モード生成基盤AIアシスタントであるPathAsstを提案する。 PathAsstの開発には、データ取得、CLIPモデル適応、PathAsstのマルチモーダル生成機能のトレーニングの3つの重要なステップが含まれている。 PathAsstの実験結果は、病理診断と治療プロセスを改善するためにAIを利用した生成基盤モデルを活用する可能性を示している。
  論文  参考訳（メタデータ） (2023-05-24T11:55:50Z)
• A Novel Unified Conditional Score-based Generative Framework for Multi-modal Medical Image Completion [54.512440195060584]
  我々は、スコアベース生成モデル(SGM)を活用するために、統一多モードスコアベース生成モデル(UMM-CSGM)を提案する。 UMM-CSGMは、新しいマルチインマルチアウトコンディションスコアネットワーク(mm-CSN)を用いて、クロスモーダル条件分布の包括的集合を学習する。 BraTS19データセットの実験により、UMM-CSGMは腫瘍誘発病変における不均一な増強と不規則な領域をより確実に合成できることが示された。
  論文  参考訳（メタデータ） (2022-07-07T16:57:21Z)
• Robust Multimodal Brain Tumor Segmentation via Feature Disentanglement and Gated Fusion [71.87627318863612]
  画像モダリティの欠如に頑健な新しいマルチモーダルセグメンテーションフレームワークを提案する。 我々のネットワークは、入力モードをモダリティ固有の外観コードに分解するために、特徴不整合を用いる。 我々は,BRATSチャレンジデータセットを用いて,重要なマルチモーダル脳腫瘍セグメンテーション課題に対する本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2020-02-22T14:32:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。