論文の概要: Cross-Modal Translation and Alignment for Survival Analysis
- arxiv url: http://arxiv.org/abs/2309.12855v1
- Date: Fri, 22 Sep 2023 13:29:14 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-25 14:30:36.413537
- Title: Cross-Modal Translation and Alignment for Survival Analysis
- Title（参考訳）: 生存分析のためのクロスモーダル翻訳とアライメント
- Authors: Fengtao Zhou, Hao Chen
- Abstract要約: 本研究は,本質的な相互モーダル相関と伝達電位補間情報について検討する枠組みを提案する。
5つの公開TCGAデータセットに対する実験により、提案したフレームワークが最先端の手法より優れていることが示された。
- 参考スコア（独自算出の注目度）: 7.657906359372181
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With the rapid advances in high-throughput sequencing technologies, the focus
of survival analysis has shifted from examining clinical indicators to
incorporating genomic profiles with pathological images. However, existing
methods either directly adopt a straightforward fusion of pathological features
and genomic profiles for survival prediction, or take genomic profiles as
guidance to integrate the features of pathological images. The former would
overlook intrinsic cross-modal correlations. The latter would discard
pathological information irrelevant to gene expression. To address these
issues, we present a Cross-Modal Translation and Alignment (CMTA) framework to
explore the intrinsic cross-modal correlations and transfer potential
complementary information. Specifically, we construct two parallel
encoder-decoder structures for multi-modal data to integrate intra-modal
information and generate cross-modal representation. Taking the generated
cross-modal representation to enhance and recalibrate intra-modal
representation can significantly improve its discrimination for comprehensive
survival analysis. To explore the intrinsic crossmodal correlations, we further
design a cross-modal attention module as the information bridge between
different modalities to perform cross-modal interactions and transfer
complementary information. Our extensive experiments on five public TCGA
datasets demonstrate that our proposed framework outperforms the
state-of-the-art methods.
- Abstract（参考訳）: 高スループットシークエンシング技術の急速な進歩により、生存分析の焦点は臨床指標から病理画像にゲノムプロファイルを取り入れることに移行した。
しかし、既存の手法では、生存予測のために病的特徴とゲノムプロファイルの直接的な融合を直接採用するか、病的画像の特徴を統合するためのガイダンスとしてゲノムプロファイルを採用するかのどちらかである。
前者は本質的交叉関係を見落としていた。
後者は遺伝子発現と無関係に病理情報を破棄する。
これらの問題に対処するために,我々は,本質的クロスモーダル相関と潜在的な補完的情報を伝達するためのクロスモーダル翻訳・アライメント(cmta)フレームワークを提案する。
具体的には、マルチモーダルデータのための2つの並列エンコーダデコーダ構造を構築し、モーダル内情報を統合し、モーダル間表現を生成する。
生成したクロスモーダル表現を用いてイントラモーダル表現を増強し再調整することは、包括的生存分析のための識別を大幅に改善することができる。
さらに,本質的クロスモーダル相関を探究するため,クロスモーダルアテンションモジュールを異なるモーダル間の情報ブリッジとして設計し,クロスモーダル相互作用を行い,補完的情報を転送する。
5つの公開TCGAデータセットに関する広範な実験により、提案したフレームワークが最先端の手法より優れていることが示された。
関連論文リスト
- Neuron: Learning Context-Aware Evolving Representations for Zero-Shot Skeleton Action Recognition [64.56321246196859]
本稿では,dUalスケルトン・セマンティック・セマンティック・セマンティック・セマンティック・シンジスティック・フレームワークを提案する。
まず、時空間進化型マイクロプロトタイプを構築し、動的コンテキスト認識側情報を統合する。
本研究では,空間的圧縮と時間的記憶機構を導入し,空間的時間的マイクロプロトタイプの成長を導く。
論文 参考訳（メタデータ） (2024-11-18T05:16:11Z) - Robust Semi-supervised Multimodal Medical Image Segmentation via Cross Modality Collaboration [21.97457095780378]
本稿では,ラベル付きデータの不足やモダリティの不一致に頑健な,新しい半教師付きマルチモーダルセグメンテーションフレームワークを提案する。
本フレームワークでは,各モダリティに固有の,モダリティに依存しない知識を蒸留する,新たなモダリティ協調戦略を採用している。
また、対照的な一貫した学習を統合して解剖学的構造を規制し、ラベルのないデータに対する解剖学的予測アライメントを容易にする。
論文 参考訳（メタデータ） (2024-08-14T07:34:12Z) - GTP-4o: Modality-prompted Heterogeneous Graph Learning for Omni-modal Biomedical Representation [68.63955715643974]
Omnimodal Learning(GTP-4o)のためのモダリティプロンプト不均質グラフ
我々は、Omnimodal Learning(GTP-4o)のための革新的モダリティプロンプト不均質グラフを提案する。
論文 参考訳（メタデータ） (2024-07-08T01:06:13Z) - Multimodal Cross-Task Interaction for Survival Analysis in Whole Slide Pathological Images [10.996711454572331]
病理像とゲノムプロファイルを利用した生存予測は、癌解析と予後においてますます重要である。
既存のマルチモーダル手法は、補完的な情報を統合するためのアライメント戦略に依存していることが多い。
本稿では,サブタイプ分類と生存分析タスクの因果関係を明らかにするために,MCTI(Multimodal Cross-Task Interaction)フレームワークを提案する。
論文 参考訳（メタデータ） (2024-06-25T02:18:35Z) - FORESEE: Multimodal and Multi-view Representation Learning for Robust Prediction of Cancer Survival [3.4686401890974197]
マルチモーダル情報のマイニングにより患者生存を確実に予測する新しいエンドツーエンドフレームワークFOESEEを提案する。
クロスフュージョントランスフォーマーは、細胞レベル、組織レベル、腫瘍の不均一度レベルの特徴を効果的に利用し、予後を相関させる。
ハイブリットアテンションエンコーダ(HAE)は、コンテキストアテンションモジュールを用いて、コンテキスト関係の特徴を取得する。
また、モダリティ内の損失情報を再構成する非対称マスク型3重マスク型オートエンコーダを提案する。
論文 参考訳（メタデータ） (2024-05-13T12:39:08Z) - HEALNet: Multimodal Fusion for Heterogeneous Biomedical Data [10.774128925670183]
本稿では,フレキシブルなマルチモーダル融合アーキテクチャであるHybrid Early-fusion Attention Learning Network (HEALNet)を提案する。
The Cancer Genome Atlas (TCGA) の4つのがんデータセットにおける全スライド画像と多モードデータを用いたマルチモーダルサバイバル解析を行った。
HEALNetは、他のエンドツーエンドの訓練された融合モデルと比較して最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2023-11-15T17:06:26Z) - TTMFN: Two-stream Transformer-based Multimodal Fusion Network for
Survival Prediction [7.646155781863875]
生存予測のための2ストリームトランスフォーマーベースマルチモーダルフュージョンネットワーク(TTMFN)という新しいフレームワークを提案する。
TTMFNでは、異なるモード間の複雑な関係をフル活用するために、2ストリームマルチモーダルコアテンショントランスモジュールを提案する。
The Cancer Genome Atlasの4つのデータセットによる実験結果は、TMFNが最高のパフォーマンスまたは競争的な結果を得ることができることを示した。
論文 参考訳（メタデータ） (2023-11-13T02:31:20Z) - Knowledge-Enhanced Hierarchical Information Correlation Learning for
Multi-Modal Rumor Detection [82.94413676131545]
マルチモーダルなうわさ検出のための知識強化型階層型情報相関学習手法(KhiCL)を提案する。
KhiCLは異質な一様性特徴を共通特徴空間に伝達するために、クロスモーダルな関節辞書を利用する。
画像やテキストから視覚的およびテキスト的実体を抽出し、知識関連推論戦略を設計する。
論文 参考訳（メタデータ） (2023-06-28T06:08:20Z) - Multimodal Relation Extraction with Cross-Modal Retrieval and Synthesis [89.04041100520881]
本研究は,対象物,文,画像全体に基づいて,テキストおよび視覚的証拠を検索することを提案する。
我々は,オブジェクトレベル,画像レベル,文レベル情報を合成し,同一性と異なるモダリティ間の推論を改善する新しい手法を開発した。
論文 参考訳（メタデータ） (2023-05-25T15:26:13Z) - Multi-task Paired Masking with Alignment Modeling for Medical
Vision-Language Pre-training [55.56609500764344]
本稿では,マルチタスク・ペアド・マスキング・アライメント(MPMA)に基づく統合フレームワークを提案する。
また, メモリ拡張クロスモーダルフュージョン (MA-CMF) モジュールを導入し, 視覚情報を完全統合し, レポート再構築を支援する。
論文 参考訳（メタデータ） (2023-05-13T13:53:48Z) - Multi-Modal Mutual Information Maximization: A Novel Approach for
Unsupervised Deep Cross-Modal Hashing [73.29587731448345]
我々はCross-Modal Info-Max Hashing (CMIMH)と呼ばれる新しい手法を提案する。
モーダル内およびモーダル間の類似性を両立できる情報表現を学習する。
提案手法は、他の最先端のクロスモーダル検索手法よりも一貫して優れている。
論文 参考訳（メタデータ） (2021-12-13T08:58:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。