論文の概要: VGAT: A Cancer Survival Analysis Framework Transitioning from Generative Visual Question Answering to Genomic Reconstruction
- arxiv url: http://arxiv.org/abs/2503.19367v2
- Date: Sat, 29 Mar 2025 12:05:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-01 13:14:21.775271
- Title: VGAT: A Cancer Survival Analysis Framework Transitioning from Generative Visual Question Answering to Genomic Reconstruction
- Title(参考訳): VGAT: 生成的視覚質問応答からゲノム再構成へ移行したがん生存分析フレームワーク
- Authors: Zizhi Chen, Minghao Han, Xukun Zhang, Shuwei Ma, Tao Liu, Xing Wei, Lihua Zhang,
- Abstract要約: 本稿では,VQA(Visual Question Answering)技術を統合したゲノムモダリティ再構築手法を提案する。
VQAのテキスト特徴抽出手法を適用することで、生ゲノムデータの次元問題を回避する安定なゲノム表現を導出する。
5つのTCGAデータセットで評価され、VGATは既存のWSIのみのメソッドより優れている。
- 参考スコア(独自算出の注目度): 18.237801653049885
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multimodal learning combining pathology images and genomic sequences enhances cancer survival analysis but faces clinical implementation barriers due to limited access to genomic sequencing in under-resourced regions. To enable survival prediction using only whole-slide images (WSI), we propose the Visual-Genomic Answering-Guided Transformer (VGAT), a framework integrating Visual Question Answering (VQA) techniques for genomic modality reconstruction. By adapting VQA's text feature extraction approach, we derive stable genomic representations that circumvent dimensionality challenges in raw genomic data. Simultaneously, a cluster-based visual prompt module selectively enhances discriminative WSI patches, addressing noise from unfiltered image regions. Evaluated across five TCGA datasets, VGAT outperforms existing WSI-only methods, demonstrating the viability of genomic-informed inference without sequencing. This approach bridges multimodal research and clinical feasibility in resource-constrained settings. The code link is https://github.com/CZZZZZZZZZZZZZZZZZ/VGAT.
- Abstract(参考訳): 病理画像とゲノム配列を組み合わせたマルチモーダル学習は、がん生存率分析を促進させるが、アンダーリソース領域におけるゲノムシークエンシングの制限による臨床実装障壁に直面する。
本研究では,全スライディング画像のみを用いた生存予測を実現するために,VGAT (Visual-Genomic Answering-Guided Transformer) を提案する。
VQAのテキスト特徴抽出手法を適用することで、生ゲノムデータの次元問題を回避する安定なゲノム表現を導出する。
同時に、クラスタベースのビジュアルプロンプトモジュールは、フィルタされていない画像領域からのノイズに対処して、差別的なWSIパッチを選択的に強化する。
5つのTCGAデータセットで評価され、VGATは既存のWSIのみの手法より優れている。
このアプローチは、資源制約された環境でのマルチモーダルな研究と臨床実現可能性に橋渡しする。
コードリンクはhttps://github.com/CZZZZZZZZZZZZZZZZZZ/VGAT。
関連論文リスト
- Vision Transformers with Autoencoders and Explainable AI for Cancer Patient Risk Stratification Using Whole Slide Imaging [3.6940298700319065]
PATH-Xは、視覚変換器(ViT)と自動エンコーダをSHAP(Shapley Additive Explanations)と統合し、患者の成層化とリスク予測のモデル化性を高めるフレームワークである。
代表画像スライスを各WSIから選択し、Googleの事前訓練されたViTを用いて数値的特徴埋め込みを抽出する。
カプラン・マイアー生存分析を用いて,2つのリスク群と3つのリスク群に層状化を評価する。
論文 参考訳(メタデータ) (2025-04-07T05:48:42Z) - MIL vs. Aggregation: Evaluating Patient-Level Survival Prediction Strategies Using Graph-Based Learning [52.231128973251124]
我々は,WSIおよび患者レベルでの生存を予測するための様々な戦略を比較した。
前者はそれぞれのWSIを独立したサンプルとして扱い、他の作業で採用された戦略を模倣します。
後者は、複数のWSIの予測を集約するか、最も関連性の高いスライドを自動的に識別するメソッドを含む。
論文 参考訳(メタデータ) (2025-03-29T11:14:02Z) - From Pixels to Histopathology: A Graph-Based Framework for Interpretable Whole Slide Image Analysis [81.19923502845441]
我々はWSIグラフ表現を構成するグラフベースのフレームワークを開発する。
任意のパッチではなく生物学的境界に従う組織表現(ノード)を構築します。
本手法の最終段階として,グラフアテンションネットワークを用いて診断課題を解決する。
論文 参考訳(メタデータ) (2025-03-14T20:15:04Z) - Robust Multimodal Survival Prediction with the Latent Differentiation Conditional Variational AutoEncoder [18.519138120118125]
本研究では,マルチモーダルサバイバル予測のための条件付き遅延微分変分自動エンコーダ(LD-CVAE)を提案する。
具体的には, ギガピクセルWSIから圧縮された病理表現を学習するために, 変分情報ボトルネック変換器 (VIB-Trans) モジュールを提案する。
多様な機能を持つゲノム埋め込みの共通部分および特定の部分について学習するために,新しい遅延微分変分オートエンコーダ (LD-VAE) を開発した。
論文 参考訳(メタデータ) (2025-03-12T15:58:37Z) - PathoGen-X: A Cross-Modal Genomic Feature Trans-Align Network for Enhanced Survival Prediction from Histopathology Images [3.2864520297081934]
病理組織像から生存率を予測するために,クロスモーダルなゲノム特徴翻訳とアライメントネットワークを提案する。
PathoGen-Xはトランスフォーマーベースのネットワークを使用して、画像の特徴をゲノムの特徴空間に調整し、翻訳する。
PathoGen-Xは、強力な生存予測性能を示し、アクセス可能ながん予後のためのリッチイメージングモデルの可能性を強調している。
論文 参考訳(メタデータ) (2024-11-01T17:18:09Z) - Towards a Benchmark for Colorectal Cancer Segmentation in Endorectal Ultrasound Videos: Dataset and Model Development [59.74920439478643]
本稿では,多様なERUSシナリオをカバーする最初のベンチマークデータセットを収集し,注釈付けする。
ERUS-10Kデータセットは77の動画と10,000の高解像度アノテートフレームで構成されています。
本稿では,ASTR (Adaptive Sparse-context TRansformer) という大腸癌セグメンテーションのベンチマークモデルを提案する。
論文 参考訳(メタデータ) (2024-08-19T15:04:42Z) - Pathology-and-genomics Multimodal Transformer for Survival Outcome
Prediction [43.1748594898772]
大腸癌生存予測に病理学とゲノム学的知見を統合したマルチモーダルトランスフォーマー(PathOmics)を提案する。
ギガピクセル全スライド画像における組織ミクロ環境間の内在的相互作用を捉えるための教師なし事前訓練を強調した。
我々は,TCGA大腸癌と直腸癌コホートの両方に対するアプローチを評価し,提案手法は競争力があり,最先端の研究より優れていることを示す。
論文 参考訳(メタデータ) (2023-07-22T00:59:26Z) - Histopathology Whole Slide Image Analysis with Heterogeneous Graph
Representation Learning [78.49090351193269]
本稿では,WSI分析のために,異なる種類の核間の相互関係を利用する新しいグラフベースのフレームワークを提案する。
具体的には、WSI を各ノードに "nucleus-type" 属性と各エッジに類似した意味属性を持つ異種グラフとして定式化する。
我々のフレームワークは、様々なタスクに対してかなりのマージンで最先端の手法より優れています。
論文 参考訳(メタデータ) (2023-07-09T14:43:40Z) - Hierarchical Transformer for Survival Prediction Using Multimodality
Whole Slide Images and Genomics [63.76637479503006]
下流タスクのためのギガピクセルレベルのスライド病理画像(WSI)の良質な表現を学習することが重要である。
本稿では,病理画像と対応する遺伝子間の階層的マッピングを学習する階層型マルチモーダルトランスフォーマーフレームワークを提案する。
より優れたWSI表現能力を維持しながら、ベンチマーク手法と比較してGPUリソースが少ないアーキテクチャです。
論文 参考訳(メタデータ) (2022-11-29T23:47:56Z) - Spatial-spectral Hyperspectral Image Classification via Multiple Random
Anchor Graphs Ensemble Learning [88.60285937702304]
本稿では,複数のランダムアンカーグラフアンサンブル学習(RAGE)を用いた空間スペクトルHSI分類手法を提案する。
まず、各選択されたバンドのより記述的な特徴を抽出し、局所的な構造と領域の微妙な変化を保存するローカルバイナリパターンを採用する。
次に,アンカーグラフの構成に適応隣接代入を導入し,計算複雑性を低減した。
論文 参考訳(メタデータ) (2021-03-25T09:31:41Z) - Select-ProtoNet: Learning to Select for Few-Shot Disease Subtype
Prediction [55.94378672172967]
本研究は, 類似患者のサブグループを同定し, 数発の疾患のサブタイプ予測問題に焦点を当てた。
新しいモデルを開発するためにメタラーニング技術を導入し、関連する臨床課題から共通の経験や知識を抽出する。
我々の新しいモデルは、単純だが効果的なメタ学習マシンであるPrototypeal Networkと呼ばれる、慎重に設計されたメタラーナーに基づいて構築されている。
論文 参考訳(メタデータ) (2020-09-02T02:50:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。