論文の概要: VGAT: A Cancer Survival Analysis Framework Transitioning from Generative Visual Question Answering to Genomic Reconstruction
- arxiv url: http://arxiv.org/abs/2503.19367v1
- Date: Tue, 25 Mar 2025 05:48:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-26 16:55:29.363739
- Title: VGAT: A Cancer Survival Analysis Framework Transitioning from Generative Visual Question Answering to Genomic Reconstruction
- Title(参考訳): VGAT: 生成的視覚質問応答からゲノム再構成へ移行したがん生存分析フレームワーク
- Authors: Zizhi Chen, Minghao Han, Xukun Zhang, Shuwei Ma, Tao Liu, Xing Wei, Lihua Zhang,
- Abstract要約: 本稿では,VQA(Visual Question Answering)技術を統合したゲノムモダリティ再構築手法を提案する。
VQAのテキスト特徴抽出手法を適用することで、生ゲノムデータの次元問題を回避する安定なゲノム表現を導出する。
5つのTCGAデータセットで評価され、VGATは既存のWSIのみのメソッドより優れている。
- 参考スコア(独自算出の注目度): 18.237801653049885
- License:
- Abstract: Multimodal learning combining pathology images and genomic sequences enhances cancer survival analysis but faces clinical implementation barriers due to limited access to genomic sequencing in under-resourced regions. To enable survival prediction using only whole-slide images (WSI), we propose the Visual-Genomic Answering-Guided Transformer (VGAT), a framework integrating Visual Question Answering (VQA) techniques for genomic modality reconstruction. By adapting VQA's text feature extraction approach, we derive stable genomic representations that circumvent dimensionality challenges in raw genomic data. Simultaneously, a cluster-based visual prompt module selectively enhances discriminative WSI patches, addressing noise from unfiltered image regions. Evaluated across five TCGA datasets, VGAT outperforms existing WSI-only methods, demonstrating the viability of genomic-informed inference without sequencing. This approach bridges multimodal research and clinical feasibility in resource-constrained settings. The code link is https://github.com/CZZZZZZZZZZZZZZZZZ/VGAT.
- Abstract(参考訳): 病理画像とゲノム配列を組み合わせたマルチモーダル学習は、がん生存率分析を促進させるが、アンダーリソース領域におけるゲノムシークエンシングの制限による臨床実装障壁に直面する。
本研究では,全スライディング画像のみを用いた生存予測を実現するために,VGAT (Visual-Genomic Answering-Guided Transformer) を提案する。
VQAのテキスト特徴抽出手法を適用することで、生ゲノムデータの次元問題を回避する安定なゲノム表現を導出する。
同時に、クラスタベースのビジュアルプロンプトモジュールは、フィルタされていない画像領域からのノイズに対処して、差別的なWSIパッチを選択的に強化する。
5つのTCGAデータセットで評価され、VGATは既存のWSIのみの手法より優れている。
このアプローチは、資源制約された環境でのマルチモーダルな研究と臨床実現可能性に橋渡しする。
コードリンクはhttps://github.com/CZZZZZZZZZZZZZZZZZZ/VGAT。
関連論文リスト
- PathoGen-X: A Cross-Modal Genomic Feature Trans-Align Network for Enhanced Survival Prediction from Histopathology Images [3.2864520297081934]
病理組織像から生存率を予測するために,クロスモーダルなゲノム特徴翻訳とアライメントネットワークを提案する。
PathoGen-Xはトランスフォーマーベースのネットワークを使用して、画像の特徴をゲノムの特徴空間に調整し、翻訳する。
PathoGen-Xは、強力な生存予測性能を示し、アクセス可能ながん予後のためのリッチイメージングモデルの可能性を強調している。
論文 参考訳(メタデータ) (2024-11-01T17:18:09Z) - Towards a Benchmark for Colorectal Cancer Segmentation in Endorectal Ultrasound Videos: Dataset and Model Development [59.74920439478643]
本稿では,多様なERUSシナリオをカバーする最初のベンチマークデータセットを収集し,注釈付けする。
ERUS-10Kデータセットは77の動画と10,000の高解像度アノテートフレームで構成されています。
本稿では,ASTR (Adaptive Sparse-context TRansformer) という大腸癌セグメンテーションのベンチマークモデルを提案する。
論文 参考訳(メタデータ) (2024-08-19T15:04:42Z) - Multimodal Cross-Task Interaction for Survival Analysis in Whole Slide Pathological Images [10.996711454572331]
病理像とゲノムプロファイルを利用した生存予測は、癌解析と予後においてますます重要である。
既存のマルチモーダル手法は、補完的な情報を統合するためのアライメント戦略に依存していることが多い。
本稿では,サブタイプ分類と生存分析タスクの因果関係を明らかにするために,MCTI(Multimodal Cross-Task Interaction)フレームワークを提案する。
論文 参考訳(メタデータ) (2024-06-25T02:18:35Z) - Histo-Genomic Knowledge Distillation For Cancer Prognosis From Histopathology Whole Slide Images [7.5123289730388825]
ゲノムインフォームドハイパーアテンションネットワーク(G-HANet)は、トレーニング中にヒストリーゲノム知識を効果的に蒸留することができる。
ネットワークは、クロスモーダル・アソシエーション・ブランチ(CAB)とハイパーアテンション・サバイバル・ブランチ(HSB)から構成される。
論文 参考訳(メタデータ) (2024-03-15T06:20:09Z) - Genetic InfoMax: Exploring Mutual Information Maximization in
High-Dimensional Imaging Genetics Studies [50.11449968854487]
遺伝子ワイド・アソシエーション(GWAS)は、遺伝的変異と特定の形質の関係を同定するために用いられる。
画像遺伝学の表現学習は、GWASによって引き起こされる固有の課題により、ほとんど探索されていない。
本稿では,GWAS の具体的な課題に対処するために,トランスモーダル学習フレームワーク Genetic InfoMax (GIM) を提案する。
論文 参考訳(メタデータ) (2023-09-26T03:59:21Z) - Pathology-and-genomics Multimodal Transformer for Survival Outcome
Prediction [43.1748594898772]
大腸癌生存予測に病理学とゲノム学的知見を統合したマルチモーダルトランスフォーマー(PathOmics)を提案する。
ギガピクセル全スライド画像における組織ミクロ環境間の内在的相互作用を捉えるための教師なし事前訓練を強調した。
我々は,TCGA大腸癌と直腸癌コホートの両方に対するアプローチを評価し,提案手法は競争力があり,最先端の研究より優れていることを示す。
論文 参考訳(メタデータ) (2023-07-22T00:59:26Z) - Histopathology Whole Slide Image Analysis with Heterogeneous Graph
Representation Learning [78.49090351193269]
本稿では,WSI分析のために,異なる種類の核間の相互関係を利用する新しいグラフベースのフレームワークを提案する。
具体的には、WSI を各ノードに "nucleus-type" 属性と各エッジに類似した意味属性を持つ異種グラフとして定式化する。
我々のフレームワークは、様々なタスクに対してかなりのマージンで最先端の手法より優れています。
論文 参考訳(メタデータ) (2023-07-09T14:43:40Z) - Hierarchical Transformer for Survival Prediction Using Multimodality
Whole Slide Images and Genomics [63.76637479503006]
下流タスクのためのギガピクセルレベルのスライド病理画像(WSI)の良質な表現を学習することが重要である。
本稿では,病理画像と対応する遺伝子間の階層的マッピングを学習する階層型マルチモーダルトランスフォーマーフレームワークを提案する。
より優れたWSI表現能力を維持しながら、ベンチマーク手法と比較してGPUリソースが少ないアーキテクチャです。
論文 参考訳(メタデータ) (2022-11-29T23:47:56Z) - Spatial-spectral Hyperspectral Image Classification via Multiple Random
Anchor Graphs Ensemble Learning [88.60285937702304]
本稿では,複数のランダムアンカーグラフアンサンブル学習(RAGE)を用いた空間スペクトルHSI分類手法を提案する。
まず、各選択されたバンドのより記述的な特徴を抽出し、局所的な構造と領域の微妙な変化を保存するローカルバイナリパターンを採用する。
次に,アンカーグラフの構成に適応隣接代入を導入し,計算複雑性を低減した。
論文 参考訳(メタデータ) (2021-03-25T09:31:41Z) - Select-ProtoNet: Learning to Select for Few-Shot Disease Subtype
Prediction [55.94378672172967]
本研究は, 類似患者のサブグループを同定し, 数発の疾患のサブタイプ予測問題に焦点を当てた。
新しいモデルを開発するためにメタラーニング技術を導入し、関連する臨床課題から共通の経験や知識を抽出する。
我々の新しいモデルは、単純だが効果的なメタ学習マシンであるPrototypeal Networkと呼ばれる、慎重に設計されたメタラーナーに基づいて構築されている。
論文 参考訳(メタデータ) (2020-09-02T02:50:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。