論文の概要: GTP-4o: Modality-prompted Heterogeneous Graph Learning for Omni-modal Biomedical Representation

• arxiv url: http://arxiv.org/abs/2407.05540v1
• Date: Mon, 8 Jul 2024 01:06:13 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-09 17:19:52.491181
• Title: GTP-4o: Modality-prompted Heterogeneous Graph Learning for Omni-modal Biomedical Representation
• Title（参考訳）: GTP-4o:Omni-modal Biomedical RepresentationのためのModality-prompted Heterogeneous Graph Learning
• Authors: Chenxin Li, Xinyu Liu, Cheng Wang, Yifan Liu, Weihao Yu, Jing Shao, Yixuan Yuan,
• Abstract要約: Omnimodal Learning(GTP-4o)のためのモダリティプロンプト不均質グラフ 我々は、Omnimodal Learning(GTP-4o)のための革新的モダリティプロンプト不均質グラフを提案する。
• 参考スコア（独自算出の注目度）: 68.63955715643974
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in learning multi-modal representation have witnessed the success in biomedical domains. While established techniques enable handling multi-modal information, the challenges are posed when extended to various clinical modalities and practical modalitymissing setting due to the inherent modality gaps. To tackle these, we propose an innovative Modality-prompted Heterogeneous Graph for Omnimodal Learning (GTP-4o), which embeds the numerous disparate clinical modalities into a unified representation, completes the deficient embedding of missing modality and reformulates the cross-modal learning with a graph-based aggregation. Specially, we establish a heterogeneous graph embedding to explicitly capture the diverse semantic properties on both the modality-specific features (nodes) and the cross-modal relations (edges). Then, we design a modality-prompted completion that enables completing the inadequate graph representation of missing modality through a graph prompting mechanism, which generates hallucination graphic topologies to steer the missing embedding towards the intact representation. Through the completed graph, we meticulously develop a knowledge-guided hierarchical cross-modal aggregation consisting of a global meta-path neighbouring to uncover the potential heterogeneous neighbors along the pathways driven by domain knowledge, and a local multi-relation aggregation module for the comprehensive cross-modal interaction across various heterogeneous relations. We assess the efficacy of our methodology on rigorous benchmarking experiments against prior state-of-the-arts. In a nutshell, GTP-4o presents an initial foray into the intriguing realm of embedding, relating and perceiving the heterogeneous patterns from various clinical modalities holistically via a graph theory. Project page: https://gtp-4-o.github.io/.
• Abstract（参考訳）: マルチモーダル表現の学習の最近の進歩は、バイオメディカルドメインの成功を目撃している。 確立された技術は多モード情報を扱えるが,本質的なモダリティギャップによる様々な臨床モダリティや実践的なモダリティ緩和設定に拡張することで課題が提起される。 これらの課題に対処するために,多種多様な臨床モダリティを統一表現に組み込み,欠落したモダリティの不十分な埋め込みを完了し,グラフベースのアグリゲーションでクロスモーダル学習を再構築する,革新的なモダリティプロンプト型Omnimodal Learning用不均質グラフ(GTP-4o)を提案する。 特に、モーダリティ特化特徴(ノード)とクロスモーダル関係(エッジ)の両方における多様な意味特性を明示的に捉えるために、異種グラフの埋め込みを確立する。 そこで,不適切なグラフ表現をグラフプロンプト機構で実現し,幻覚図形トポロジを生成し,不適切な埋め込みを無傷表現に向けて操るモーダリティプロンプトを設計する。 完成したグラフを通して、ドメイン知識によって駆動される経路に沿った潜在的不均一な隣人を明らかにするために、グローバルなメタパスからなる知識誘導型階層的クロスモーダルアグリゲーションと、多種多様な異種関係をまたいだ包括的相互モーダル相互作用のための局所的マルチリレーションアグリゲーションモジュールを慎重に開発する。 先行技術に対する厳密なベンチマーク実験における方法論の有効性を評価する。 ナットシェルにおいて、GTP-4oは、グラフ理論を通して様々な臨床形態から異質なパターンを埋め込み、関連付け、知覚するという興味深い領域への最初の前進を提示する。 プロジェクトページ: https://gtp-4-o.github.io/

関連論文リスト

• ViKL: A Mammography Interpretation Framework via Multimodal Aggregation of Visual-knowledge-linguistic Features [54.37042005469384]
  MVKLは,マルチビュー画像,詳細な表示,報告を含む最初のマルチモーダルマンモグラフィーデータセットである。 このデータセットに基づいて、教師なし事前学習のチャラリングタスクに焦点を当てる。 視覚,知識,言語機能を相乗化するフレームワークであるViKLを提案する。
  論文  参考訳（メタデータ） (2024-09-24T05:01:23Z)
• PRAGA: Prototype-aware Graph Adaptive Aggregation for Spatial Multi-modal Omics Analysis [1.1619559582563954]
  空間多モードオミクス解析(PRAGA)のための空間多モードオミクス解決フレームワークPRototype-Aware Graph Adaptative Aggregationを提案する。 PRAGAは動的グラフを構築し、潜在意味関係を捉え、空間情報と特徴意味論を包括的に統合する。 学習可能なグラフ構造は、クロスモーダルな知識を学習することで摂動を損なうこともできる。
  論文  参考訳（メタデータ） (2024-09-19T12:53:29Z)
• Seeing Unseen: Discover Novel Biomedical Concepts via Geometry-Constrained Probabilistic Modeling [53.7117640028211]
  同定された問題を解決するために,幾何制約付き確率的モデリング処理を提案する。 構成された埋め込み空間のレイアウトに適切な制約を課すために、重要な幾何学的性質のスイートを組み込む。 スペクトルグラフ理論法は、潜在的な新規クラスの数を推定するために考案された。
  論文  参考訳（メタデータ） (2024-03-02T00:56:05Z)
• Graph Relation Distillation for Efficient Biomedical Instance Segmentation [80.51124447333493]
  本稿では,効率的なバイオメディカル・インスタンス・セグメンテーションのためのグラフ関係蒸留手法を提案する。 画像内レベルと画像間レベルの両方に展開する2つのグラフ蒸留方式を導入する。 多くのバイオメディカルデータセットの実験結果から,本手法の有効性が検証された。
  論文  参考訳（メタデータ） (2024-01-12T04:41:23Z)
• HEALNet: Multimodal Fusion for Heterogeneous Biomedical Data [10.774128925670183]
  本稿では,フレキシブルなマルチモーダル融合アーキテクチャであるHybrid Early-fusion Attention Learning Network (HEALNet)を提案する。 The Cancer Genome Atlas (TCGA) の4つのがんデータセットにおける全スライド画像と多モードデータを用いたマルチモーダルサバイバル解析を行った。 HEALNetは、他のエンドツーエンドの訓練された融合モデルと比較して最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-11-15T17:06:26Z)
• Multi-modal Multi-kernel Graph Learning for Autism Prediction and Biomarker Discovery [29.790200009136825]
  本稿では,マルチモーダル統合の過程におけるモダリティ間の負の影響を相殺し,グラフから異種情報を抽出する手法を提案する。 本手法は,Autism Brain Imaging Data Exchange (ABIDE) データセットを用いて評価し,最先端の手法よりも優れている。 また,自閉症に関連する差別的脳領域を本モデルにより同定し,自閉症の病態研究の指針を提供する。
  論文  参考訳（メタデータ） (2023-03-03T07:09:17Z)
• Multi-modal Dynamic Graph Network: Coupling Structural and Functional Connectome for Disease Diagnosis and Classification [8.67028273829113]
  構造的および機能的脳ネットワーク学習のためのマルチモーダル動的グラフ畳み込みネットワーク(MDGCN)を提案する。 本手法は,モーダル間表現のモデル化と動的グラフへの注意的多モデル関連付けの利点を生かした。
  論文  参考訳（メタデータ） (2022-10-25T02:41:32Z)
• Latent Heterogeneous Graph Network for Incomplete Multi-View Learning [57.49776938934186]
  非完全多視点学習のための新しい遅延不均質グラフネットワーク(LHGN)を提案する。 統一された潜在表現を学習することにより、異なる視点間の一貫性と相補性の間のトレードオフが暗黙的に実現される。 学習とテストフェーズの不整合を回避するため,分類タスクのグラフ学習に基づくトランスダクティブ学習手法を適用した。
  論文  参考訳（メタデータ） (2022-08-29T15:14:21Z)
• Multi-modal Graph Learning for Disease Prediction [35.4310911850558]
  病気予測のためのエンドツーエンドのマルチモーダルグラフ学習フレームワーク(MMGL)を提案する。 隣接行列を既存の手法として手動で定義する代わりに、潜在グラフ構造を適応グラフ学習の新しい方法によって捉えることができる。
  論文  参考訳（メタデータ） (2021-07-01T03:59:22Z)
• Relational Graph Learning on Visual and Kinematics Embeddings for Accurate Gesture Recognition in Robotic Surgery [84.73764603474413]
  本稿では,マルチモーダルグラフネットワーク(MRG-Net)の新たなオンラインアプローチを提案し,視覚情報とキネマティクス情報を動的に統合する。 本手法の有効性は, JIGSAWSデータセット上での最先端の成果で実証された。
  論文  参考訳（メタデータ） (2020-11-03T11:00:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。