論文の概要: ReCoG: Reciprocal Co-Evolution for Multimodal Graph Learning
- arxiv url: http://arxiv.org/abs/2608.22786v1
- Date: Mon, 24 Aug 2026 04:16:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-25 18:24:36.989319
- Title: ReCoG: Reciprocal Co-Evolution for Multimodal Graph Learning
- Title(参考訳): ReCoG:マルチモーダルグラフ学習のための相互共進化
- Abstract要約: マルチモーダルグラフ学習では、グラフ構造と不均一なノード属性を共同でトレーニングする必要がある。
本稿では,グラフ構造学習とマルチモーダル表現学習を密結合した新しい学習パラダイムReCoGを提案する。
本研究は,構造と意味の相互共進化が,効果的なマルチモーダルグラフ学習に重要であることを示す。
- 参考スコア(独自算出の注目度): 9.030717765733398
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multimodal graph learning requires jointly training over graph structure and heterogeneous node attributes, yet existing methods largely decouple these processes: prior multimodal graph neural networks (GNNs) focus on aligning modalities in a shared embedding space while operating on fixed or weakly adapted graph structures, and graph structure learning approaches infer topology from unimodal node representations without accounting for multimodal interactions. This separation fundamentally limits the ability of GNNs to capture semantically meaningful relationships in multimodal settings, where observed edges are often noisy, incomplete, or misaligned with underlying semantics. We propose ReCoG (Reciprocal Co-Evolution for Multimodal Graph Learning), a new learning paradigm that tightly couples graph structure learning and multimodal representation learning through end-to-end reciprocal interaction. Concretely, ReCoG integrates (i) a multimodal graph refiner that infers and corrects edges using cross-modal semantic evidence, and (ii) a coupled cross-modal message passing mechanism that performs joint intra- and inter-modality propagation over the refined graph. This unified design yields greater expressiveness than decoupled or two-stage formulations and allows dynamic interaction between topology and representation learning. Across diverse benchmarks for node classification and link prediction, ReCoG consistently outperforms strong multimodal graph structure learning baselines, including graph foundation models. Our results demonstrate that reciprocal co-evolution of structure and semantics is important for effective multimodal graph learning, challenging the prevailing separation between topology and representation learning.
- Abstract(参考訳): 従来のマルチモーダルグラフニューラルネットワーク(GNN)は、固定あるいは弱適応されたグラフ構造を操作しながら、共有埋め込み空間におけるモダリティの整合性に重点を置いており、グラフ構造学習は、マルチモーダル相互作用を考慮せずに、一様ノード表現からトポロジーを推論する。
この分離は、観測されたエッジがしばしばうるさい、不完全、または基礎となる意味論と不一致であるマルチモーダルな設定において意味論的に意味のある関係をキャプチャするGNNの能力を根本的に制限する。
ReCoG(Reciprocal Co-Evolution for Multimodal Graph Learning)は,グラフ構造学習とマルチモーダル表現学習をエンドツーエンドの相互相互作用を通じて緊密に結合する学習パラダイムである。
具体的にはReCoGが統合される
一 クロスモーダルな意味証拠を用いてエッジを推測し、補正するマルチモーダルグラフ精錬器、及び
(II) 改良されたグラフ上で共同でモダリティ内およびモダリティ間伝搬を行うクロスモーダルメッセージパッシング機構。
この統一された設計は、分離されたあるいは2段階の定式化よりも表現力が高く、トポロジーと表現学習の間の動的相互作用を可能にする。
ノード分類とリンク予測の様々なベンチマークにおいて、ReCoGはグラフ基盤モデルを含む強力なマルチモーダルグラフ構造学習ベースラインを一貫して上回っている。
その結果, 構造と意味の相互共進化は, 効率的なマルチモーダルグラフ学習において重要であり, トポロジと表現学習の分離に挑戦することが示唆された。
関連論文リスト
- Toward Federated Multimodal Graph Foundation Models: A Topology-Aware Multimodal Alignment Framework [35.35423006939282]
FedGAMMAは2段階のセマンティック構造アライメント問題として、フェデレーション付きマルチモーダルグラフ基礎学習を論じている。
事前学習中、共有プライベートなセマンティックエンハンサーは、モダリティ固有の情報からモダリティ間の共通性を切り離す。
微調整の間、FedGAMMAは軽量なグラフ認識プロンプトを通じて事前訓練されたエンコーダに適応する。
論文 参考訳(メタデータ) (2026-07-17T06:57:41Z) - TMTE: Effective Multimodal Graph Learning with Task-aware Modality and Topology Co-evolution [12.027339810975079]
Task-Aware Modality and Topology co-Evolution (TMTE)は、グラフトポロジとマルチモーダル表現を協調的に目標タスクに向けて最適化する新しいMGLフレームワークである。
TMTEは、6つのグラフ中心およびモダリティ中心のタスクにまたがる最先端のパフォーマンスを一貫して達成する。
論文 参考訳(メタデータ) (2026-03-29T14:54:59Z) - Multimodal Graph Representation Learning with Dynamic Information Pathways [12.019248723233673]
動的情報経路(DiP)を用いた新しいマルチモーダルグラフ表現学習フレームワークを提案する。
DiPは近接誘導擬似ノード相互作用による各モード内の動的メッセージルーティングを可能にする。
複数のベンチマークの実験では、DiPがベースラインを一貫して上回っていることが示されている。
論文 参考訳(メタデータ) (2026-03-10T06:45:59Z) - Graph is a Substrate Across Data Modalities [50.51414622183521]
グラフは、様々な領域にまたがる関係構造の自然な表現を提供する。
このユビキティにもかかわらず、グラフ構造は通常、モダリティとタスク分離の方法で学習される。
本稿では,共有グラフ構造に関する学習を組織化するグラフ基板フレームワークG-Substrateを提案する。
論文 参考訳(メタデータ) (2026-01-29T22:46:02Z) - Decoupling and Damping: Structurally-Regularized Gradient Matching for Multimodal Graph Condensation [3.2987327415317895]
マルチモーダルグラフに適した新しい凝縮フレームワークSR-GMを提案する。
SR-GMは、ベースライン法と比較して精度を大幅に向上し、収束を加速する。
本研究は,資源制約環境下でのマルチモーダルグラフに基づく学習のためのスケーラブルな方法論を提供する。
論文 参考訳(メタデータ) (2025-11-25T11:50:34Z) - Graph4MM: Weaving Multimodal Learning with Structural Information [52.16646463590474]
グラフは、モーダル内およびモーダル間関係をモデル化するための強力な構造情報を提供する。
それまでの作業では、マルチホップの隣人を区別できず、グラフをスタンドアローンのモダリティとして扱う。
グラフベースのマルチモーダル学習フレームワークであるGraph4MMを提案する。
論文 参考訳(メタデータ) (2025-10-19T20:13:03Z) - GTP-4o: Modality-prompted Heterogeneous Graph Learning for Omni-modal Biomedical Representation [68.63955715643974]
Omnimodal Learning(GTP-4o)のためのモダリティプロンプト不均質グラフ
我々は、Omnimodal Learning(GTP-4o)のための革新的モダリティプロンプト不均質グラフを提案する。
論文 参考訳(メタデータ) (2024-07-08T01:06:13Z) - DGNN: Decoupled Graph Neural Networks with Structural Consistency
between Attribute and Graph Embedding Representations [62.04558318166396]
グラフニューラルネットワーク(GNN)は、複雑な構造を持つグラフ上での表現学習の堅牢性を示す。
ノードのより包括的な埋め込み表現を得るために、Decoupled Graph Neural Networks (DGNN)と呼ばれる新しいGNNフレームワークが導入された。
複数のグラフベンチマークデータセットを用いて、ノード分類タスクにおけるDGNNの優位性を検証した。
論文 参考訳(メタデータ) (2024-01-28T06:43:13Z) - Reinforced Neighborhood Selection Guided Multi-Relational Graph Neural
Networks [68.9026534589483]
RioGNNはReinforceed, recursive, flexible neighborhood selection guided multi-relational Graph Neural Network architectureである。
RioGNNは、各関係の個々の重要性の認識により、説明性を高めた差別的なノード埋め込みを学ぶことができる。
論文 参考訳(メタデータ) (2021-04-16T04:30:06Z) - Adversarial Graph Disentanglement [47.27978741175575]
実世界のグラフは複雑な位相構造を持ち、しばしば異なる潜在因子の相互作用によって形成される。
グラフ表現学習のためのアンダーラインtextbfAdversarial underlinetextbfDisentangled underlinetextbfGraph underlinetextbfConvolutional underlinetextbfNetwork (ADGCN)を提案する。
論文 参考訳(メタデータ) (2021-03-12T14:11:36Z) - Tensor Graph Convolutional Networks for Multi-relational and Robust
Learning [74.05478502080658]
本稿では,テンソルで表されるグラフの集合に関連するデータから,スケーラブルな半教師付き学習(SSL)を実現するためのテンソルグラフ畳み込みネットワーク(TGCN)を提案する。
提案アーキテクチャは、標準的なGCNと比較して大幅に性能が向上し、最先端の敵攻撃に対処し、タンパク質間相互作用ネットワーク上でのSSL性能が著しく向上する。
論文 参考訳(メタデータ) (2020-03-15T02:33:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。