論文の概要: TMTE: Effective Multimodal Graph Learning with Task-aware Modality and Topology Co-evolution

• arxiv url: http://arxiv.org/abs/2603.27723v1
• Date: Sun, 29 Mar 2026 14:54:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-31 23:18:45.085145
• Title: TMTE: Effective Multimodal Graph Learning with Task-aware Modality and Topology Co-evolution
• Title（参考訳）: TMTE:タスク認識型マルチモーダルグラフ学習とトポロジ共進化
• Authors: Yinlin Zhu, Xunkai Li, Di Wu, Wang Luo, Miao Hu, Di Wu,
• Abstract要約: Task-Aware Modality and Topology co-Evolution (TMTE)は、グラフトポロジとマルチモーダル表現を協調的に目標タスクに向けて最適化する新しいMGLフレームワークである。 TMTEは、6つのグラフ中心およびモダリティ中心のタスクにまたがる最先端のパフォーマンスを一貫して達成する。
• 参考スコア（独自算出の注目度）: 12.027339810975079
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal-attributed graphs (MAGs) are a fundamental data structure for multimodal graph learning (MGL), enabling both graph-centric and modality-centric tasks. However, our empirical analysis reveals inherent topology quality limitations in real-world MAGs, including noisy interactions, missing connections, and task-agnostic relational structures. A single graph derived from generic relationships is therefore unlikely to be universally optimal for diverse downstream tasks. To address this challenge, we propose Task-aware Modality and Topology co-Evolution (TMTE), a novel MGL framework that jointly and iteratively optimizes graph topology and multimodal representations toward the target task. TMTE is motivated by the bidirectional coupling between modality and topology: multimodal attributes induce relational structures, while graph topology shapes modality representations. Concretely, TMTE casts topology evolution as multi-perspective metric learning over modality embeddings with an anchor-based approximation, and formulates modality evolution as smoothness-regularized fusion with cross-modal alignment, yielding a closed-loop task-aware co-evolution process. Extensive experiments on 9 MAG datasets and 1 non-graph multimodal dataset across 6 graph-centric and modality-centric tasks show that TMTE consistently achieves state-of-the-art performance. Our code is available at https://anonymous.4open.science/r/TMTE-1873.
• Abstract（参考訳）: マルチモーダルグラフ(Multimodal-attributed graph)は、マルチモーダルグラフ学習(MGL)の基本データ構造であり、グラフ中心のタスクとモダリティ中心のタスクの両方を可能にする。 しかし、実世界のMAGには、ノイズ相互作用、接続の欠如、タスクに依存しない関係構造など、固有のトポロジー品質の制限がある。 したがって、一般的な関係から導かれる単一のグラフは、様々な下流タスクに対して普遍的に最適である可能性は低い。 この課題に対処するために,目的タスクに対するグラフトポロジとマルチモーダル表現を協調的かつ反復的に最適化する新しいMGLフレームワークである,タスク対応モダリティとトポロジの共進化(TMTE)を提案する。 TMTEは、モダリティとトポロジーの双方向結合によって動機付けられ、マルチモーダル属性はリレーショナル構造を誘導し、グラフトポロジーはモダリティ表現を形作る。 具体的には、TMTEは、モダリティの埋め込みをアンカーベース近似で近似し、トポロジーの進化をマルチパースペクティブな計量学習とし、モダリティの進化を、モーダルアライメントによる滑らかさ-正規化融合として定式化し、クローズドループタスク・アウェアな共進化過程をもたらす。 9つのMAGデータセットと6つのグラフ中心およびモダリティ中心のタスクにまたがる1つの非グラフマルチモーダルデータセットに関する大規模な実験は、TMTEが一貫して最先端のパフォーマンスを達成することを示している。 私たちのコードはhttps://anonymous.4open.science/r/TMTE-1873で公開されています。

関連論文リスト

• Toward Effective Multimodal Graph Foundation Model: A Divide-and-Conquer Based Approach [42.970648490410504]
  MGFM(Multimodal Graph Foundation Models)は、Multimodal-Attributed Graphs(MAG)におけるリッチなマルチモーダル情報の活用を可能にする。 本稿では,異なる粒度にまたがるモダリティの相互作用とアライメントを分離するために,Divide-and-Conquer戦略を用いた新しいフレームワークPLANETを提案する。 PLANETは,様々なグラフ中心およびマルチモーダル生成タスクにおいて,最先端のベースラインを著しく上回ることを示す。
  論文  参考訳（メタデータ） (2026-02-04T01:05:12Z)
• LION: A Clifford Neural Paradigm for Multimodal-Attributed Graph Learning [36.90213853456115]
  マルチモーダル分布グラフにおけるアライメント・テン・フュージョンを実装するために,LIONを提案する。 まず、クリフォード代数を基底とするモジュラリティ対応幾何多様体を構築する。 この幾何学的に誘導される高次グラフの伝播は、モダリティの相互作用を効率的に達成し、モダリティのアライメントを容易にする。
  論文  参考訳（メタデータ） (2026-01-29T09:30:36Z)
• OFA-MAS: One-for-All Multi-Agent System Topology Design based on Mixture-of-Experts Graph Generative Models [57.94189874119267]
  マルチエージェントシステム(MAS)は複雑な問題を解決するための強力なパラダイムを提供する。 現在のグラフ学習に基づく設計手法は、しばしば「1対1」のパラダイムに準拠している。 自然言語で記述されたタスクに対して適応的な協調グラフを生成する一対一のフレームワークOFA-TADを提案する。
  論文  参考訳（メタデータ） (2026-01-19T12:23:44Z)
• Transformers Provably Learn Directed Acyclic Graphs via Kernel-Guided Mutual Information [91.66597637613263]
  注意機構を活用するトランスフォーマーベースのモデルは、グラフ内の複雑な依存関係をキャプチャする上で、強い経験的成功を示している。 本稿では,カーネル誘導相互情報(KG-MI)を$f$-divergenceに基づく新しい情報理論指標を提案する。 我々は、K$親和性DAGによって生成された任意のシーケンスが、勾配上昇による単層マルチヘッドトランスを訓練し、大域的最適時間に収束することを証明した。
  論文  参考訳（メタデータ） (2025-10-29T14:07:12Z)
• Graph4MM: Weaving Multimodal Learning with Structural Information [52.16646463590474]
  グラフは、モーダル内およびモーダル間関係をモデル化するための強力な構造情報を提供する。 それまでの作業では、マルチホップの隣人を区別できず、グラフをスタンドアローンのモダリティとして扱う。 グラフベースのマルチモーダル学習フレームワークであるGraph4MMを提案する。
  論文  参考訳（メタデータ） (2025-10-19T20:13:03Z)
• Dynamic Generation of Multi-LLM Agents Communication Topologies with Graph Diffusion Models [99.85131798240808]
  我々はtextitGuided Topology Diffusion (GTD) と呼ばれる新しい生成フレームワークを導入する。 条件付き離散グラフ拡散モデルにインスパイアされたGTD式は、反復的な構成過程としてトポロジー合成を行う。 各ステップで生成は、多目的報酬を予測する軽量プロキシモデルによって制御される。 実験により、GTDは高いタスク適応性、スパース、効率的な通信トポロジを生成できることが示されている。
  論文  参考訳（メタデータ） (2025-10-09T05:28:28Z)
• UniGraph2: Learning a Unified Embedding Space to Bind Multimodal Graphs [34.48393396390799]
  マルチモーダルグラフ上での汎用的な表現学習を可能にする新しいクロスドメイングラフ基盤モデルを提案する。 UniGraph2は、グラフニューラルネットワーク(GNN)と共にモダリティ固有のエンコーダを使用して、統一された低次元埋め込み空間を学習する。 我々は,UniGraph2が表現学習,伝達学習,マルチモーダル生成タスクなどのタスクにおいて,最先端モデルよりも大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2025-02-02T14:04:53Z)
• GTP-4o: Modality-prompted Heterogeneous Graph Learning for Omni-modal Biomedical Representation [68.63955715643974]
  Omnimodal Learning(GTP-4o)のためのモダリティプロンプト不均質グラフ 我々は、Omnimodal Learning(GTP-4o)のための革新的モダリティプロンプト不均質グラフを提案する。
  論文  参考訳（メタデータ） (2024-07-08T01:06:13Z)
• Counterfactual Intervention Feature Transfer for Visible-Infrared Person Re-identification [69.45543438974963]
  視覚赤外人物再識別タスク(VI-ReID)におけるグラフベースの手法は,2つの問題により,悪い一般化に悩まされている。 十分に訓練された入力特徴は、グラフトポロジーの学習を弱め、推論過程において十分に一般化されない。 本稿では,これらの問題に対処するためのCIFT法を提案する。
  論文  参考訳（メタデータ） (2022-08-01T16:15:31Z)
• Analyzing Unaligned Multimodal Sequence via Graph Convolution and Graph Pooling Fusion [28.077474663199062]
  本稿では,マルチモーダルシーケンシャルデータモデリングにおけるグラフニューラルネットワーク(GNN)の有効性を検討するために,マルチモーダルグラフと呼ばれる新しいモデルを提案する。 グラフベースのモデルは、2つのベンチマークデータセット上で最先端のパフォーマンスに達する。
  論文  参考訳（メタデータ） (2020-11-27T06:12:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。