論文の概要: Context-aware Modality-Topology Co-Alignment for Multimodal Attributed Graphs

• arxiv url: http://arxiv.org/abs/2606.14172v1
• Date: Fri, 12 Jun 2026 06:53:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-15 16:00:42.785989
• Title: Context-aware Modality-Topology Co-Alignment for Multimodal Attributed Graphs
• Title（参考訳）: マルチモーダル分布グラフに対する文脈認識型モダリティ-トポロジー協調アライメント
• Authors: Sirui Zhang, Xu Wang, Zhengyu Wu, Xunkai Li, Hongchao Qin,
• Abstract要約: MultimodalAttributed Graphs (MAG) は、テキストや画像などの異種属性とグラフトポロジーを結合することで、現実世界のエンティティをモデル化する。 既存のMAG法は、しばしば固定されたグラフコンテキストや均一に融合した表現に依存し、タスク非依存の伝播と過圧縮融合を引き起こす。 タスク適応型信頼性コンテキストとモード保存アライメントを学習する統合MAGであるCoMAGを提案する。
• 参考スコア（独自算出の注目度）: 8.922335341563363
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal Attributed Graphs (MAGs) model real-world entities by coupling graph topology with heterogeneous attributes such as text and images. They support graph-centric tasks requiring structural and class-discriminative representations, and modality-centric tasks requiring fine-grained cross-modal correspondence. However, existing MAG methods often rely on fixed graph contexts or uniformly fused representations, causing task-agnostic propagation and over-compressed fusion that hinder diverse task requirements and modality-specific evidence preservation. To address this, we propose CoMAG, a unified MAG backbone that learns task-adaptive reliable contexts and modality-preserving alignment within them. CoMAG first conducts Reliable Context Learning by estimating edge reliability from multimodal semantic consistency, complementing raw topology with semantic neighbors, and selecting context components through a task-aware gate. It then performs Modality-preserving Hop-token Alignment by maintaining modality-specific multi-hop trajectories, matching modality-hop tokens across modalities, and decoupling shared and private representations. Thus, CoMAG produces graph and modality representations from one forward pass while retaining modality-specific cues. We further analyze stable propagation, over-smoothing mitigation, and modality-collapse control. Experiments on nine OpenMAG datasets compare CoMAG with feature-only, graph-only, multimodal, and unified MAG baselines across graph-level prediction, modality matching, and graph-conditioned generation. Results show that CoMAG achieves the best reported performance, demonstrating that task-adaptive reliable contexts and modality-preserving alignment improve structural prediction, cross-modal matching, and graph-conditioned generation while retaining sparse edge-linear complexity.
• Abstract（参考訳）: Multimodal Attributed Graphs (MAG) は、テキストや画像などの異種属性とグラフトポロジーを結合することで、現実世界のエンティティをモデル化する。 それらは、構造的およびクラス識別的な表現を必要とするグラフ中心のタスクと、微粒なクロスモーダル対応を必要とするモダリティ中心のタスクをサポートする。 しかし、既存のMAG法は、しばしば固定されたグラフコンテキストや一様に融合した表現に依存しており、タスクに依存しない伝播や、多様なタスク要求やモダリティ固有のエビデンス保存を妨げる過圧縮融合を引き起こしている。 これを解決するために,タスク適応型信頼性コンテキストとモード保存アライメントを学習する統合MAGバックボーンであるCoMAGを提案する。 CoMAGはまず、マルチモーダルなセマンティック一貫性からエッジ信頼性を推定し、生トポロジをセマンティックな隣人と補完し、タスク認識ゲートを通じてコンテキストコンポーネントを選択することにより、信頼性の高いコンテキスト学習を行う。 その後、モダリティ固有のマルチホップ軌道を維持し、モダリティにまたがるモダリティホップトークンをマッチングし、共有表現とプライベート表現を分離することで、モダリティ保存ホップ整列を行う。 このように、CoMAGは1つのフォワードパスからグラフとモダリティ表現を生成し、モダリティ固有のキューを保持する。 さらに, 安定伝搬, 過密緩和, モダリティ・崩壊制御を解析した。 9つのOpenMAGデータセットの実験では、CoMAGと特徴のみ、グラフのみ、マルチモーダル、統一MAGベースラインを比較し、グラフレベルの予測、モダリティマッチング、グラフ条件付き生成を行った。 結果から,タスク適応型信頼性コンテクストとモダリティ保存アライメントが,粗いエッジ線形複雑性を維持しつつ,構造予測,クロスモーダルマッチング,グラフ条件付き生成を改善することを示す。

関連論文リスト

• SMGFM: Spectral Multimodal Graph Pretraining for Multimodal-Attributed Graphs [38.400117494307615]
  マルチモーダル分布グラフ (MAG) は、テキスト、画像、その他のモダリティからのノードセマンティクスとグラフトポロジーを結合する。 SMGFMは,各モード固有のノード信号をグラフ周波数帯域に分解する,スペクトルマルチモーダルグラフ事前学習フレームワークである。 SMGFMはグラフレベルおよびモダリティレベルのタスクにまたがって最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2026-06-11T03:54:35Z)
• GOMA: Toward Structure-Driven Multimodal Alignment from a Graph Signal Smoothing Perspective [39.44851011793204]
  凍結したマルチモーダル埋め込みをグラフ信号として見る構造駆動のポストアライメントフレームワークを提案する。 GOMAは、メッセージがどこに流れるべきか、マルチモーダルエビデンスがどのように伝播するか、どのスムーズな深さを維持するべきかという3つの重要な設計選択を分離している。 すべての実験は、グラフがラベルのないコンテキストとしてのみ機能し、対角方向の自己対向エッジを除去する、トランスダクティブなMAG検索プロトコルに従う。
  論文  参考訳（メタデータ） (2026-05-15T08:21:22Z)
• STAGE: Tackling Semantic Drift in Multimodal Federated Graph Learning [48.96526409527749]
  フェデレーショングラフ学習(FGL)は、複数のクライアントにわたるグラフデータの協調トレーニングを可能にする。 鍵となる課題は、異なるモダリティドメインのクライアントが共通のセマンティックスペースを共有していないことだ。 MM-FGLのためのプロトコルファーストフレームワークである textbfSTAGE を提案する。
  論文  参考訳（メタデータ） (2026-05-12T10:35:43Z)
• Robust Multimodal Recommendation via Graph Retrieval-Enhanced Modality Completion [71.20734649881258]
  実世界のマルチモーダルデータセットは、センサーの故障、アノテーションの不足、プライバシーの制約によって、しばしばモダリティの不完全性に悩まされる。 効果的な解決策の1つはモダリティ補完であり、下流タスクのためのモダリティ完全グラフを提供するために欠落した特徴を再構成する。 本稿では,これらの制限を克服するグラフ検索拡張モード補完フレームワークであるGRE-MCを提案する。
  論文  参考訳（メタデータ） (2026-05-01T13:50:52Z)
• TMTE: Effective Multimodal Graph Learning with Task-aware Modality and Topology Co-evolution [12.027339810975079]
  Task-Aware Modality and Topology co-Evolution (TMTE)は、グラフトポロジとマルチモーダル表現を協調的に目標タスクに向けて最適化する新しいMGLフレームワークである。 TMTEは、6つのグラフ中心およびモダリティ中心のタスクにまたがる最先端のパフォーマンスを一貫して達成する。
  論文  参考訳（メタデータ） (2026-03-29T14:54:59Z)
• OptiMAG: Structure-Semantic Alignment via Unbalanced Optimal Transport [37.640303159988015]
  マルチモーダル分散グラフ(MAG)は、テキストや画像などのマルチモーダル情報をノード上で統合することにより、複雑なシステムのモデリングに広く採用されている。 異なるモダリティ埋め込みによって誘導される暗黙的な意味構造と明示的なグラフ構造との相違を同定する。 既存のメソッドは通常、固定された明示的なグラフ構造上でメッセージパッシングを実行するため、それらは必然的に異なる特徴を集約する。 我々は,不均衡な最適輸送に基づく正規化フレームワークOptiMAGを提案する。
  論文  参考訳（メタデータ） (2026-01-30T11:29:03Z)
• GRAVER: Generative Graph Vocabularies for Robust Graph Foundation Models Fine-tuning [92.19531718298744]
  Graph Foundation Models (GFMs) は、さまざまなグラフタスクやドメインにまたがる広範な適用性を約束している。 既存のGFMは不安定な数発の微調整に苦戦している。 本稿では,ロバスト GFM ファインチューニングフレームワーク GRAVER を提案する。
  論文  参考訳（メタデータ） (2025-11-05T13:07:26Z)
• EGRA:Toward Enhanced Behavior Graphs and Representation Alignment for Multimodal Recommendation [50.848374648774374]
  MMR(MultiModal Recommendation)システムは、リッチな項目側モダリティ情報を活用することで、推奨品質を改善するための有望なソリューションとして登場した。 本稿では,事前学習したMMRモデルにより生成された表現から構築されたアイテム-イムグラフの挙動グラフを組み込んだEGRAを提案する。 また、両レベルの動的アライメント重み付け機構を導入し、モダリティ・ビヘイビアのアライメントアライメントを改善する。
  論文  参考訳（メタデータ） (2025-08-22T07:47:54Z)
• Refining Contrastive Learning and Homography Relations for Multi-Modal Recommendation [19.01114538768217]
  我々は,textbfRtextbfEfining multi-modtextbfAl conttextbfRastive learning and hotextbfMography relationsを提案する。 実世界の3つのデータセットに対する実験は、REARMの様々な最先端ベースラインに対する優位性を実証している。
  論文  参考訳（メタデータ） (2025-08-19T11:35:48Z)
• A Pure Transformer Pretraining Framework on Text-attributed Graphs [50.833130854272774]
  グラフ構造を先行として扱うことで,特徴中心の事前学習の視点を導入する。 我々のフレームワークであるGraph Sequence Pretraining with Transformer (GSPT)はランダムウォークを通してノードコンテキストをサンプリングする。 GSPTはノード分類とリンク予測の両方に容易に適応でき、様々なデータセットで有望な経験的成功を示す。
  論文  参考訳（メタデータ） (2024-06-19T22:30:08Z)
• Jointly Cross- and Self-Modal Graph Attention Network for Query-Based Moment Localization [77.21951145754065]
  本稿では,共同グラフを渡る反復的メッセージのプロセスとして,このタスクをリキャストするクロスモーダルグラフ注意ネットワーク(CSMGAN)を提案する。 CSMGANは2つのモード間の高次相互作用を効果的に捉えることができ、より正確な局所化を可能にします。
  論文  参考訳（メタデータ） (2020-08-04T08:25:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。