論文の概要: Towards Unified Multimodal Graph Foundation Model: A Bridge-Router-Adapter Based Approach

• arxiv url: http://arxiv.org/abs/2609.06668v1
• Date: Sun, 06 Sep 2026 15:21:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.292982
• Title: Towards Unified Multimodal Graph Foundation Model: A Bridge-Router-Adapter Based Approach
• Title（参考訳）: 統一マルチモーダルグラフ基礎モデルに向けて:ブリッジルータアダプタに基づくアプローチ
• Abstract要約: 本稿では,周辺範囲とモダリティ合成を組み合わせたグラフコンテキストに着目した統合モデルであるBRAINを提案する。 BRAINは、地域から地域までの範囲にまたがる構造情報を、異なるモダリティ構成と組み合わせたスコープ条件のブリッジで構成されている。 BRAINは、マルチグラフ事前トレーニングとタスク固有の適応を通じてトレーニングされる。
• 参考スコア（独自算出の注目度）: 16.333077512049588
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal graphs couple node attributes in different modalities, such as text and images, with relational structure, enabling topological structure and cross-modality attributes to be modeled jointly. Multimodal graph foundation models seek unified representations from such data that transfer across different graph domains and downstream tasks. However, existing methods exhibit two fundamental limitations. (1) Cross-Scope Context Entanglement. They merge scope-specific graph contexts into a unified representation, obscuring their distinctions during multimodal construction. (2) Scope-Ignorant Modality Routing. They route modalities within a fixed graph scope, overlooking how modality relevance varies across neighborhood ranges. To address these challenges, we propose BRAIN, a unified model that focuses on graph context that combines neighborhood scope with modality composition. BRAIN comprises a scope-conditioned Bridge that combines structural information spanning local-to-global neighborhood scopes with different modality compositions; a hierarchical Router that estimates the relevance between the scope and the task, and selects compositions separately within each scope, allowing modality utility to vary with graph range; and a lightweight residual Adapter that further specializes the routed embedding for downstream prediction. BRAIN is trained through multi-graph pretraining followed by task-specific adaptation. Experiments across nine datasets and four task families demonstrate its broad effectiveness, improving node-classification and link-prediction performance by up to 4.73% relative to the strongest baseline, while achieving an average relative improvement of 14.72% across four graph-to-text and two graph-to-image metrics.
• Abstract（参考訳）: マルチモーダルグラフは、テキストや画像などの異なるモダリティのノード属性と関係構造を結合し、トポロジ的構造と相互モダリティ属性を共同でモデル化することを可能にする。 マルチモーダルグラフ基盤モデルは、異なるグラフドメインと下流タスク間で転送されるデータから統一表現を求める。 しかし、既存の方法には2つの基本的な制限がある。 1)クロススコープコンテキストの絡み合い。 彼らはスコープ固有のグラフコンテキストを統一表現にマージし、マルチモーダルな構成においてそれらの区別を無視する。 2)スコープ非依存なモダリティルーティング。 固定されたグラフの範囲内でモダリティをルーティングし、近隣の範囲でモダリティの関連性がどのように変化するかを見越す。 これらの課題に対処するために、近隣のスコープとモダリティの構成を組み合わせたグラフコンテキストに焦点を当てた統合モデルであるBRAINを提案する。 BRAINは、ローカルからグローバルまでの範囲にまたがる構造情報を異なるモダリティ構成と組み合わせるスコープ条件付きブリッジと、スコープとタスク間の関連性を推定し、各スコープ内で構成を個別に選択する階層ルータと、グラフ範囲に応じてモダリティユーティリティを変更できるようにする軽量なリザーブアダプタと、下流予測のためのルートド埋め込みを更に専門化する。 BRAINは、マルチグラフ事前トレーニングとタスク固有の適応を通じてトレーニングされる。 9つのデータセットと4つのタスクファミリにわたる実験は、ノード分類とリンク予測のパフォーマンスを最大4.73%向上させるとともに、4つのグラフ・トゥ・テキストと2つのグラフ・ツー・イメージのメトリクスで平均14.72%の改善を達成した。

関連論文リスト

• CHARM: A Multimodal Graph Foundation Model with Hierarchical Context Modeling for Zero-Shot Transfer [28.685440757890465]
  グラフ基礎モデル(GFM)は、グラフドメインとタスク間で知識を伝達するための有望なパラダイムとして登場した。 ゼロショット転送のための階層型コンテキストモデリングを用いたマルチモーダルグラフ基盤モデルCHARMを提案する。 実験では、ゼロショットマルチモーダルグラフタスクに一貫した改善が示されている。
  論文  参考訳（メタデータ） (2026-07-28T17:35:26Z)
• Toward Federated Multimodal Graph Foundation Models: A Topology-Aware Multimodal Alignment Framework [35.35423006939282]
  FedGAMMAは2段階のセマンティック構造アライメント問題として、フェデレーション付きマルチモーダルグラフ基礎学習を論じている。 事前学習中、共有プライベートなセマンティックエンハンサーは、モダリティ固有の情報からモダリティ間の共通性を切り離す。 微調整の間、FedGAMMAは軽量なグラフ認識プロンプトを通じて事前訓練されたエンコーダに適応する。
  論文  参考訳（メタデータ） (2026-07-17T06:57:41Z)
• Toward Effective Multimodal Graph Foundation Model: A Divide-and-Conquer Based Approach [42.970648490410504]
  MGFM(Multimodal Graph Foundation Models)は、Multimodal-Attributed Graphs(MAG)におけるリッチなマルチモーダル情報の活用を可能にする。 本稿では,異なる粒度にまたがるモダリティの相互作用とアライメントを分離するために,Divide-and-Conquer戦略を用いた新しいフレームワークPLANETを提案する。 PLANETは,様々なグラフ中心およびマルチモーダル生成タスクにおいて,最先端のベースラインを著しく上回ることを示す。
  論文  参考訳（メタデータ） (2026-02-04T01:05:12Z)
• PanMatch: Unleashing the Potential of Large Vision Models for Unified Matching Models [80.65273820998875]
  頑健な対応マッチングのための汎用基盤モデルであるPanMatchを提案する。 我々の重要な洞察は、任意の2フレーム対応タスクが2次元変位推定フレームワーク内で処理可能であることである。 PanMatchは、偏差推定アルゴリズムを前例のない一般化能力で実現し、マルチタスク統合を実現する。
  論文  参考訳（メタデータ） (2025-07-11T08:18:52Z)
• UniGraph2: Learning a Unified Embedding Space to Bind Multimodal Graphs [34.48393396390799]
  マルチモーダルグラフ上での汎用的な表現学習を可能にする新しいクロスドメイングラフ基盤モデルを提案する。 UniGraph2は、グラフニューラルネットワーク(GNN)と共にモダリティ固有のエンコーダを使用して、統一された低次元埋め込み空間を学習する。 我々は,UniGraph2が表現学習,伝達学習,マルチモーダル生成タスクなどのタスクにおいて,最先端モデルよりも大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2025-02-02T14:04:53Z)
• Graphonomy: Universal Image Parsing via Graph Reasoning and Transfer [140.72439827136085]
  グラフィノノミー(Graphonomy)というグラフ推論・伝達学習フレームワークを提案する。 人間の知識とラベル分類を、局所畳み込みを超えた中間グラフ表現学習に組み込んでいる。 意味認識グラフの推論と転送を通じて、複数のドメインにおけるグローバルおよび構造化されたセマンティックコヒーレンシーを学習する。
  論文  参考訳（メタデータ） (2021-01-26T08:19:03Z)
• Jointly Cross- and Self-Modal Graph Attention Network for Query-Based Moment Localization [77.21951145754065]
  本稿では,共同グラフを渡る反復的メッセージのプロセスとして,このタスクをリキャストするクロスモーダルグラフ注意ネットワーク(CSMGAN)を提案する。 CSMGANは2つのモード間の高次相互作用を効果的に捉えることができ、より正確な局所化を可能にします。
  論文  参考訳（メタデータ） (2020-08-04T08:25:24Z)
• Cross-Domain Facial Expression Recognition: A Unified Evaluation Benchmark and Adversarial Graph Learning [85.6386289476598]
  我々は,クロスドメイン全体的特徴共適応のための新しい逆グラフ表現適応(AGRA)フレームワークを開発した。 我々は,いくつかの一般的なベンチマークで広範囲かつ公平な評価を行い,提案したAGRAフレームワークが従来の最先端手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-08-03T15:00:31Z)
• Adversarial Bipartite Graph Learning for Video Domain Adaptation [50.68420708387015]
  ドメイン適応技術は,異なる領域間のモデルを適応させることに重点を置いているが,ビデオ認識領域ではめったに研究されていない。 近年,映像のソースと対象映像の表現を統一するために,対角学習を活用する視覚領域適応はビデオにはあまり効果がない。 本稿では,ソースとターゲットの相互作用を直接モデル化するAdversarial Bipartite Graph (ABG)学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-31T03:48:41Z)
• Bidirectional Graph Reasoning Network for Panoptic Segmentation [126.06251745669107]
  本稿では,BGRNet(Bidirectional Graph Reasoning Network)を導入し,前景物と背景物間のモジュラー内およびモジュラー間関係について検討する。 BGRNetはまず、インスタンスとセマンティックセグメンテーションの両方でイメージ固有のグラフを構築し、提案レベルとクラスレベルで柔軟な推論を可能にする。
  論文  参考訳（メタデータ） (2020-04-14T02:32:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。