論文の概要: Modality as Heterogeneity: Node Splitting and Graph Rewiring for Multimodal Graph Learning
- arxiv url: http://arxiv.org/abs/2602.00067v1
- Date: Tue, 20 Jan 2026 13:38:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-09 02:03:42.309803
- Title: Modality as Heterogeneity: Node Splitting and Graph Rewiring for Multimodal Graph Learning
- Title(参考訳): 異種性としてのモダリティ:マルチモーダルグラフ学習のためのノード分割とグラフリライト
- Authors: Yihan Zhang, Ercan E. Kuruoglu,
- Abstract要約: 本稿では,ノード分割とグラフ交換機構を統合したマルチモーダルグラフ学習フレームワークNSG(Node Splitting Graph)-MoEを提案する。
各ノードをモダリティ固有のコンポーネントに明示的に分解し、不均一なメッセージフローを処理するためにリレーションアウェアの専門家を割り当てる。
3つのマルチモーダルベンチマークの実験は、NSG-MoEが強いベースラインを一貫して超えることを示した。
- 参考スコア(独自算出の注目度): 10.65673380743972
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multimodal graphs are gaining increasing attention due to their rich representational power and wide applicability, yet they introduce substantial challenges arising from severe modality confusion. To address this issue, we propose NSG (Node Splitting Graph)-MoE, a multimodal graph learning framework that integrates a node-splitting and graph-rewiring mechanism with a structured Mixture-of-Experts (MoE) architecture. It explicitly decomposes each node into modality-specific components and assigns relation-aware experts to process heterogeneous message flows, thereby preserving structural information and multimodal semantics while mitigating the undesirable mixing effects commonly observed in general-purpose GNNs. Extensive experiments on three multimodal benchmarks demonstrate that NSG-MoE consistently surpasses strong baselines. Despite incorporating MoE -- which is typically computationally heavy -- our method achieves competitive training efficiency. Beyond empirical results, we provide a spectral analysis revealing that NSG performs adaptive filtering over modality-specific subspaces, thus explaining its disentangling behavior. Furthermore, an information-theoretic analysis shows that the architectural constraints imposed by NSG reduces mutual information between data and parameters and improving generalization capability.
- Abstract(参考訳): マルチモーダルグラフは、その豊かな表現力と広範囲な適用性から注目が集まっているが、それらが深刻なモダリティの混乱に起因する重大な課題を提起している。
本稿では,ノード分割・グラフ交換機構とMixture-of-Experts(MoE)アーキテクチャを統合したマルチモーダルグラフ学習フレームワークNSG(Node Splitting Graph)-MoEを提案する。
各ノードをモダリティ固有のコンポーネントに明示的に分解し、不均一なメッセージフローを処理するために関係認識の専門家を割り当て、汎用GNNでよく見られる望ましくない混合効果を緩和しながら、構造情報とマルチモーダルセマンティクスを保存する。
3つのマルチモーダルベンチマークの大規模な実験は、NSG-MoEが強いベースラインを一貫して超えることを示した。
通常計算量が多い MoE を組み込むにもかかわらず、我々の手法は競争力のある訓練効率を達成する。
実験結果の他に、NSGがモダリティ固有の部分空間上で適応的なフィルタリングを行い、その非絡み合いの振る舞いを説明するスペクトル分析を行う。
さらに、情報理論解析により、NSGが課すアーキテクチャ上の制約は、データとパラメータ間の相互情報を減らし、一般化能力を向上させることを示す。
関連論文リスト
- MetaHGNIE: Meta-Path Induced Hypergraph Contrastive Learning in Heterogeneous Knowledge Graphs [16.36978652807043]
本稿ではメタパスによるハイパーグラフ学習フレームワークであるMetaHGNIEを提案する。
本結果は,異種知識グラフにおける高次相互作用と相互アライメントを明示的にモデル化することの有効性を強調した。
論文 参考訳(メタデータ) (2025-12-13T22:21:33Z) - Transformers Provably Learn Directed Acyclic Graphs via Kernel-Guided Mutual Information [91.66597637613263]
注意機構を活用するトランスフォーマーベースのモデルは、グラフ内の複雑な依存関係をキャプチャする上で、強い経験的成功を示している。
本稿では,カーネル誘導相互情報(KG-MI)を$f$-divergenceに基づく新しい情報理論指標を提案する。
我々は、K$親和性DAGによって生成された任意のシーケンスが、勾配上昇による単層マルチヘッドトランスを訓練し、大域的最適時間に収束することを証明した。
論文 参考訳(メタデータ) (2025-10-29T14:07:12Z) - MoRE-GNN: Multi-omics Data Integration with a Heterogeneous Graph Autoencoder [15.89170003903628]
MoRE-GNNは生物学的に意味のある関係を捉え、既存の手法より優れている。
MoRE-GNNは、マルチオミクス統合を進めるための適応的でスケーラブルで解釈可能なフレームワークを提供する。
論文 参考訳(メタデータ) (2025-10-08T10:48:15Z) - Graph Mixture of Experts and Memory-augmented Routers for Multivariate Time Series Anomaly Detection [28.57277614615255]
本稿では,多変量時系列異常検出のためのGraph Mixture of Experts (Graph-MoE)ネットワークを提案する。
我々のGraph-MoEは、プラグイン・アンド・プレイ方式で任意のGNNベースのMSS異常検出手法に統合できる。
さらに,MTSのグローバルな歴史的特徴から時間的相関情報を捉えるために,メモリ拡張ルータを提案する。
論文 参考訳(メタデータ) (2024-12-26T07:49:51Z) - Mixture of Experts Meets Decoupled Message Passing: Towards General and Adaptive Node Classification [4.129489934631072]
グラフニューラルネットワークはグラフ表現学習において優れているが、異種データと長距離依存に苦慮している。
ノード分類のための汎用モデルアーキテクチャであるGNNMoEを提案する。
GNNMoEは様々なグラフデータに対して優れた性能を示し、過度にスムースな問題や大域的なノイズを効果的に軽減している。
論文 参考訳(メタデータ) (2024-12-11T08:35:13Z) - DA-MoE: Addressing Depth-Sensitivity in Graph-Level Analysis through Mixture of Experts [70.21017141742763]
グラフニューラルネットワーク(GNN)は、グラフ構造化データを処理することで人気を集めている。
既存のメソッドは通常、固定数のGNNレイヤを使用して、すべてのグラフの表現を生成する。
本稿では,GNNに2つの改良を加えたDA-MoE法を提案する。
論文 参考訳(メタデータ) (2024-11-05T11:46:27Z) - Simple and Efficient Heterogeneous Graph Neural Network [55.56564522532328]
不均一グラフニューラルネットワーク(HGNN)は、不均一グラフの豊富な構造的および意味的な情報をノード表現に埋め込む強力な能力を持つ。
既存のHGNNは、同種グラフ上のグラフニューラルネットワーク(GNN)から多くのメカニズム、特に注意機構と多層構造を継承する。
本稿では,これらのメカニズムを詳細に検討し,簡便かつ効率的なヘテロジニアスグラフニューラルネットワーク(SeHGNN)を提案する。
論文 参考訳(メタデータ) (2022-07-06T10:01:46Z) - Deep Architecture Connectivity Matters for Its Convergence: A
Fine-Grained Analysis [94.64007376939735]
我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。
接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
論文 参考訳(メタデータ) (2022-05-11T17:43:54Z) - Adversarial Graph Disentanglement [47.27978741175575]
実世界のグラフは複雑な位相構造を持ち、しばしば異なる潜在因子の相互作用によって形成される。
グラフ表現学習のためのアンダーラインtextbfAdversarial underlinetextbfDisentangled underlinetextbfGraph underlinetextbfConvolutional underlinetextbfNetwork (ADGCN)を提案する。
論文 参考訳(メタデータ) (2021-03-12T14:11:36Z) - Multi-View Graph Neural Networks for Molecular Property Prediction [67.54644592806876]
マルチビューグラフニューラルネットワーク(MV-GNN)を提案する。
MV-GNNでは,学習過程を安定させるために,自己注意型読み出しコンポーネントと不一致損失を導入する。
我々は、相互依存型メッセージパッシング方式を提案することにより、MV-GNNの表現力をさらに強化する。
論文 参考訳(メタデータ) (2020-05-17T04:46:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。