論文の概要: GNN-MoE: Context-Aware Patch Routing using GNNs for Parameter-Efficient Domain Generalization
- arxiv url: http://arxiv.org/abs/2511.04008v1
- Date: Thu, 06 Nov 2025 03:16:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-07 20:17:53.284275
- Title: GNN-MoE: Context-Aware Patch Routing using GNNs for Parameter-Efficient Domain Generalization
- Title(参考訳): GNN-MoE:パラメータ効率の良いドメイン一般化のためのGNNを用いたコンテキスト対応パッチルーティング
- Authors: Mahmoud Soliman, Omar Abdelaziz, Ahmed Radwan, Anand, Mohamed Shehata,
- Abstract要約: Graph Neural Network (GNN)ルータはパッチ間グラフで動作し、パッチを専門の専門家に動的に割り当てる。
GNN-MoEは、パラメータ効率の高い最先端または競合的なDGベンチマーク性能を実現する。
- 参考スコア(独自算出の注目度): 5.387709967970505
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Domain generalization (DG) seeks robust Vision Transformer (ViT) performance on unseen domains. Efficiently adapting pretrained ViTs for DG is challenging; standard fine-tuning is costly and can impair generalization. We propose GNN-MoE, enhancing Parameter-Efficient Fine-Tuning (PEFT) for DG with a Mixture-of-Experts (MoE) framework using efficient Kronecker adapters. Instead of token-based routing, a novel Graph Neural Network (GNN) router (GCN, GAT, SAGE) operates on inter-patch graphs to dynamically assign patches to specialized experts. This context-aware GNN routing leverages inter-patch relationships for better adaptation to domain shifts. GNN-MoE achieves state-of-the-art or competitive DG benchmark performance with high parameter efficiency, highlighting the utility of graph-based contextual routing for robust, lightweight DG.
- Abstract(参考訳): ドメイン一般化(DG)は、目に見えないドメイン上でのロバストなビジョントランスフォーマー(ViT)性能を求める。
トレーニング済みのViTをDGに効果的に適応させることは困難であり、標準微調整はコストがかかり、一般化を損なう可能性がある。
我々は,効率的なKroneckerアダプタを用いたMixture-of-Experts (MoE) フレームワークを用いて,DGのためのパラメータ・エフェクト・ファイン・チューニング(PEFT)を強化したGNN-MoEを提案する。
トークンベースのルーティングの代わりに、新しいグラフニューラルネットワーク(GNN)ルータ(GCN、GAT、SAGE)がパッチ間グラフで動作し、特別な専門家にパッチを動的に割り当てる。
このコンテキスト対応GNNルーティングは、パッチ間の関係を利用して、ドメインシフトへの適応性を向上する。
GNN-MoEは、高パラメータ効率で最先端または競合的なDGベンチマーク性能を実現し、堅牢で軽量なDGのためのグラフベースのコンテキストルーティングの有用性を強調した。
関連論文リスト
- Graph Neural Networks Powered by Encoder Embedding for Improved Node Learning [17.31465642587528]
グラフニューラルネットワーク(GNN)は、幅広いノードレベルのグラフ学習タスクのための強力なフレームワークとして登場した。
本稿では,1ホットグラフエンコーダ埋め込み (GEE) という統計的手法を用いて,高品質な初期ノード特徴を生成する。
本研究では,教師なし環境と教師なし環境の両方にまたがる広範囲なシミュレーションと実世界の実験を通して,その効果を実証する。
論文 参考訳(メタデータ) (2025-07-15T21:01:54Z) - Bridging Domain Adaptation and Graph Neural Networks: A Tensor-Based Framework for Effective Label Propagation [23.79865440689265]
グラフニューラルネットワーク(GNN)は近年,グラフデータ研究の主要なツールとなっている。
グラフ分類タスクにおける最先端のパフォーマンスにもかかわらず、GNNは監督下の単一のドメインで圧倒的に訓練されている。
本稿では,グラフデータと従来のドメイン適応手法のギャップを埋めるために,ラベル伝搬グラフニューラルネットワーク(LP-TGNN)フレームワークを提案する。
論文 参考訳(メタデータ) (2025-02-12T15:36:38Z) - T-GAE: Transferable Graph Autoencoder for Network Alignment [79.89704126746204]
T-GAEはグラフオートエンコーダフレームワークで、GNNの転送性と安定性を活用して、再トレーニングなしに効率的なネットワークアライメントを実現する。
実験の結果、T-GAEは最先端の最適化手法と最高のGNN手法を最大38.7%、50.8%で上回っていることがわかった。
論文 参考訳(メタデータ) (2023-10-05T02:58:29Z) - ASGNN: Graph Neural Networks with Adaptive Structure [41.83813812538167]
本稿では,アダプティブ構造(ASMP)を用いた新しい解釈可能なメッセージパッシング方式を提案する。
ASMPは、異なるレイヤにおけるメッセージパッシングプロセスが動的に調整されたグラフ上で実行可能であるという意味で適応的である。
論文 参考訳(メタデータ) (2022-10-03T15:10:40Z) - Universal Prompt Tuning for Graph Neural Networks [10.250964386142819]
我々は,任意の事前学習戦略の下で,事前学習したGNNモデルに対して,GPF(Graph Prompt Feature)と呼ばれる普遍的なプロンプトベースのチューニング手法を提案する。
GPFは入力グラフの特徴空間上で動作し、理論的には任意の形式のプロンプト関数に等価な効果を達成できる。
本手法は,事前学習戦略を応用したモデルに適用した場合,既存の特殊プロンプトベースのチューニング手法よりも大幅に優れる。
論文 参考訳(メタデータ) (2022-09-30T05:19:27Z) - Zero-shot Domain Adaptation of Heterogeneous Graphs via Knowledge
Transfer Networks [72.82524864001691]
ヘテロジニアスグラフニューラルネットワーク(HGNN)は、強力な表現学習技術として優れた性能を示している。
異なるノードタイプにルートされたラベルを使って直接学習する方法はありません。
本研究では,HGNN(HGNN-KTN)のための新しいドメイン適応手法である知識伝達ネットワークを提案する。
論文 参考訳(メタデータ) (2022-03-03T21:00:23Z) - Rewiring with Positional Encodings for Graph Neural Networks [37.394229290996364]
いくつかの最近の研究は、注意機構を備えたグラフニューラルネットワーク層の受容場を拡張するために位置符号化を使用している。
位置エンコーディングを用いて、受容場を$r$ホップ地区に拡張する。
各種モデルやデータセットの改良や,従来のGNNやグラフトランスフォーマーによる競争性能の向上を実現しています。
論文 参考訳(メタデータ) (2022-01-29T22:26:02Z) - Learning to Drop: Robust Graph Neural Network via Topological Denoising [50.81722989898142]
グラフニューラルネットワーク(GNN)のロバスト性および一般化性能を向上させるために,パラメータ化トポロジカルデノイングネットワークであるPTDNetを提案する。
PTDNetは、パラメータ化されたネットワークでスパーシファイドグラフ内のエッジ数をペナル化することで、タスク非関連エッジを創出する。
PTDNetはGNNの性能を著しく向上させ,さらにノイズの多いデータセットでは性能が向上することを示す。
論文 参考訳(メタデータ) (2020-11-13T18:53:21Z) - A Unified View on Graph Neural Networks as Graph Signal Denoising [49.980783124401555]
グラフニューラルネットワーク(GNN)は,グラフ構造化データの学習表現において顕著に普及している。
本研究では,代表的GNNモデル群における集約過程を,グラフ記述問題の解法とみなすことができることを数学的に確立する。
UGNNから派生した新しいGNNモデルADA-UGNNをインスタンス化し、ノード間の適応的滑らかさでグラフを処理する。
論文 参考訳(メタデータ) (2020-10-05T04:57:18Z) - Bayesian Graph Neural Networks with Adaptive Connection Sampling [62.51689735630133]
グラフニューラルネットワーク(GNN)における適応接続サンプリングのための統一的なフレームワークを提案する。
提案フレームワークは,深部GNNの過度なスムース化や過度に適合する傾向を緩和するだけでなく,グラフ解析タスクにおけるGNNによる不確実性の学習を可能にする。
論文 参考訳(メタデータ) (2020-06-07T07:06:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。