論文の概要: Towards Efficient Few-shot Graph Neural Architecture Search via Partitioning Gradient Contribution

• arxiv url: http://arxiv.org/abs/2506.01231v1
• Date: Mon, 02 Jun 2025 01:03:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:34.001042
• Title: Towards Efficient Few-shot Graph Neural Architecture Search via Partitioning Gradient Contribution
• Title（参考訳）: グラディエントコントリビューションの分割による効率的なFew-shot Graph Neural Architecture Searchを目指して
• Authors: Wenhao Song, Xuan Wu, Bo Yang, You Zhou, Yubin Xiao, Yanchun Liang, Hongwei Ge, Heow Pueh Lee, Chunguo Wu,
• Abstract要約: Gradient Contribution (GC) 法は、モジュール間の勾配方向のコサイン類似性を効率的に計算する。 Unified Graph Neural Architecture Search (UGAS)フレームワークはMPNNとGTの最適な組み合わせを探索する。
• 参考スコア（独自算出の注目度）: 7.222542896341813
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To address the weight coupling problem, certain studies introduced few-shot Neural Architecture Search (NAS) methods, which partition the supernet into multiple sub-supernets. However, these methods often suffer from computational inefficiency and tend to provide suboptimal partitioning schemes. To address this problem more effectively, we analyze the weight coupling problem from a novel perspective, which primarily stems from distinct modules in succeeding layers imposing conflicting gradient directions on the preceding layer modules. Based on this perspective, we propose the Gradient Contribution (GC) method that efficiently computes the cosine similarity of gradient directions among modules by decomposing the Vector-Jacobian Product during supernet backpropagation. Subsequently, the modules with conflicting gradient directions are allocated to distinct sub-supernets while similar ones are grouped together. To assess the advantages of GC and address the limitations of existing Graph Neural Architecture Search methods, which are limited to searching a single type of Graph Neural Networks (Message Passing Neural Networks (MPNNs) or Graph Transformers (GTs)), we propose the Unified Graph Neural Architecture Search (UGAS) framework, which explores optimal combinations of MPNNs and GTs. The experimental results demonstrate that GC achieves state-of-the-art (SOTA) performance in supernet partitioning quality and time efficiency. In addition, the architectures searched by UGAS+GC outperform both the manually designed GNNs and those obtained by existing NAS methods. Finally, ablation studies further demonstrate the effectiveness of all proposed methods.
• Abstract（参考訳）: 重み結合問題に対処するため、いくつかの研究では、スーパーネットを複数のサブスーパーネットに分割する数ショットニューラル・アーキテクチャ・サーチ(NAS)手法を導入した。 しかし、これらの手法は計算の非効率さに悩まされ、最適下分割方式を提供する傾向がある。 この問題をより効果的に解決するために、重み付け問題を新しい視点から分析する。 この観点から,超ネットバックプロパゲーション時にベクトル・ヤコビアン積を分解することにより,モジュール間の勾配方向のコサイン類似性を効率的に計算するグラディエント・コントリビューション(GC)法を提案する。 その後、対立する勾配方向の加群は異なるサブスーパーネットに割り当てられ、類似の加群はグループ化される。 単一タイプのグラフニューラルネットワーク (MPNN) やグラフ変換器 (GT) の探索に限られる既存のグラフニューラルネットワーク探索手法の利点を評価するため,MPNNとGTの最適な組み合わせを探索する統一グラフニューラルネットワーク探索 (UGAS) フレームワークを提案する。 実験の結果,GCは超ネットパーティショニングの品質と時間効率において最先端(SOTA)性能を達成することが示された。 加えて、UGAS+GCで検索されたアーキテクチャは、手作業で設計したGNNと既存のNAS法で得られたアーキテクチャより優れている。 最後に、アブレーション研究は、全ての提案手法の有効性をさらに示す。

関連論文リスト

• Ensemble Quadratic Assignment Network for Graph Matching [52.20001802006391]
  グラフマッチングはコンピュータビジョンやパターン認識において一般的に用いられる技法である。 最近のデータ駆動型アプローチは、グラフマッチングの精度を著しく改善した。 データ駆動手法と従来の手法の利点を組み合わせたグラフニューラルネットワーク(GNN)に基づくアプローチを提案する。
  論文  参考訳（メタデータ） (2024-03-11T06:34:05Z)
• Large Scale Training of Graph Neural Networks for Optimal Markov-Chain Partitioning Using the Kemeny Constant [1.8606770727950463]
  我々は,マルコフ連鎖のグラフ分割問題に対処するGNNアーキテクチャをいくつか提案する。 このアプローチは、提案されたパーティショニングがケメニー定数をどの程度変更するかを最小化することを目的としている。 線形層を持つグラフSAGEベースのGNNが、この文脈でより大きく、より表現力に富んだアテンションベースモデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-12-22T17:19:50Z)
• Understanding Sparse Neural Networks from their Topology via Multipartite Graph Representations [4.07484910093752]
  Pruning-at-Initialization (PaI)アルゴリズムは、SNN(Sparse Networks)を提供する。 しかし,SNNのトポロジカルな指標が,優れたパフォーマンスを特徴付けていることはいまだ分かっていない。 線形層と畳み込み層の両方を持つSNNのための包括的トポロジ解析を,(i)新しい入力対応マルチパートグラフ(MGE)を用いて設計し,SNNのための総合的トポロジ解析を行う。
  論文  参考訳（メタデータ） (2023-05-26T12:45:58Z)
• AGNN: Alternating Graph-Regularized Neural Networks to Alleviate Over-Smoothing [29.618952407794776]
  グラフ畳み込み層(GCL)とグラフ埋め込み層(GEL)からなる交代グラフ正規化ニューラルネットワーク(AGNN)を提案する。 GELはラプラシアン埋め込み項を含むグラフ正規化最適化から導かれる。 AGNNは、いくつかの多層または多次グラフニューラルネットワークのパフォーマンス比較を含む、多数の実験を通じて評価されている。
  論文  参考訳（メタデータ） (2023-04-14T09:20:03Z)
• MG-GNN: Multigrid Graph Neural Networks for Learning Multilevel Domain Decomposition Methods [0.0]
  2レベル領域分割法において最適化されたパラメータを学習するためのマルチグリッドグラフニューラルネットワーク(MG-GNN)を提案する。 MG-GNNは、この最適化のために人気のある階層グラフネットワークアーキテクチャよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-01-26T19:44:45Z)
• Gradient Gating for Deep Multi-Rate Learning on Graphs [62.25886489571097]
  グラフニューラルネットワーク(GNN)の性能向上のための新しいフレームワークであるグラディエントゲーティング(G$2$)を提案する。 我々のフレームワークは,GNN層の出力を,基盤となるグラフのノード間でのメッセージパッシング情報のマルチレートフローのメカニズムでゲーティングすることに基づいている。
  論文  参考訳（メタデータ） (2022-10-02T13:19:48Z)
• Deep Manifold Learning with Graph Mining [80.84145791017968]
  グラフマイニングのための非段階的決定層を持つ新しいグラフ深層モデルを提案する。 提案モデルでは,現行モデルと比較して最先端性能を実現している。
  論文  参考訳（メタデータ） (2022-07-18T04:34:08Z)
• VQ-GNN: A Universal Framework to Scale up Graph Neural Networks using Vector Quantization [70.8567058758375]
  VQ-GNNは、Vector Quantization(VQ)を使用して、パフォーマンスを損なうことなく、畳み込みベースのGNNをスケールアップするための普遍的なフレームワークである。 我々のフレームワークは,グラフ畳み込み行列の低ランク版と組み合わせた量子化表現を用いて,GNNの「隣の爆発」問題を回避する。
  論文  参考訳（メタデータ） (2021-10-27T11:48:50Z)
• Policy-GNN: Aggregation Optimization for Graph Neural Networks [60.50932472042379]
  グラフニューラルネットワーク(GNN)は、局所的なグラフ構造をモデル化し、隣人からの情報を集約することで階層的なパターンを捉えることを目的としている。 複雑なグラフとスパースな特徴を与えられた各ノードに対して効果的なアグリゲーション戦略を開発することは難しい課題である。 本稿では,GNNのサンプリング手順とメッセージパッシングを複合学習プロセスにモデル化するメタ政治フレームワークであるPolicy-GNNを提案する。
  論文  参考訳（メタデータ） (2020-06-26T17:03:06Z)
• Fitting the Search Space of Weight-sharing NAS with Graph Convolutional Networks [100.14670789581811]
  サンプルサブネットワークの性能に適合するグラフ畳み込みネットワークを訓練する。 この戦略により、選択された候補集合において、より高いランク相関係数が得られる。
  論文  参考訳（メタデータ） (2020-04-17T19:12:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。