論文の概要: SA-GNAS: Seed Architecture Expansion for Efficient Large-scale Graph Neural Architecture Search

• arxiv url: http://arxiv.org/abs/2412.02196v1
• Date: Tue, 03 Dec 2024 06:21:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:43:22.064296
• Title: SA-GNAS: Seed Architecture Expansion for Efficient Large-scale Graph Neural Architecture Search
• Title（参考訳）: SA-GNAS:効率的な大規模グラフニューラルネットワーク探索のためのシードアーキテクチャ拡張
• Authors: Guanghui Zhu, Zipeng Ji, Jingyan Chen, Limin Wang, Chunfeng Yuan, Yihua Huang,
• Abstract要約: 大規模GNASの効率向上を目的としたシードアーキテクチャ拡張に基づく新しいフレームワークであるSA-GNASを提案する。 数十億のエッジを持つ最大のグラフでは、SA-GNASはSOTAの大規模GNAS法であるGAUSSの2.8倍のスピードアップを達成することができる。
• 参考スコア（独自算出の注目度）: 25.7759622688473
• License:
• Abstract: GNAS (Graph Neural Architecture Search) has demonstrated great effectiveness in automatically designing the optimal graph neural architectures for multiple downstream tasks, such as node classification and link prediction. However, most existing GNAS methods cannot efficiently handle large-scale graphs containing more than million-scale nodes and edges due to the expensive computational and memory overhead. To scale GNAS on large graphs while achieving better performance, we propose SA-GNAS, a novel framework based on seed architecture expansion for efficient large-scale GNAS. Similar to the cell expansion in biotechnology, we first construct a seed architecture and then expand the seed architecture iteratively. Specifically, we first propose a performance ranking consistency-based seed architecture selection method, which selects the architecture searched on the subgraph that best matches the original large-scale graph. Then, we propose an entropy minimization-based seed architecture expansion method to further improve the performance of the seed architecture. Extensive experimental results on five large-scale graphs demonstrate that the proposed SA-GNAS outperforms human-designed state-of-the-art GNN architectures and existing graph NAS methods. Moreover, SA-GNAS can significantly reduce the search time, showing better search efficiency. For the largest graph with billion edges, SA-GNAS can achieve 2.8 times speedup compared to the SOTA large-scale GNAS method GAUSS. Additionally, since SA-GNAS is inherently parallelized, the search efficiency can be further improved with more GPUs. SA-GNAS is available at https://github.com/PasaLab/SAGNAS.
• Abstract（参考訳）: GNAS(Graph Neural Architecture Search)は、ノード分類やリンク予測など、複数の下流タスクに対して最適なグラフニューラルネットワークアーキテクチャを自動設計する上で、非常に有効であることを示した。 しかし、既存のGNAS法は、高価な計算とメモリオーバーヘッドのため、百万以上の大規模ノードとエッジを含む大規模グラフを効率的に処理することはできない。 本稿では,GNASを大規模グラフ上に拡張し,より優れた性能を実現するために,シードアーキテクチャの拡張に基づく新しいフレームワークであるSA-GNASを提案する。 バイオテクノロジーにおける細胞拡張と同様に、我々はまずシードアーキテクチャを構築し、次に反復的にシードアーキテクチャを拡張する。 具体的には,まず,従来の大規模グラフに最もよく適合するサブグラフ上で検索されたアーキテクチャを選択する,パフォーマンスランキングの整合性に基づくシードアーキテクチャ選択手法を提案する。 次に, エントロピー最小化に基づくシードアーキテクチャ拡張手法を提案し, シードアーキテクチャの性能をさらに向上させる。 5つの大規模グラフに対する大規模な実験結果から,提案したSA-GNASは,ヒトが設計した最先端GNNアーキテクチャや既存のグラフNAS手法よりも優れていることが示された。 さらに、SA-GNASは検索時間を著しく短縮し、検索効率が向上する。 数十億のエッジを持つ最大のグラフでは、SA-GNASはSOTAの大規模GNAS法であるGAUSSの2.8倍のスピードアップを達成することができる。 さらに、SA-GNASは本質的に並列化されているため、より多くのGPUで検索効率をさらに向上することができる。 SA-GNASはhttps://github.com/PasaLab/SAGNASで入手できる。

関連論文リスト

• Knowledge-aware Evolutionary Graph Neural Architecture Search [49.13787973318586]
  グラフニューラルネットワーク検索(GNAS)は、特定のグラフタスクやデータセットに対して、高性能なグラフニューラルネットワークアーキテクチャをカスタマイズすることができる。 既存のGNAS手法は、探索効率を向上させる可能性のある事前知識を無視して、ゼロ知識状態からアーキテクチャを探し始める。 本研究では,新しいグラフデータセット上での多目的進化探索を高速化するために,そのような先行知識を活用することを提案する。
  論文  参考訳（メタデータ） (2024-11-26T11:32:45Z)
• Towards Lightweight Graph Neural Network Search with Curriculum Graph Sparsification [48.334100429553644]
  本稿では,有意義なグラフデータを通じて重要なサブアーキテクチャを識別する結合グラフデータとアーキテクチャ機構を設計することを提案する。 最適軽量グラフニューラルネット(GNN)を探索するために,グラフスペーシングとネットワーク・プルーニング(GASSIP)法を用いた軽量グラフニューラル・アーキテクチャ・サーチを提案する。 本手法は,探索したGNNとスペーサーグラフのモデルパラメータを半分以下にすることで,オンパーあるいはそれ以上高いノード分類性能を実現する。
  論文  参考訳（メタデータ） (2024-06-24T06:53:37Z)
• Efficient and Explainable Graph Neural Architecture Search via Monte-Carlo Tree Search [5.076419064097733]
  グラフニューラルネットワーク(GNN)は、さまざまな領域でデータサイエンスタスクを実行する強力なツールである。 人的労力と計算コストを削減するため、グラフニューラルアーキテクチャ探索(Graph NAS)が準最適GNNアーキテクチャの探索に使用されている。 本稿では, (i) 様々なグラフに適応可能な単純な探索空間と, (ii) 決定プロセスを説明可能な検索アルゴリズムからなるExGNASを提案する。
  論文  参考訳（メタデータ） (2023-08-30T03:21:45Z)
• Architecture Augmentation for Performance Predictor Based on Graph Isomorphism [15.478663248038307]
  GIAug というアーキテクチャ拡張手法を提案する。 GIAugは、ほとんどの最先端のピア予測器の性能を大幅に向上させることができることを示す。 さらに、GAAugはImageNet上で3桁の計算コストを節約できる。
  論文  参考訳（メタデータ） (2022-07-03T09:04:09Z)
• NAS-Bench-Graph: Benchmarking Graph Neural Architecture Search [55.75621026447599]
  NAS-Bench-Graphは、GraphNASの統一的、再現可能、効率的な評価をサポートする調整されたベンチマークである。 具体的には,26,206のユニークなグラフニューラルネットワーク(GNN)アーキテクチャを網羅した,統一的で表現力のあるコンパクトな検索空間を構築する。 提案したベンチマークに基づいて,GNNアーキテクチャの性能を検索テーブルから直接取得できるが,それ以上の計算は行わない。
  論文  参考訳（メタデータ） (2022-06-18T10:17:15Z)
• When NAS Meets Trees: An Efficient Algorithm for Neural Architecture Search [117.89827740405694]
  ニューラルアーキテクチャサーチ(NAS)の主な課題は、巨大なサーチ空間において賢明に探索する方法を設計することである。 少数のアーキテクチャを探索することで探索効率を向上するNAS(TNAS with Tree)手法を提案する。 TNASは、NAS-Bench-201の4時間でテスト精度94.37%のCIFAR-10のグローバルな最適アーキテクチャを発見した。
  論文  参考訳（メタデータ） (2022-04-11T07:34:21Z)
• Memory-Efficient Hierarchical Neural Architecture Search for Image Restoration [68.6505473346005]
  メモリ効率の高い階層型NAS HiNAS(HiNAS)を提案する。 単一の GTX1080Ti GPU では、BSD 500 でネットワークを消すのに約 1 時間、DIV2K で超解像構造を探すのに 3.5 時間しかかかりません。
  論文  参考訳（メタデータ） (2020-12-24T12:06:17Z)
• Probabilistic Dual Network Architecture Search on Graphs [13.140262952697746]
  グラフニューラルネットワーク(GNN)のための最初の差別化可能なネットワークアーキテクチャ探索(NAS)を提案する。 GNNは幅広いタスクで有望なパフォーマンスを示すが、大量のアーキテクチャエンジニアリングを必要とする。 アーキテクチャパラメータの更新には,完全に勾配に基づく探索手法を用いており,これが最初の微分可能なグラフNAS法である。
  論文  参考訳（メタデータ） (2020-03-21T15:06:47Z)
• BNAS:An Efficient Neural Architecture Search Approach Using Broad Scalable Architecture [62.587982139871976]
  我々はBCNN(Broad Convolutional Neural Network)と呼ばれる広義のスケーラブルなアーキテクチャを精巧に設計するBNAS(Broad Neural Architecture Search)を提案する。 BNASは0.19日であり、ENASよりも2.37倍安い。
  論文  参考訳（メタデータ） (2020-01-18T15:07:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。