論文の概要: PaSca: a Graph Neural Architecture Search System under the Scalable Paradigm

• arxiv url: http://arxiv.org/abs/2203.00638v1
• Date: Tue, 1 Mar 2022 17:26:50 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-02 13:51:53.815958
• Title: PaSca: a Graph Neural Architecture Search System under the Scalable Paradigm
• Title（参考訳）: PaSca: スケーラブルパラダイムに基づくグラフニューラルネットワーク検索システム
• Authors: Wentao Zhang, Yu Shen, Zheyu Lin, Yang Li, Xiaosen Li, Wen Ouyang, Yangyu Tao, Zhi Yang, Bin Cui
• Abstract要約: グラフニューラルネットワーク(GNN)は、さまざまなグラフベースのタスクで最先端のパフォーマンスを実現している。 しかし、GNNはデータサイズやメッセージパッシングステップに適していない。 本稿では,スケーラブルなGNNの設計空間を体系的に構築し,探索するための原則的アプローチを提供するPasCaを提案する。
• 参考スコア（独自算出の注目度）: 24.294196319217907
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph neural networks (GNNs) have achieved state-of-the-art performance in various graph-based tasks. However, as mainstream GNNs are designed based on the neural message passing mechanism, they do not scale well to data size and message passing steps. Although there has been an emerging interest in the design of scalable GNNs, current researches focus on specific GNN design, rather than the general design space, limiting the discovery of potential scalable GNN models. This paper proposes PasCa, a new paradigm and system that offers a principled approach to systemically construct and explore the design space for scalable GNNs, rather than studying individual designs. Through deconstructing the message passing mechanism, PasCa presents a novel Scalable Graph Neural Architecture Paradigm (SGAP), together with a general architecture design space consisting of 150k different designs. Following the paradigm, we implement an auto-search engine that can automatically search well-performing and scalable GNN architectures to balance the trade-off between multiple criteria (e.g., accuracy and efficiency) via multi-objective optimization. Empirical studies on ten benchmark datasets demonstrate that the representative instances (i.e., PasCa-V1, V2, and V3) discovered by our system achieve consistent performance among competitive baselines. Concretely, PasCa-V3 outperforms the state-of-the-art GNN method JK-Net by 0.4\% in terms of predictive accuracy on our large industry dataset while achieving up to $28.3\times$ training speedups.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、様々なグラフベースのタスクで最先端のパフォーマンスを達成した。 しかし、メインストリームのGNNは、ニューラルメッセージパッシング機構に基づいて設計されているため、データサイズやメッセージパッシングステップに適していない。 スケーラブルなGNNの設計への関心は高まっているが、現在の研究は一般的なデザイン空間よりも特定のGNN設計に焦点を当てており、潜在的にスケーラブルなGNNモデルの発見を制限している。 本稿では,個々の設計を研究するのではなく,スケーラブルなGNNの設計空間を体系的に構築し,探索するための原則的アプローチを提供するPasCaを提案する。 PasCaはメッセージパッシング機構を分解することで、150kの異なる設計からなる一般的なアーキテクチャ設計空間とともに、新しいスケーラブルグラフニューラルネットワークパラダイム(SGAP)を提供する。 このパラダイムに従って,多目的最適化による複数の基準(精度と効率)間のトレードオフのバランスをとるために,高性能でスケーラブルなGNNアーキテクチャを自動検索するオートサーチエンジンを実装した。 10のベンチマークデータセットに関する実証研究により,本システムで発見された代表インスタンス(PasCa-V1,V2,V3)が,競争ベースライン間で一貫した性能を達成することが示された。 具体的には、PasCa-V3は、我々の大規模産業データセットの予測精度を最大28.3\times$トレーニングスピードアップで、最先端のGNNメソッドであるJK-Netを0.4\%上回っている。

関連論文リスト

• MaGNAS: A Mapping-Aware Graph Neural Architecture Search Framework for Heterogeneous MPSoC Deployment [8.29394286023338]
  ヘテロジニアスMPSoCプラットフォーム上でのビジョンGNNワークロードの効率的な処理を実現するための新しい設計マッピング手法を提案する。 MaGNASは、2階層の進化的探索を用いて最適なGNNを特定し、最高のパフォーマンストレードオフをもたらすペアリングをマッピングする。 我々の実験結果によると、MaGNASは1.57倍のレイテンシ速度を提供でき、Xavier MPSoCで実行される複数のビジョンデータセットとGPUのみのデプロイメントでは3.38倍エネルギー効率が向上している。
  論文  参考訳（メタデータ） (2023-07-16T14:56:50Z)
• GNN at the Edge: Cost-Efficient Graph Neural Network Processing over Distributed Edge Servers [24.109721494781592]
  グラフニューラルネットワーク(GNN)はまだ探索中であり、その広範な採用に対する大きな違いを示している。 本稿では,多層ヘテロジニアスエッジネットワーク上での分散GNN処理のコスト最適化について検討する。 提案手法は, 高速収束速度で95.8%以上のコスト削減を行い, デファクトベースラインよりも優れた性能が得られることを示す。
  論文  参考訳（メタデータ） (2022-10-31T13:03:16Z)
• A Comprehensive Study on Large-Scale Graph Training: Benchmarking and Rethinking [124.21408098724551]
  グラフニューラルネットワーク(GNN)の大規模グラフトレーニングは、非常に難しい問題である 本稿では,既存の問題に対処するため,EnGCNという新たなアンサンブルトレーニング手法を提案する。 提案手法は,大規模データセット上でのSOTA(State-of-the-art)の性能向上を実現している。
  論文  参考訳（メタデータ） (2022-10-14T03:43:05Z)
• Space4HGNN: A Novel, Modularized and Reproducible Platform to Evaluate Heterogeneous Graph Neural Network [51.07168862821267]
  本稿では, ヘテロジニアス・リニア変換, ヘテロジニアス・グラフ変換, ヘテロジニアス・メッセージパッシング・レイヤの3つのコンポーネントからなる, 殆どのHGNNをカバーする統一的なフレームワークを提案する。 次に、モジュール化されたコンポーネント、再現可能な実装、およびHGNNの標準化された評価を提供する統一フレームワークに基づいて、HGNNの設計空間を定義することで、Space4HGNNを構築する。
  論文  参考訳（メタデータ） (2022-02-18T13:11:35Z)
• Edge-featured Graph Neural Architecture Search [131.4361207769865]
  最適GNNアーキテクチャを見つけるために,エッジ機能付きグラフニューラルアーキテクチャ探索を提案する。 具体的には、高次表現を学習するためにリッチなエンティティとエッジの更新操作を設計する。 EGNASは、現在最先端の人間設計および検索されたGNNよりも高い性能で、より優れたGNNを検索できることを示す。
  論文  参考訳（メタデータ） (2021-09-03T07:53:18Z)
• Rethinking Graph Neural Network Search from Message-passing [120.62373472087651]
  本稿では,新しい検索空間を設計したグラフニューラルアーキテクチャサーチ(GNAS)を提案する。 グラフニューラルアーキテクチャパラダイム(GAP:Graph Neural Architecture Paradigm)をツリートポロジー計算手順と2種類の微粒原子操作で設計します。 実験では、GNASは複数のメッセージ通過機構と最適なメッセージ通過深さを持つより良いGNNを探索できることを示しています。
  論文  参考訳（メタデータ） (2021-03-26T06:10:41Z)
• Design Space for Graph Neural Networks [81.88707703106232]
  グラフニューラルネットワーク(GNN)のアーキテクチャ設計空間は,32種類の予測タスクに対して315,000の異なる設計で構成されている。 本研究の主な成果は,(1) 優れたGNNを設計するための包括的ガイドライン,(2) 異なるタスクに対する最高のGNN設計は著しく異なるが,GNNタスク空間は,異なるタスク間で最高の設計を転送することができる,(3) デザイン空間を用いて発見されたモデルが最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2020-11-17T18:59:27Z)
• Benchmarking Graph Neural Networks [75.42159546060509]
  グラフニューラルネットワーク(GNN)は、グラフ上のデータから分析および学習するための標準ツールキットとなっている。 成功している分野が主流で信頼性を持つようになるためには、進捗を定量化するためにベンチマークを開発する必要がある。 GitHubリポジトリは1,800のスターと339のフォークに到達し、提案されているオープンソースフレームワークの有用性を実証している。
  論文  参考訳（メタデータ） (2020-03-02T15:58:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。