論文の概要: Design Space for Graph Neural Networks

• arxiv url: http://arxiv.org/abs/2011.08843v2
• Date: Fri, 23 Jul 2021 20:37:23 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-24 16:20:17.593783
• Title: Design Space for Graph Neural Networks
• Title（参考訳）: グラフニューラルネットワークのための設計空間
• Authors: Jiaxuan You, Rex Ying, Jure Leskovec
• Abstract要約: グラフニューラルネットワーク(GNN)のアーキテクチャ設計空間は,32種類の予測タスクに対して315,000の異なる設計で構成されている。 本研究の主な成果は,(1) 優れたGNNを設計するための包括的ガイドライン,(2) 異なるタスクに対する最高のGNN設計は著しく異なるが,GNNタスク空間は,異なるタスク間で最高の設計を転送することができる,(3) デザイン空間を用いて発見されたモデルが最先端のパフォーマンスを達成する。
• 参考スコア（独自算出の注目度）: 81.88707703106232
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The rapid evolution of Graph Neural Networks (GNNs) has led to a growing number of new architectures as well as novel applications. However, current research focuses on proposing and evaluating specific architectural designs of GNNs, as opposed to studying the more general design space of GNNs that consists of a Cartesian product of different design dimensions, such as the number of layers or the type of the aggregation function. Additionally, GNN designs are often specialized to a single task, yet few efforts have been made to understand how to quickly find the best GNN design for a novel task or a novel dataset. Here we define and systematically study the architectural design space for GNNs which consists of 315,000 different designs over 32 different predictive tasks. Our approach features three key innovations: (1) A general GNN design space; (2) a GNN task space with a similarity metric, so that for a given novel task/dataset, we can quickly identify/transfer the best performing architecture; (3) an efficient and effective design space evaluation method which allows insights to be distilled from a huge number of model-task combinations. Our key results include: (1) A comprehensive set of guidelines for designing well-performing GNNs; (2) while best GNN designs for different tasks vary significantly, the GNN task space allows for transferring the best designs across different tasks; (3) models discovered using our design space achieve state-of-the-art performance. Overall, our work offers a principled and scalable approach to transition from studying individual GNN designs for specific tasks, to systematically studying the GNN design space and the task space. Finally, we release GraphGym, a powerful platform for exploring different GNN designs and tasks. GraphGym features modularized GNN implementation, standardized GNN evaluation, and reproducible and scalable experiment management.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)の急速な進化は、新しいアーキテクチャや新しいアプリケーションの増加につながっている。 しかしながら、現在の研究は、GNNの特定のアーキテクチャ設計を提案し評価することに焦点を当てており、GNNのより一般的な設計空間は、層数や集約関数の型など、異なる設計次元のカルト積からなる。 さらに、GNNの設計は単一のタスクに特化されることが多いが、新しいタスクや新しいデータセットに最適なGNN設計を素早く見つける方法を理解するための努力はほとんど行われていない。 ここでは,32種類の予測タスクに対して315,000の異なる設計からなるgnnのアーキテクチャ設計空間を定義し,体系的に検討する。 提案手法は,(1)汎用gnn設計空間,(2)類似度メトリクスを持つgnnタスク空間,(2)与えられた新規なタスク/データセットに対して,最適なアーキテクチャを迅速に識別・移行できる,(3)モデル・タスクの組み合わせから洞察を抽出可能な効率的かつ効果的な設計空間評価手法,の3つの重要な革新を特徴とする。 本研究の主な成果は,(1) 優れたGNNを設計するための包括的ガイドライン,(2) 異なるタスクに対する最高のGNN設計は著しく異なるが,GNNタスク空間は,異なるタスク間で最高の設計を転送することができる,(3) デザイン空間を用いて発見されたモデルが最先端のパフォーマンスを達成する。 全体として、我々の研究は、特定のタスクに対する個々のGNN設計の研究から、GNN設計空間とタスク空間の体系的な研究へと、原則的かつスケーラブルなアプローチを提供する。 最後に、さまざまなGNN設計とタスクを探索する強力なプラットフォームであるGraphGymをリリースします。 GraphGymはモジュール化されたGNN実装、標準化されたGNN評価、再現可能でスケーラブルな実験管理を備えている。

関連論文リスト

• Computation-friendly Graph Neural Network Design by Accumulating Knowledge on Large Language Models [20.31388126105889]
  グラフニューラルネットワーク(GNN)は目覚ましい成功を収めているが、アーキテクチャ設計の複雑さによって妨げられている。 人間の作業量を減らすために、研究者はGNNを設計するための自動アルゴリズムを開発しようとしている。
  論文  参考訳（メタデータ） (2024-08-13T08:22:01Z)
• A Comprehensive Study on Large-Scale Graph Training: Benchmarking and Rethinking [124.21408098724551]
  グラフニューラルネットワーク(GNN)の大規模グラフトレーニングは、非常に難しい問題である 本稿では,既存の問題に対処するため,EnGCNという新たなアンサンブルトレーニング手法を提案する。 提案手法は,大規模データセット上でのSOTA(State-of-the-art)の性能向上を実現している。
  論文  参考訳（メタデータ） (2022-10-14T03:43:05Z)
• PaSca: a Graph Neural Architecture Search System under the Scalable Paradigm [24.294196319217907]
  グラフニューラルネットワーク(GNN)は、さまざまなグラフベースのタスクで最先端のパフォーマンスを実現している。 しかし、GNNはデータサイズやメッセージパッシングステップに適していない。 本稿では,スケーラブルなGNNの設計空間を体系的に構築し,探索するための原則的アプローチを提供するPasCaを提案する。
  論文  参考訳（メタデータ） (2022-03-01T17:26:50Z)
• Space4HGNN: A Novel, Modularized and Reproducible Platform to Evaluate Heterogeneous Graph Neural Network [51.07168862821267]
  本稿では, ヘテロジニアス・リニア変換, ヘテロジニアス・グラフ変換, ヘテロジニアス・メッセージパッシング・レイヤの3つのコンポーネントからなる, 殆どのHGNNをカバーする統一的なフレームワークを提案する。 次に、モジュール化されたコンポーネント、再現可能な実装、およびHGNNの標準化された評価を提供する統一フレームワークに基づいて、HGNNの設計空間を定義することで、Space4HGNNを構築する。
  論文  参考訳（メタデータ） (2022-02-18T13:11:35Z)
• Edge-featured Graph Neural Architecture Search [131.4361207769865]
  最適GNNアーキテクチャを見つけるために,エッジ機能付きグラフニューラルアーキテクチャ探索を提案する。 具体的には、高次表現を学習するためにリッチなエンティティとエッジの更新操作を設計する。 EGNASは、現在最先端の人間設計および検索されたGNNよりも高い性能で、より優れたGNNを検索できることを示す。
  論文  参考訳（メタデータ） (2021-09-03T07:53:18Z)
• Third ArchEdge Workshop: Exploring the Design Space of Efficient Deep Neural Networks [14.195694804273801]
  本稿では,効率的な深層ニューラルネットワーク(DNN)の設計空間探索に関する最近の研究の概要を紹介する。 1)静的アーキテクチャ設計の効率と(2)動的モデル実行の効率の2つの側面を網羅する。 今後数年で研究の注目を集めるであろうオープンな質問をいくつか取り上げる。
  論文  参考訳（メタデータ） (2020-11-22T01:56:46Z)
• Architectural Implications of Graph Neural Networks [17.01480604968118]
  グラフニューラルネットワーク(GNN)は、グラフ構造を操作するディープラーニングモデルの新たなラインである。 GNNは、多層パーセプトロンや畳み込みニューラルネットワークなど、システムやアーキテクチャのコミュニティでは理解されていない。
  論文  参考訳（メタデータ） (2020-09-02T03:36:24Z)
• Distance Encoding: Design Provably More Powerful Neural Networks for Graph Representation Learning [63.97983530843762]
  グラフニューラルネットワーク(GNN)はグラフ表現学習において大きな成功を収めている。 GNNは、実際には非常に異なるグラフ部分構造に対して同一の表現を生成する。 より強力なGNNは、最近高階試験を模倣して提案され、基礎となるグラフ構造を疎結合にできないため、非効率である。 本稿では,グラフ表現学習の新たなクラスとして距離分解(DE)を提案する。
  論文  参考訳（メタデータ） (2020-08-31T23:15:40Z)
• Eigen-GNN: A Graph Structure Preserving Plug-in for GNNs [95.63153473559865]
  グラフニューラルネットワーク(GNN)は、グラフ上の新たな機械学習モデルである。 既存のGNNモデルの多くは浅く、本質的に機能中心である。 我々は,既存の浅いGNNがグラフ構造をよく保存できないことを経験的かつ解析的に示す。 本稿では,グラフ構造保存におけるGNNの能力を高めるプラグインモジュールであるEigen-GNNを提案する。
  論文  参考訳（メタデータ） (2020-06-08T02:47:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。