論文の概要: NAS-Bench-Graph: Benchmarking Graph Neural Architecture Search
- arxiv url: http://arxiv.org/abs/2206.09166v1
- Date: Sat, 18 Jun 2022 10:17:15 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-22 17:32:33.007400
- Title: NAS-Bench-Graph: Benchmarking Graph Neural Architecture Search
- Title（参考訳）: nas-bench-graph:ベンチマークグラフニューラルネットワーク検索
- Authors: Yijian Qin, Ziwei Zhang, Xin Wang, Zeyang Zhang, Wenwu Zhu
- Abstract要約: NAS-Bench-Graphは、GraphNASの統一的、再現可能、効率的な評価をサポートする調整されたベンチマークである。
具体的には,26,206のユニークなグラフニューラルネットワーク(GNN)アーキテクチャを網羅した,統一的で表現力のあるコンパクトな検索空間を構築する。
提案したベンチマークに基づいて,GNNアーキテクチャの性能を検索テーブルから直接取得できるが,それ以上の計算は行わない。
- 参考スコア（独自算出の注目度）: 38.705914259353115
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Graph neural architecture search (GraphNAS) has recently aroused considerable
attention in both academia and industry. However, two key challenges seriously
hinder the further research of GraphNAS. First, since there is no consensus for
the experimental setting, the empirical results in different research papers
are often not comparable and even not reproducible, leading to unfair
comparisons. Secondly, GraphNAS often needs extensive computations, which makes
it highly inefficient and inaccessible to researchers without access to
large-scale computation. To solve these challenges, we propose NAS-Bench-Graph,
a tailored benchmark that supports unified, reproducible, and efficient
evaluations for GraphNAS. Specifically, we construct a unified, expressive yet
compact search space, covering 26,206 unique graph neural network (GNN)
architectures and propose a principled evaluation protocol. To avoid
unnecessary repetitive training, we have trained and evaluated all of these
architectures on nine representative graph datasets, recording detailed metrics
including train, validation, and test performance in each epoch, the latency,
the number of parameters, etc. Based on our proposed benchmark, the performance
of GNN architectures can be directly obtained by a look-up table without any
further computation, which enables fair, fully reproducible, and efficient
comparisons. To demonstrate its usage, we make in-depth analyses of our
proposed NAS-Bench-Graph, revealing several interesting findings for GraphNAS.
We also showcase how the benchmark can be easily compatible with GraphNAS open
libraries such as AutoGL and NNI. To the best of our knowledge, our work is the
first benchmark for graph neural architecture search.
- Abstract（参考訳）: graph neural architecture search(graphnas)は最近、学界と業界の両方でかなりの注目を集めている。
しかし、2つの重要な課題がGraphNASのさらなる研究を妨げる。
第一に、実験的な設定にコンセンサスがないため、異なる研究論文の実証結果は、しばしば比較できない、再現できない、不公平な比較に繋がる。
第二に、GraphNASはしばしば広範な計算を必要とするため、大規模な計算にアクセスできることなく、研究者にとって非常に非効率でアクセスし難い。
これらの課題を解決するために、我々は、GraphNASの統一的で再現可能で効率的な評価をサポートする調整済みベンチマークであるNAS-Bench-Graphを提案する。
具体的には,26,206のユニークなグラフニューラルネットワーク(GNN)アーキテクチャを網羅した,統一的で表現力のあるコンパクトな検索空間を構築し,基本的評価プロトコルを提案する。
不要な反復トレーニングを避けるため、私たちは9つの代表的なグラフデータセットでこれらのアーキテクチャをすべてトレーニングし、評価し、各エポック、レイテンシ、パラメータの数など、トレイン、バリデーション、テストパフォーマンスなどの詳細なメトリクスを記録しました。
提案したベンチマークに基づいて、GNNアーキテクチャの性能は、余分な計算を行わないルックアップテーブルで直接得られるので、公平で再現性があり、効率的な比較が可能になる。
提案したNAS-Bench-Graphの詳細な分析を行い,GraphNASの興味深い発見をいくつか明らかにした。
また、ベンチマークがAutoGLやNNIといったGraphNASオープンライブラリと容易に互換性があることを示す。
私たちの知る限りでは、私たちの研究はグラフニューラルネットワークアーキテクチャ検索の最初のベンチマークです。
関連論文リスト
- Towards Lightweight Graph Neural Network Search with Curriculum Graph Sparsification [48.334100429553644]
本稿では,有意義なグラフデータを通じて重要なサブアーキテクチャを識別する結合グラフデータとアーキテクチャ機構を設計することを提案する。
最適軽量グラフニューラルネット(GNN)を探索するために,グラフスペーシングとネットワーク・プルーニング(GASSIP)法を用いた軽量グラフニューラル・アーキテクチャ・サーチを提案する。
本手法は,探索したGNNとスペーサーグラフのモデルパラメータを半分以下にすることで,オンパーあるいはそれ以上高いノード分類性能を実現する。
論文 参考訳（メタデータ） (2024-06-24T06:53:37Z) - Efficient and Explainable Graph Neural Architecture Search via
Monte-Carlo Tree Search [5.076419064097733]
グラフニューラルネットワーク(GNN)は、さまざまな領域でデータサイエンスタスクを実行する強力なツールである。
人的労力と計算コストを削減するため、グラフニューラルアーキテクチャ探索(Graph NAS)が準最適GNNアーキテクチャの探索に使用されている。
本稿では, (i) 様々なグラフに適応可能な単純な探索空間と, (ii) 決定プロセスを説明可能な検索アルゴリズムからなるExGNASを提案する。
論文 参考訳（メタデータ） (2023-08-30T03:21:45Z) - GraphPNAS: Learning Distribution of Good Neural Architectures via Deep
Graph Generative Models [48.57083463364353]
ランダムグラフモデル学習のレンズを用いて,ニューラルアーキテクチャサーチ(NAS)について検討する。
本稿では,優れたアーキテクチャの分布を学習するグラフ生成モデルGraphPNASを提案する。
提案するグラフジェネレータは,RNNベースよりも一貫して優れており,最先端のNAS手法よりも優れた,あるいは同等のパフォーマンスを実現していることを示す。
論文 参考訳（メタデータ） (2022-11-28T09:09:06Z) - A Comprehensive Study on Large-Scale Graph Training: Benchmarking and
Rethinking [124.21408098724551]
グラフニューラルネットワーク(GNN)の大規模グラフトレーニングは、非常に難しい問題である
本稿では,既存の問題に対処するため,EnGCNという新たなアンサンブルトレーニング手法を提案する。
提案手法は,大規模データセット上でのSOTA(State-of-the-art)の性能向上を実現している。
論文 参考訳（メタデータ） (2022-10-14T03:43:05Z) - Arch-Graph: Acyclic Architecture Relation Predictor for
Task-Transferable Neural Architecture Search [96.31315520244605]
Arch-Graphはタスク固有の最適アーキテクチャを予測するトランスファー可能なNASメソッドである。
Arch-Graphの転送性と,多数のタスクにわたる高いサンプル効率を示す。
わずか50モデルの予算の下で、2つの検索スペースで平均して0.16%と0.29%のアーキテクチャを見つけることができる。
論文 参考訳（メタデータ） (2022-04-12T16:46:06Z) - Scalable Graph Neural Networks for Heterogeneous Graphs [12.44278942365518]
グラフニューラルネットワーク(GNN)は、グラフ構造化データを学習するためのパラメトリックモデルの一般的なクラスである。
最近の研究は、GNNが主に機能をスムースにするためにグラフを使用しており、ベンチマークタスクで競合する結果を示していると主張している。
本研究では、これらの結果が異種グラフに拡張可能かどうかを問うとともに、異なるエンティティ間の複数のタイプの関係を符号化する。
論文 参考訳（メタデータ） (2020-11-19T06:03:35Z) - NASGEM: Neural Architecture Search via Graph Embedding Method [41.0658375655084]
グラフ埋め込み法によるニューラルネットワーク探索のためのNASGEMを提案する。
グラフトポロジー情報を取得するための類似度尺度を備えた新しいグラフ埋め込み方式によって駆動される。
分類タスクにおいて、既存の検索手法によって構築されたネットワークを一貫して上回っている。
論文 参考訳（メタデータ） (2020-07-08T21:58:37Z) - Scaling Graph Neural Networks with Approximate PageRank [64.92311737049054]
GNNにおける情報拡散の効率的な近似を利用したPPRGoモデルを提案する。
高速であることに加えて、PPRGoは本質的にスケーラブルであり、業界設定で見られるような大規模なデータセットに対して、自明に並列化することができる。
このグラフのすべてのノードに対するPPRGoのトレーニングとラベルの予測には1台のマシンで2分未満で、同じグラフ上の他のベースラインをはるかに上回ります。
論文 参考訳（メタデータ） (2020-07-03T09:30:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。