論文の概要: GraphPNAS: Learning Distribution of Good Neural Architectures via Deep Graph Generative Models

• arxiv url: http://arxiv.org/abs/2211.15155v1
• Date: Mon, 28 Nov 2022 09:09:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-29 15:58:04.779850
• Title: GraphPNAS: Learning Distribution of Good Neural Architectures via Deep Graph Generative Models
• Title（参考訳）: GraphPNAS:ディープグラフ生成モデルによる優れたニューラルネットワークの分布学習
• Authors: Muchen Li, Jeffrey Yunfan Liu, Leonid Sigal, Renjie Liao
• Abstract要約: ランダムグラフモデル学習のレンズを用いて,ニューラルアーキテクチャサーチ(NAS)について検討する。 本稿では,優れたアーキテクチャの分布を学習するグラフ生成モデルGraphPNASを提案する。 提案するグラフジェネレータは,RNNベースよりも一貫して優れており,最先端のNAS手法よりも優れた,あるいは同等のパフォーマンスを実現していることを示す。
• 参考スコア（独自算出の注目度）: 48.57083463364353
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural architectures can be naturally viewed as computational graphs. Motivated by this perspective, we, in this paper, study neural architecture search (NAS) through the lens of learning random graph models. In contrast to existing NAS methods which largely focus on searching for a single best architecture, i.e, point estimation, we propose GraphPNAS a deep graph generative model that learns a distribution of well-performing architectures. Relying on graph neural networks (GNNs), our GraphPNAS can better capture topologies of good neural architectures and relations between operators therein. Moreover, our graph generator leads to a learnable probabilistic search method that is more flexible and efficient than the commonly used RNN generator and random search methods. Finally, we learn our generator via an efficient reinforcement learning formulation for NAS. To assess the effectiveness of our GraphPNAS, we conduct extensive experiments on three search spaces, including the challenging RandWire on TinyImageNet, ENAS on CIFAR10, and NAS-Bench-101/201. The complexity of RandWire is significantly larger than other search spaces in the literature. We show that our proposed graph generator consistently outperforms RNN-based one and achieves better or comparable performances than state-of-the-art NAS methods.
• Abstract（参考訳）: ニューラルアーキテクチャは自然に計算グラフと見なすことができる。 本稿では,この視点に動機づけられ,ランダムグラフモデル学習のレンズを通してニューラルネットワーク探索(nas)について検討する。 単一最良アーキテクチャ,すなわち点推定に重点を置いている既存のNAS手法とは対照的に,優れたアーキテクチャの分布を学習するグラフ生成モデルであるGraphPNASを提案する。 GraphPNASはグラフニューラルネットワーク(GNN)に基づいて、優れたニューラルネットワークのトポロジとオペレータ間の関係をよりよく捉えます。 さらに, グラフ生成器は, 一般的なrnn生成器やランダム探索法よりも柔軟で効率的な学習可能な確率的探索法をもたらす。 最後に、NASのための効率的な強化学習定式化により、発電機を学習する。 GraphPNASの有効性を評価するため,TinyImageNet上でのRandWire,CIFAR10上でのENAS,NAS-Bench-101/201など,3つの検索空間で広範囲にわたる実験を行った。 RandWireの複雑さは他の文献の検索空間よりもはるかに大きい。 提案するグラフジェネレータは,RNNベースよりも一貫して優れており,最先端のNAS手法よりも優れた,あるいは同等のパフォーマンスが得られることを示す。

関連論文リスト

• Towards Lightweight Graph Neural Network Search with Curriculum Graph Sparsification [48.334100429553644]
  本稿では,有意義なグラフデータを通じて重要なサブアーキテクチャを識別する結合グラフデータとアーキテクチャ機構を設計することを提案する。 最適軽量グラフニューラルネット(GNN)を探索するために,グラフスペーシングとネットワーク・プルーニング(GASSIP)法を用いた軽量グラフニューラル・アーキテクチャ・サーチを提案する。 本手法は,探索したGNNとスペーサーグラフのモデルパラメータを半分以下にすることで,オンパーあるいはそれ以上高いノード分類性能を実現する。
  論文  参考訳（メタデータ） (2024-06-24T06:53:37Z)
• Efficient and Explainable Graph Neural Architecture Search via Monte-Carlo Tree Search [5.076419064097733]
  グラフニューラルネットワーク(GNN)は、さまざまな領域でデータサイエンスタスクを実行する強力なツールである。 人的労力と計算コストを削減するため、グラフニューラルアーキテクチャ探索(Graph NAS)が準最適GNNアーキテクチャの探索に使用されている。 本稿では, (i) 様々なグラフに適応可能な単純な探索空間と, (ii) 決定プロセスを説明可能な検索アルゴリズムからなるExGNASを提案する。
  論文  参考訳（メタデータ） (2023-08-30T03:21:45Z)
• NAS-Bench-Graph: Benchmarking Graph Neural Architecture Search [55.75621026447599]
  NAS-Bench-Graphは、GraphNASの統一的、再現可能、効率的な評価をサポートする調整されたベンチマークである。 具体的には,26,206のユニークなグラフニューラルネットワーク(GNN)アーキテクチャを網羅した,統一的で表現力のあるコンパクトな検索空間を構築する。 提案したベンチマークに基づいて,GNNアーキテクチャの性能を検索テーブルから直接取得できるが,それ以上の計算は行わない。
  論文  参考訳（メタデータ） (2022-06-18T10:17:15Z)
• GraphPAS: Parallel Architecture Search for Graph Neural Networks [12.860313120881996]
  グラフニューラルネットワークのための並列グラフアーキテクチャ探索(GraphPAS)フレームワークを提案する。 GraphPASでは、共有ベースの進化学習を設計することで、検索空間を並列に探索する。 実験結果から,GraphPASは最先端モデルの効率と精度を同時に向上することが示された。
  論文  参考訳（メタデータ） (2021-12-07T02:55:24Z)
• Edge-featured Graph Neural Architecture Search [131.4361207769865]
  最適GNNアーキテクチャを見つけるために,エッジ機能付きグラフニューラルアーキテクチャ探索を提案する。 具体的には、高次表現を学習するためにリッチなエンティティとエッジの更新操作を設計する。 EGNASは、現在最先端の人間設計および検索されたGNNよりも高い性能で、より優れたGNNを検索できることを示す。
  論文  参考訳（メタデータ） (2021-09-03T07:53:18Z)
• Search to aggregate neighborhood for graph neural network [47.47628113034479]
  そこで本研究では,データ固有のGNNアーキテクチャを自動的に設計するためのフレームワークとして,SANE(Search to Aggregate NEighborhood)を提案する。 新規で表現力のある検索空間を設計することにより,従来の強化学習法よりも効率的である微分可能な探索アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-04-14T03:15:19Z)
• Rethinking Graph Neural Network Search from Message-passing [120.62373472087651]
  本稿では,新しい検索空間を設計したグラフニューラルアーキテクチャサーチ(GNAS)を提案する。 グラフニューラルアーキテクチャパラダイム(GAP:Graph Neural Architecture Paradigm)をツリートポロジー計算手順と2種類の微粒原子操作で設計します。 実験では、GNASは複数のメッセージ通過機構と最適なメッセージ通過深さを持つより良いGNNを探索できることを示しています。
  論文  参考訳（メタデータ） (2021-03-26T06:10:41Z)
• Simplifying Architecture Search for Graph Neural Network [38.45540097927176]
  本稿では,新しい探索空間と強化学習に基づく探索アルゴリズムからなるSNAGフレームワークを提案する。 実世界のデータセットを用いた実験は、人間設計のGNNやNAS手法と比較してSNAGフレームワークの有効性を示す。
  論文  参考訳（メタデータ） (2020-08-26T16:24:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。