論文の概要: Knowledge-aware Evolutionary Graph Neural Architecture Search

• arxiv url: http://arxiv.org/abs/2411.17339v1
• Date: Tue, 26 Nov 2024 11:32:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-27 13:33:31.107465
• Title: Knowledge-aware Evolutionary Graph Neural Architecture Search
• Title（参考訳）: 知識認識型進化型グラフニューラルアーキテクチャサーチ
• Authors: Chao Wang, Jiaxuan Zhao, Lingling Li, Licheng Jiao, Fang Liu, Xu Liu, Shuyuan Yang,
• Abstract要約: グラフニューラルネットワーク検索(GNAS)は、特定のグラフタスクやデータセットに対して、高性能なグラフニューラルネットワークアーキテクチャをカスタマイズすることができる。 既存のGNAS手法は、探索効率を向上させる可能性のある事前知識を無視して、ゼロ知識状態からアーキテクチャを探し始める。 本研究では,新しいグラフデータセット上での多目的進化探索を高速化するために,そのような先行知識を活用することを提案する。
• 参考スコア（独自算出の注目度）: 49.13787973318586
• License:
• Abstract: Graph neural architecture search (GNAS) can customize high-performance graph neural network architectures for specific graph tasks or datasets. However, existing GNAS methods begin searching for architectures from a zero-knowledge state, ignoring the prior knowledge that may improve the search efficiency. The available knowledge base (e.g. NAS-Bench-Graph) contains many rich architectures and their multiple performance metrics, such as the accuracy (#Acc) and number of parameters (#Params). This study proposes exploiting such prior knowledge to accelerate the multi-objective evolutionary search on a new graph dataset, named knowledge-aware evolutionary GNAS (KEGNAS). KEGNAS employs the knowledge base to train a knowledge model and a deep multi-output Gaussian process (DMOGP) in one go, which generates and evaluates transfer architectures in only a few GPU seconds. The knowledge model first establishes a dataset-to-architecture mapping, which can quickly generate candidate transfer architectures for a new dataset. Subsequently, the DMOGP with architecture and dataset encodings is designed to predict multiple performance metrics for candidate transfer architectures on the new dataset. According to the predicted metrics, non-dominated candidate transfer architectures are selected to warm-start the multi-objective evolutionary algorithm for optimizing the #Acc and #Params on a new dataset. Empirical studies on NAS-Bench-Graph and five real-world datasets show that KEGNAS swiftly generates top-performance architectures, achieving 4.27% higher accuracy than advanced evolutionary baselines and 11.54% higher accuracy than advanced differentiable baselines. In addition, ablation studies demonstrate that the use of prior knowledge significantly improves the search performance.
• Abstract（参考訳）: グラフニューラルネットワーク検索(GNAS)は、特定のグラフタスクやデータセットに対して、高性能なグラフニューラルネットワークアーキテクチャをカスタマイズすることができる。 しかし、既存のGNAS手法は、探索効率を向上させる可能性のある事前知識を無視して、ゼロ知識状態からアーキテクチャを探し始める。 利用可能な知識ベース(例えばNAS-Bench-Graph)には、多くのリッチアーキテクチャと、精度(#Acc)やパラメータの数(#Params)など、そのパフォーマンス指標が含まれている。 本研究では,知識を意識した進化的GNAS (KEGNAS) と呼ばれる新しいグラフデータセット上での多目的進化探索を高速化するために,そのような先行知識を活用することを提案する。 KEGNASは知識モデルと深層多出力ガウスプロセス(DMOGP)を1回にトレーニングするために知識ベースを使用し、ほんの数秒で転送アーキテクチャを生成し評価する。 知識モデルはまず、データセットからアーキテクチャへのマッピングを確立し、新しいデータセットの候補転送アーキテクチャを迅速に生成する。 その後、アーキテクチャとデータセットエンコーディングを備えたDMOGPは、新しいデータセット上での候補転送アーキテクチャの複数のパフォーマンスメトリクスを予測するように設計されている。 予測された指標によると、新しいデータセット上で#Accと#Paramsを最適化する多目的進化アルゴリズムをウォームスタートするために、非支配的な候補転送アーキテクチャが選択される。 NAS-Bench-Graphと5つの実世界のデータセットに関する実証研究により、KEGNASは先進的な進化的ベースラインよりも4.27%、先進的な微分可能なベースラインよりも11.54%高い精度でトップパフォーマンスアーキテクチャを迅速に生成していることが示された。 さらに,事前知識の活用が検索性能を著しく向上させることを示す。

関連論文リスト

• Towards Lightweight Graph Neural Network Search with Curriculum Graph Sparsification [48.334100429553644]
  本稿では,有意義なグラフデータを通じて重要なサブアーキテクチャを識別する結合グラフデータとアーキテクチャ機構を設計することを提案する。 最適軽量グラフニューラルネット(GNN)を探索するために,グラフスペーシングとネットワーク・プルーニング(GASSIP)法を用いた軽量グラフニューラル・アーキテクチャ・サーチを提案する。 本手法は,探索したGNNとスペーサーグラフのモデルパラメータを半分以下にすることで,オンパーあるいはそれ以上高いノード分類性能を実現する。
  論文  参考訳（メタデータ） (2024-06-24T06:53:37Z)
• GeNAS: Neural Architecture Search with Better Generalization [14.92869716323226]
  最近のニューラルアーキテクチャサーチ(NAS)アプローチは、対象データに対して優れたネットワークを見つけるために、検証損失または精度に依存している。 そこで本研究では,より一般化した探索型アーキテクチャのためのニューラルアーキテクチャ探索手法について検討する。
  論文  参考訳（メタデータ） (2023-05-15T12:44:54Z)
• Network Graph Based Neural Architecture Search [57.78724765340237]
  我々は、対応するグラフを書き換えてニューラルネットワークを探索し、グラフ特性によるアーキテクチャ性能の予測を行う。 グラフ空間全体にわたって機械学習を行わないため、探索プロセスは極めて効率的である。
  論文  参考訳（メタデータ） (2021-12-15T00:12:03Z)
• Edge-featured Graph Neural Architecture Search [131.4361207769865]
  最適GNNアーキテクチャを見つけるために,エッジ機能付きグラフニューラルアーキテクチャ探索を提案する。 具体的には、高次表現を学習するためにリッチなエンティティとエッジの更新操作を設計する。 EGNASは、現在最先端の人間設計および検索されたGNNよりも高い性能で、より優れたGNNを検索できることを示す。
  論文  参考訳（メタデータ） (2021-09-03T07:53:18Z)
• Rapid Neural Architecture Search by Learning to Generate Graphs from Datasets [42.993720854755736]
  本稿では,データセットと事前学習ネットワークからなるデータベース上で1度トレーニングした,効率的なニューラルサーチ(NAS)フレームワークを提案する。 我々は,NAS-Bench 201の検索空間から,ImageNet-1Kのサブセットとアーキテクチャに基づいてメタ学習を行った。
  論文  参考訳（メタデータ） (2021-07-02T06:33:59Z)
• Weak NAS Predictors Are All You Need [91.11570424233709]
  最近の予測器ベースのnasアプローチは、アーキテクチャとパフォーマンスのペアをサンプリングし、プロキシの精度を予測するという2つの重要なステップで問題を解決しようとする。 私たちはこのパラダイムを、アーキテクチャ空間全体をカバーする複雑な予測子から、ハイパフォーマンスなサブスペースへと徐々に進む弱い予測子へとシフトさせます。 NAS-Bench-101 および NAS-Bench-201 で最高の性能のアーキテクチャを見つけるためのサンプルを少なくし、NASNet 検索空間における最先端の ImageNet パフォーマンスを実現します。
  論文  参考訳（メタデータ） (2021-02-21T01:58:43Z)
• Evolving Neural Architecture Using One Shot Model [5.188825486231326]
  EvNAS(Evolving Neural Architecture using One Shot Model)と呼ばれるNAS問題に単純な遺伝的アルゴリズムを適用する新しい手法を提案する。 EvNASはプロキシデータセット、すなわちアーキテクチャを検索する。 CIFAR-10 for 4.4 GPU day on a single GPU and achieve a top-1 test error of 2.47%。 アーキテクチャ探索問題の解法における進化的手法の可能性を示す。
  論文  参考訳（メタデータ） (2020-12-23T08:40:53Z)
• A Semi-Supervised Assessor of Neural Architectures [157.76189339451565]
  我々は、ニューラルネットワークの有意義な表現を見つけるためにオートエンコーダを用いる。 アーキテクチャの性能を予測するために、グラフ畳み込みニューラルネットワークを導入する。
  論文  参考訳（メタデータ） (2020-05-14T09:02:33Z)
• A Generic Graph-based Neural Architecture Encoding Scheme for Predictor-based NAS [18.409809742204896]
  この研究は、予測子ベースのニューラルアーキテクチャ探索を改善するために、新しいグラフベースのニューラルArchiTecture Scheme(別名GATES)を提案する。 Gatesは、その操作を、ニューラルネットワークの実際のデータ処理を模倣した伝播情報の変換としてモデル化する。
  論文  参考訳（メタデータ） (2020-04-04T09:54:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。