論文の概要: NASGEM: Neural Architecture Search via Graph Embedding Method

• arxiv url: http://arxiv.org/abs/2007.04452v2
• Date: Mon, 28 Sep 2020 04:34:42 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-12 10:02:42.725333
• Title: NASGEM: Neural Architecture Search via Graph Embedding Method
• Title（参考訳）: NASGEM:グラフ埋め込み法によるニューラルネットワーク探索
• Authors: Hsin-Pai Cheng, Tunhou Zhang, Yixing Zhang, Shiyu Li, Feng Liang, Feng Yan, Meng Li, Vikas Chandra, Hai Li, Yiran Chen
• Abstract要約: グラフ埋め込み法によるニューラルネットワーク探索のためのNASGEMを提案する。 グラフトポロジー情報を取得するための類似度尺度を備えた新しいグラフ埋め込み方式によって駆動される。 分類タスクにおいて、既存の検索手法によって構築されたネットワークを一貫して上回っている。
• 参考スコア（独自算出の注目度）: 41.0658375655084
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural Architecture Search (NAS) automates and prospers the design of neural networks. Estimator-based NAS has been proposed recently to model the relationship between architectures and their performance to enable scalable and flexible search. However, existing estimator-based methods encode the architecture into a latent space without considering graph similarity. Ignoring graph similarity in node-based search space may induce a large inconsistency between similar graphs and their distance in the continuous encoding space, leading to inaccurate encoding representation and/or reduced representation capacity that can yield sub-optimal search results. To preserve graph correlation information in encoding, we propose NASGEM which stands for Neural Architecture Search via Graph Embedding Method. NASGEM is driven by a novel graph embedding method equipped with similarity measures to capture the graph topology information. By precisely estimating the graph distance and using an auxiliary Weisfeiler-Lehman kernel to guide the encoding, NASGEM can utilize additional structural information to get more accurate graph representation to improve the search efficiency. GEMNet, a set of networks discovered by NASGEM, consistently outperforms networks crafted by existing search methods in classification tasks, i.e., with 0.4%-3.6% higher accuracy while having 11%- 21% fewer Multiply-Accumulates. We further transfer GEMNet for COCO object detection. In both one-stage and twostage detectors, our GEMNet surpasses its manually-crafted and automatically-searched counterparts.
• Abstract（参考訳）: neural architecture search (nas) はニューラルネットワークの設計を自動化し、繁栄させる。 estimatorベースのnasは、スケーラブルで柔軟な検索を可能にするために、アーキテクチャとパフォーマンスの関係をモデル化するために最近提案されている。 しかし、既存の推定器に基づく手法は、グラフの類似性を考慮せずにアーキテクチャを潜在空間にエンコードする。 ノードベースの探索空間におけるグラフ類似性の無視は、類似グラフと連続符号化空間における距離との間に大きな矛盾を生じさせ、不正確な符号化表現と/または不正確な表現能力をもたらす。 エンコーディングにおいてグラフ相関情報を保存するために,nasgemはグラフ埋め込み手法によるニューラルネットワーク探索の略である。 NASGEMは、グラフトポロジ情報を取得するための類似度対策を備えた新しいグラフ埋め込み方式によって駆動される。 グラフ距離を正確に推定し、補助的なWeisfeiler-Lehmanカーネルを使用してエンコーディングをガイドすることにより、NASGEMはより正確なグラフ表現を得ることができ、探索効率を向上させることができる。 GEMNetはNASGEMによって発見されたネットワークの集合であり、分類タスクにおいて既存の検索手法によって構築されたネットワーク、すなわち0.4%-3.6%の精度で、乗算積が11%21%少ない。 さらに、COCOオブジェクト検出のためのGEMNetを転送する。 1段目と2段目の両方で、GEMNetは手作業で製造され、自動で調査される検出器を上回っています。

関連論文リスト

• Towards Lightweight Graph Neural Network Search with Curriculum Graph Sparsification [48.334100429553644]
  本稿では,有意義なグラフデータを通じて重要なサブアーキテクチャを識別する結合グラフデータとアーキテクチャ機構を設計することを提案する。 最適軽量グラフニューラルネット(GNN)を探索するために,グラフスペーシングとネットワーク・プルーニング(GASSIP)法を用いた軽量グラフニューラル・アーキテクチャ・サーチを提案する。 本手法は,探索したGNNとスペーサーグラフのモデルパラメータを半分以下にすることで,オンパーあるいはそれ以上高いノード分類性能を実現する。
  論文  参考訳（メタデータ） (2024-06-24T06:53:37Z)
• Efficient and Explainable Graph Neural Architecture Search via Monte-Carlo Tree Search [5.076419064097733]
  グラフニューラルネットワーク(GNN)は、さまざまな領域でデータサイエンスタスクを実行する強力なツールである。 人的労力と計算コストを削減するため、グラフニューラルアーキテクチャ探索(Graph NAS)が準最適GNNアーキテクチャの探索に使用されている。 本稿では, (i) 様々なグラフに適応可能な単純な探索空間と, (ii) 決定プロセスを説明可能な検索アルゴリズムからなるExGNASを提案する。
  論文  参考訳（メタデータ） (2023-08-30T03:21:45Z)
• GraphPNAS: Learning Distribution of Good Neural Architectures via Deep Graph Generative Models [48.57083463364353]
  ランダムグラフモデル学習のレンズを用いて,ニューラルアーキテクチャサーチ(NAS)について検討する。 本稿では,優れたアーキテクチャの分布を学習するグラフ生成モデルGraphPNASを提案する。 提案するグラフジェネレータは,RNNベースよりも一貫して優れており,最先端のNAS手法よりも優れた,あるいは同等のパフォーマンスを実現していることを示す。
  論文  参考訳（メタデータ） (2022-11-28T09:09:06Z)
• NAS-Bench-Graph: Benchmarking Graph Neural Architecture Search [55.75621026447599]
  NAS-Bench-Graphは、GraphNASの統一的、再現可能、効率的な評価をサポートする調整されたベンチマークである。 具体的には,26,206のユニークなグラフニューラルネットワーク(GNN)アーキテクチャを網羅した,統一的で表現力のあるコンパクトな検索空間を構築する。 提案したベンチマークに基づいて,GNNアーキテクチャの性能を検索テーブルから直接取得できるが,それ以上の計算は行わない。
  論文  参考訳（メタデータ） (2022-06-18T10:17:15Z)
• Automatic Relation-aware Graph Network Proliferation [182.30735195376792]
  GNNを効率的に検索するためのARGNP(Automatic Relation-Aware Graph Network Proliferation)を提案する。 これらの操作は階層的なノード/リレーショナル情報を抽出し、グラフ上のメッセージパッシングのための異方的ガイダンスを提供する。 4つのグラフ学習タスクのための6つのデータセットの実験により、我々の手法によって生成されたGNNは、現在最先端の手作りおよび検索に基づくGNNよりも優れていることが示された。
  論文  参考訳（メタデータ） (2022-05-31T10:38:04Z)
• Edge-featured Graph Neural Architecture Search [131.4361207769865]
  最適GNNアーキテクチャを見つけるために,エッジ機能付きグラフニューラルアーキテクチャ探索を提案する。 具体的には、高次表現を学習するためにリッチなエンティティとエッジの更新操作を設計する。 EGNASは、現在最先端の人間設計および検索されたGNNよりも高い性能で、より優れたGNNを検索できることを示す。
  論文  参考訳（メタデータ） (2021-09-03T07:53:18Z)
• Rethinking Graph Neural Network Search from Message-passing [120.62373472087651]
  本稿では,新しい検索空間を設計したグラフニューラルアーキテクチャサーチ(GNAS)を提案する。 グラフニューラルアーキテクチャパラダイム(GAP:Graph Neural Architecture Paradigm)をツリートポロジー計算手順と2種類の微粒原子操作で設計します。 実験では、GNASは複数のメッセージ通過機構と最適なメッセージ通過深さを持つより良いGNNを探索できることを示しています。
  論文  参考訳（メタデータ） (2021-03-26T06:10:41Z)
• DiffMG: Differentiable Meta Graph Search for Heterogeneous Graph Neural Networks [45.075163625895286]
  我々はメタグラフを探索し、メタパスよりも複雑なセマンティック関係をキャプチャし、グラフニューラルネットワークが異なるタイプのエッジに沿ってメッセージを伝播する方法を決定する。 我々は、HINの候補メタグラフを表すために、有向非巡回グラフ(DAG)の形式で表現型検索空間を設計する。 本稿では,1回のGNNトレーニングに匹敵する検索コストを1対1に抑えるための,新しい効率的な探索アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-10-07T08:09:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。