論文の概要: Probabilistic Dual Network Architecture Search on Graphs

• arxiv url: http://arxiv.org/abs/2003.09676v1
• Date: Sat, 21 Mar 2020 15:06:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-21 12:42:20.639910
• Title: Probabilistic Dual Network Architecture Search on Graphs
• Title（参考訳）: グラフ上の確率的デュアルネットワークアーキテクチャ検索
• Authors: Yiren Zhao, Duo Wang, Xitong Gao, Robert Mullins, Pietro Lio, Mateja Jamnik
• Abstract要約: グラフニューラルネットワーク(GNN)のための最初の差別化可能なネットワークアーキテクチャ探索(NAS)を提案する。 GNNは幅広いタスクで有望なパフォーマンスを示すが、大量のアーキテクチャエンジニアリングを必要とする。 アーキテクチャパラメータの更新には,完全に勾配に基づく探索手法を用いており,これが最初の微分可能なグラフNAS法である。
• 参考スコア（独自算出の注目度）: 13.140262952697746
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present the first differentiable Network Architecture Search (NAS) for Graph Neural Networks (GNNs). GNNs show promising performance on a wide range of tasks, but require a large amount of architecture engineering. First, graphs are inherently a non-Euclidean and sophisticated data structure, leading to poor adaptivity of GNN architectures across different datasets. Second, a typical graph block contains numerous different components, such as aggregation and attention, generating a large combinatorial search space. To counter these problems, we propose a Probabilistic Dual Network Architecture Search (PDNAS) framework for GNNs. PDNAS not only optimises the operations within a single graph block (micro-architecture), but also considers how these blocks should be connected to each other (macro-architecture). The dual architecture (micro- and marco-architectures) optimisation allows PDNAS to find deeper GNNs on diverse datasets with better performance compared to other graph NAS methods. Moreover, we use a fully gradient-based search approach to update architectural parameters, making it the first differentiable graph NAS method. PDNAS outperforms existing hand-designed GNNs and NAS results, for example, on the PPI dataset, PDNAS beats its best competitors by 1.67 and 0.17 in F1 scores.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)のための最初の差別化可能なネットワークアーキテクチャ探索(NAS)を提案する。 GNNは幅広いタスクで有望なパフォーマンスを示すが、大量のアーキテクチャエンジニアリングを必要とする。 まず、グラフは本質的に非ユークリッドで洗練されたデータ構造であり、異なるデータセットにわたるGNNアーキテクチャの適応性が低い。 第二に、典型的なグラフブロックはアグリゲーションやアテンションなどの多くの異なるコンポーネントを含み、大きな組合せ探索空間を生成する。 これらの問題に対処するため、GNNのための確率的デュアルネットワークアーキテクチャ探索(PDNAS)フレームワークを提案する。 PDNASは単一のグラフブロック(マイクロアーキテクチャ)内の操作を最適化するだけでなく、これらのブロックを相互に接続する方法(マクロアーキテクチャ)も検討する。 デュアルアーキテクチャ(マイクロアーキテクチャとマルコアーキテクチャ)の最適化により、PDNASは他のグラフNAS法と比較してパフォーマンスが良く、多様なデータセット上でより深いGNNを見つけることができる。 さらに、アーキテクチャパラメータの更新に完全に勾配に基づく探索手法を用い、これが最初の微分可能なグラフNAS法となる。 例えば、PPIデータセットでは、PDNASが既存の手設計のGNNとNASの結果より優れており、PDNASはF1スコアの1.67と0.17を上回ります。

関連論文リスト

• Towards Lightweight Graph Neural Network Search with Curriculum Graph Sparsification [48.334100429553644]
  本稿では,有意義なグラフデータを通じて重要なサブアーキテクチャを識別する結合グラフデータとアーキテクチャ機構を設計することを提案する。 最適軽量グラフニューラルネット(GNN)を探索するために,グラフスペーシングとネットワーク・プルーニング(GASSIP)法を用いた軽量グラフニューラル・アーキテクチャ・サーチを提案する。 本手法は,探索したGNNとスペーサーグラフのモデルパラメータを半分以下にすることで,オンパーあるいはそれ以上高いノード分類性能を実現する。
  論文  参考訳（メタデータ） (2024-06-24T06:53:37Z)
• Efficacy of Neural Prediction-Based Zero-Shot NAS [0.04096453902709291]
  ディープラーニングを用いたゼロショットニューラルアーキテクチャ探索(NAS)の新しい手法を提案する。 提案手法では,畳み込みカーネルを符号化した罪のフーリエ和を用いて,評価対象のアーキテクチャに類似した構造を持つ計算フィードフォワードグラフの構築を可能にする。 実験の結果,NAS-Bench-201データセットの相関関係から,グラフ畳み込みネットワークを用いた従来の手法よりも高い収束率を示すことがわかった。
  論文  参考訳（メタデータ） (2023-08-31T14:54:06Z)
• Efficient and Explainable Graph Neural Architecture Search via Monte-Carlo Tree Search [5.076419064097733]
  グラフニューラルネットワーク(GNN)は、さまざまな領域でデータサイエンスタスクを実行する強力なツールである。 人的労力と計算コストを削減するため、グラフニューラルアーキテクチャ探索(Graph NAS)が準最適GNNアーキテクチャの探索に使用されている。 本稿では, (i) 様々なグラフに適応可能な単純な探索空間と, (ii) 決定プロセスを説明可能な検索アルゴリズムからなるExGNASを提案する。
  論文  参考訳（メタデータ） (2023-08-30T03:21:45Z)
• GraphPNAS: Learning Distribution of Good Neural Architectures via Deep Graph Generative Models [48.57083463364353]
  ランダムグラフモデル学習のレンズを用いて,ニューラルアーキテクチャサーチ(NAS)について検討する。 本稿では,優れたアーキテクチャの分布を学習するグラフ生成モデルGraphPNASを提案する。 提案するグラフジェネレータは,RNNベースよりも一貫して優れており,最先端のNAS手法よりも優れた,あるいは同等のパフォーマンスを実現していることを示す。
  論文  参考訳（メタデータ） (2022-11-28T09:09:06Z)
• Architecture Augmentation for Performance Predictor Based on Graph Isomorphism [15.478663248038307]
  GIAug というアーキテクチャ拡張手法を提案する。 GIAugは、ほとんどの最先端のピア予測器の性能を大幅に向上させることができることを示す。 さらに、GAAugはImageNet上で3桁の計算コストを節約できる。
  論文  参考訳（メタデータ） (2022-07-03T09:04:09Z)
• NAS-Bench-Graph: Benchmarking Graph Neural Architecture Search [55.75621026447599]
  NAS-Bench-Graphは、GraphNASの統一的、再現可能、効率的な評価をサポートする調整されたベンチマークである。 具体的には,26,206のユニークなグラフニューラルネットワーク(GNN)アーキテクチャを網羅した,統一的で表現力のあるコンパクトな検索空間を構築する。 提案したベンチマークに基づいて,GNNアーキテクチャの性能を検索テーブルから直接取得できるが,それ以上の計算は行わない。
  論文  参考訳（メタデータ） (2022-06-18T10:17:15Z)
• UnrealNAS: Can We Search Neural Architectures with Unreal Data? [84.78460976605425]
  ニューラルアーキテクチャサーチ(NAS)はディープニューラルネットワーク(DNN)の自動設計において大きな成功を収めた。 これまでの研究は、NASに地道ラベルを持つことの必要性を分析し、幅広い関心を喚起した。 NASが有効であるためには、実際のデータが必要であるかどうか、さらに疑問を呈する。
  論文  参考訳（メタデータ） (2022-05-04T16:30:26Z)
• Arch-Graph: Acyclic Architecture Relation Predictor for Task-Transferable Neural Architecture Search [96.31315520244605]
  Arch-Graphはタスク固有の最適アーキテクチャを予測するトランスファー可能なNASメソッドである。 Arch-Graphの転送性と,多数のタスクにわたる高いサンプル効率を示す。 わずか50モデルの予算の下で、2つの検索スペースで平均して0.16%と0.29%のアーキテクチャを見つけることができる。
  論文  参考訳（メタデータ） (2022-04-12T16:46:06Z)
• Weak NAS Predictors Are All You Need [91.11570424233709]
  最近の予測器ベースのnasアプローチは、アーキテクチャとパフォーマンスのペアをサンプリングし、プロキシの精度を予測するという2つの重要なステップで問題を解決しようとする。 私たちはこのパラダイムを、アーキテクチャ空間全体をカバーする複雑な予測子から、ハイパフォーマンスなサブスペースへと徐々に進む弱い予測子へとシフトさせます。 NAS-Bench-101 および NAS-Bench-201 で最高の性能のアーキテクチャを見つけるためのサンプルを少なくし、NASNet 検索空間における最先端の ImageNet パフォーマンスを実現します。
  論文  参考訳（メタデータ） (2021-02-21T01:58:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。