論文の概要: Do Not Train It: A Linear Neural Architecture Search of Graph Neural Networks

• arxiv url: http://arxiv.org/abs/2305.14065v3
• Date: Fri, 16 Jun 2023 10:33:21 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-19 10:47:34.020980
• Title: Do Not Train It: A Linear Neural Architecture Search of Graph Neural Networks
• Title（参考訳）: トレーニングしない:グラフニューラルネットワークの線形ニューラルネットワーク探索
• Authors: Peng Xu, Lin Zhang, Xuanzhou Liu, Jiaqi Sun, Yue Zhao, Haiqin Yang, Bei Yu
• Abstract要約: ニューラルアーキテクチャコーディング(NAC)という新しいNAS-GNN法を開発した。 当社のアプローチでは,最先端のパフォーマンスを実現しています。そのパフォーマンスは,強いベースラインよりも200倍高速で,18.8%の精度で実現しています。
• 参考スコア（独自算出の注目度）: 15.823247346294089
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural architecture search (NAS) for Graph neural networks (GNNs), called NAS-GNNs, has achieved significant performance over manually designed GNN architectures. However, these methods inherit issues from the conventional NAS methods, such as high computational cost and optimization difficulty. More importantly, previous NAS methods have ignored the uniqueness of GNNs, where GNNs possess expressive power without training. With the randomly-initialized weights, we can then seek the optimal architecture parameters via the sparse coding objective and derive a novel NAS-GNNs method, namely neural architecture coding (NAC). Consequently, our NAC holds a no-update scheme on GNNs and can efficiently compute in linear time. Empirical evaluations on multiple GNN benchmark datasets demonstrate that our approach leads to state-of-the-art performance, which is up to $200\times$ faster and $18.8\%$ more accurate than the strong baselines.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)のためのNAS(Neural Architecture Search)はNAS-GNNと呼ばれ、手作業で設計されたGNNアーキテクチャよりも大きなパフォーマンスを実現している。 しかし、これらの手法は計算コストや最適化の難しさといった従来のNAS法から問題を継承する。 さらに重要なことは、従来のNAS手法はGNNの独自性を無視しており、GNNは訓練なしで表現力を持っている。 ランダムに初期化される重みにより、スパースコーディングの目的によって最適なアーキテクチャパラメータを求め、新しいNAS-GNN法、すなわちニューラルアーキテクチャコーディング(NAC)を導出できる。 その結果、NACはGNNの更新なしスキームを持ち、線形時間で効率的に計算できる。 複数のGNNベンチマークデータセットに対する実証的な評価は、我々のアプローチが最先端のパフォーマンスにつながることを示している。

関連論文リスト

• NAS-BNN: Neural Architecture Search for Binary Neural Networks [55.058512316210056]
  我々は、NAS-BNNと呼ばれる二元ニューラルネットワークのための新しいニューラルネットワーク探索手法を提案する。 我々の発見したバイナリモデルファミリーは、20Mから2Mまでの幅広い操作(OP)において、以前のBNNよりも優れていた。 さらに,対象検出タスクにおける探索されたBNNの転送可能性を検証するとともに,探索されたBNNを用いたバイナリ検出器は,MSデータセット上で31.6% mAP,370万 OPsなどの新たな最先端結果を得る。
  論文  参考訳（メタデータ） (2024-08-28T02:17:58Z)
• FR-NAS: Forward-and-Reverse Graph Predictor for Efficient Neural Architecture Search [10.699485270006601]
  ニューラルネットワーク探索のための新しいグラフニューラルネットワーク(GNN)予測器を提案する。 この予測器は、従来のグラフビューと逆グラフビューを組み合わせることで、ニューラルネットワークをベクトル表現に変換する。 実験の結果, 予測精度は3%～16%向上し, 予測精度は有意に向上した。
  論文  参考訳（メタデータ） (2024-04-24T03:22:49Z)
• A Comprehensive Study on Large-Scale Graph Training: Benchmarking and Rethinking [124.21408098724551]
  グラフニューラルネットワーク(GNN)の大規模グラフトレーニングは、非常に難しい問題である 本稿では,既存の問題に対処するため,EnGCNという新たなアンサンブルトレーニング手法を提案する。 提案手法は,大規模データセット上でのSOTA(State-of-the-art)の性能向上を実現している。
  論文  参考訳（メタデータ） (2022-10-14T03:43:05Z)
• Architecture Augmentation for Performance Predictor Based on Graph Isomorphism [15.478663248038307]
  GIAug というアーキテクチャ拡張手法を提案する。 GIAugは、ほとんどの最先端のピア予測器の性能を大幅に向上させることができることを示す。 さらに、GAAugはImageNet上で3桁の計算コストを節約できる。
  論文  参考訳（メタデータ） (2022-07-03T09:04:09Z)
• Training Graph Neural Networks with 1000 Layers [133.84813995275988]
  我々は、GNNのメモリとパラメータ効率を向上させるために、可逆接続、グループ畳み込み、重み付け、平衡モデルについて検討する。 我々の知る限りでは、RevGNN-Deepは文学で最も深いGNNである。
  論文  参考訳（メタデータ） (2021-06-14T15:03:00Z)
• Search to aggregate neighborhood for graph neural network [47.47628113034479]
  そこで本研究では,データ固有のGNNアーキテクチャを自動的に設計するためのフレームワークとして,SANE(Search to Aggregate NEighborhood)を提案する。 新規で表現力のある検索空間を設計することにより,従来の強化学習法よりも効率的である微分可能な探索アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-04-14T03:15:19Z)
• Scalable Neural Tangent Kernel of Recurrent Architectures [8.487185704099923]
  無限幅のディープニューラルネットワーク(DNN)から派生したカーネルは、機械学習タスクの範囲で高いパフォーマンスを提供する。 我々は、リカレントニューラルネットワーク(RNN)に関連するカーネルのファミリーを、平均プーリングを持つ双方向RNNとRNNであるより複雑なアーキテクチャに拡張する。
  論文  参考訳（メタデータ） (2020-12-09T04:36:34Z)
• The Surprising Power of Graph Neural Networks with Random Node Initialization [54.4101931234922]
  グラフニューラルネットワーク(GNN)は、関係データ上での表現学習に有効なモデルである。 標準 GNN はその表現力に制限があり、Weisfeiler-Leman グラフ同型(英語版)の能力以外の区別はできない。 本研究では,ランダムノード(RNI)を用いたGNNの表現力の解析を行う。 我々はこれらのモデルが普遍的であることを証明し、GNNが高次特性の計算に頼らない最初の結果である。
  論文  参考訳（メタデータ） (2020-10-02T19:53:05Z)
• Simplifying Architecture Search for Graph Neural Network [38.45540097927176]
  本稿では,新しい探索空間と強化学習に基づく探索アルゴリズムからなるSNAGフレームワークを提案する。 実世界のデータセットを用いた実験は、人間設計のGNNやNAS手法と比較してSNAGフレームワークの有効性を示す。
  論文  参考訳（メタデータ） (2020-08-26T16:24:03Z)
• Binarized Graph Neural Network [65.20589262811677]
  我々は二項化グラフニューラルネットワークを開発し、二項化ネットワークパラメータを用いてノードのバイナリ表現を学習する。 提案手法は既存のGNNベースの埋め込み手法にシームレスに統合できる。 実験により、提案された二項化グラフニューラルネットワーク、すなわちBGNは、時間と空間の両方の観点から、桁違いに効率的であることが示されている。
  論文  参考訳（メタデータ） (2020-04-19T09:43:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。