論文の概要: GRASP-GCN: Graph-Shape Prioritization for Neural Architecture Search under Distribution Shifts

• arxiv url: http://arxiv.org/abs/2405.06994v1
• Date: Sat, 11 May 2024 12:02:24 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-14 18:57:41.849605
• Title: GRASP-GCN: Graph-Shape Prioritization for Neural Architecture Search under Distribution Shifts
• Title（参考訳）: GRASP-GCN:分散シフトによるニューラルネットワーク探索のためのグラフ形状優先化
• Authors: Sofia Casarin, Oswald Lanz, Sergio Escalera,
• Abstract要約: 本稿では,データ分散シフトに対処する際の予測性能を簡易かつ効率的に向上する手法を提案する。 我々は、ランダムに配線された検索空間上のKronecker-productを利用して、4つの異なるデータセットでトレーニングされたネットワークからなるNASベンチマークを作成する。 一般化能力を向上させるために,ニューラルネットワークの層形状を付加的に入力するグラフ畳み込みネットワークであるGRASP-GCNを提案する。
• 参考スコア（独自算出の注目度）: 39.19675815138566
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Neural Architecture Search (NAS) methods have shown to output networks that largely outperform human-designed networks. However, conventional NAS methods have mostly tackled the single dataset scenario, incuring in a large computational cost as the procedure has to be run from scratch for every new dataset. In this work, we focus on predictor-based algorithms and propose a simple and efficient way of improving their prediction performance when dealing with data distribution shifts. We exploit the Kronecker-product on the randomly wired search-space and create a small NAS benchmark composed of networks trained over four different datasets. To improve the generalization abilities, we propose GRASP-GCN, a ranking Graph Convolutional Network that takes as additional input the shape of the layers of the neural networks. GRASP-GCN is trained with the not-at-convergence accuracies, and improves the state-of-the-art of 3.3 % for Cifar-10 and increasing moreover the generalization abilities under data distribution shift.
• Abstract（参考訳）: ニューラルアーキテクチャサーチ(NAS)法は、人間設計のネットワークよりもはるかに優れたネットワークを出力することを示した。 しかし、従来のNAS手法では、新しいデータセットごとにスクラッチから実行しなければならないため、計算コストが大きいため、単一のデータセットシナリオに対処することがほとんどである。 本研究では,予測器に基づくアルゴリズムに着目し,データ分散シフトに対処する際の予測性能を簡易かつ効率的に向上する手法を提案する。 我々は、ランダムに配線された検索空間上のKronecker-productを利用して、4つの異なるデータセットでトレーニングされたネットワークからなるNASベンチマークを作成する。 一般化能力を向上させるために,ニューラルネットワークの層形状を付加的に入力するグラフ畳み込みネットワークであるGRASP-GCNを提案する。 GRASP-GCNは、非収束精度でトレーニングされ、Cifar-10の3.3%の最先端を改善し、データ分散シフト時の一般化能力を高める。

関連論文リスト

• FR-NAS: Forward-and-Reverse Graph Predictor for Efficient Neural Architecture Search [10.699485270006601]
  ニューラルネットワーク探索のための新しいグラフニューラルネットワーク(GNN)予測器を提案する。 この予測器は、従来のグラフビューと逆グラフビューを組み合わせることで、ニューラルネットワークをベクトル表現に変換する。 実験の結果, 予測精度は3%～16%向上し, 予測精度は有意に向上した。
  論文  参考訳（メタデータ） (2024-04-24T03:22:49Z)
• Efficient Heterogeneous Graph Learning via Random Projection [58.4138636866903]
  不均一グラフニューラルネットワーク(HGNN)は、異種グラフを深層学習するための強力なツールである。 最近のプリ計算ベースのHGNNは、一時間メッセージパッシングを使用して不均一グラフを正規形テンソルに変換する。 我々はRandom Projection Heterogeneous Graph Neural Network (RpHGNN) というハイブリッド計算前HGNNを提案する。
  論文  参考訳（メタデータ） (2023-10-23T01:25:44Z)
• Scalable Neural Network Training over Distributed Graphs [45.151244961817454]
  実世界のグラフデータは、キャパシティの制約のため、多くのマシンに格納されなければならない。 ネットワーク通信は費用がかかり、GNNのトレーニングの主なボトルネックとなっている。 最初のフレームワークは、すべてのネットワーク分散レベルにおいて、GNNのトレーニングに使用することができる。
  論文  参考訳（メタデータ） (2023-02-25T10:42:34Z)
• EGRC-Net: Embedding-induced Graph Refinement Clustering Network [66.44293190793294]
  埋め込みによるグラフリファインメントクラスタリングネットワーク (EGRC-Net) という新しいグラフクラスタリングネットワークを提案する。 EGRC-Netは学習した埋め込みを利用して初期グラフを適応的に洗練し、クラスタリング性能を向上させる。 提案手法はいくつかの最先端手法より一貫して優れている。
  論文  参考訳（メタデータ） (2022-11-19T09:08:43Z)
• CCasGNN: Collaborative Cascade Prediction Based on Graph Neural Networks [0.49269463638915806]
  カスケード予測は,ネットワーク内の情報拡散をモデル化することを目的とした。 グラフニューラルネットワークとリカレントニューラルネットワークによるネットワーク構造とシーケンス特徴の組み合わせに関する研究 本稿では,個々のプロファイル,構造特徴,シーケンス情報を考慮した新しいCCasGNNを提案する。
  論文  参考訳（メタデータ） (2021-12-07T11:37:36Z)
• Spatio-Temporal Inception Graph Convolutional Networks for Skeleton-Based Action Recognition [126.51241919472356]
  我々はスケルトンに基づく行動認識のためのシンプルで高度にモジュール化されたグラフ畳み込みネットワークアーキテクチャを設計する。 ネットワークは,空間的および時間的経路から多粒度情報を集約するビルディングブロックを繰り返すことで構築される。
  論文  参考訳（メタデータ） (2020-11-26T14:43:04Z)
• GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training [62.73470368851127]
  グラフ表現学習は現実世界の問題に対処する強力な手法として登場した。 自己教師付きグラフニューラルネットワーク事前トレーニングフレームワークであるGraph Contrastive Codingを設計する。 3つのグラフ学習タスクと10のグラフデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-06-17T16:18:35Z)
• Self-supervised Training of Graph Convolutional Networks [39.80867112204255]
  グラフ畳み込みネットワーク(GCN)は、非グリッドデータの解析に成功している。 本稿では,入力グラフ構造データ自体から利用可能な情報を活用するための2種類の自己教師型学習戦略を提案する。
  論文  参考訳（メタデータ） (2020-06-03T16:53:37Z)
• Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
  大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。 これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。 本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
  論文  参考訳（メタデータ） (2020-02-10T16:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。