論文の概要: Fitting the Search Space of Weight-sharing NAS with Graph Convolutional Networks

• arxiv url: http://arxiv.org/abs/2004.08423v2
• Date: Tue, 15 Dec 2020 09:47:03 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-12 10:16:52.910441
• Title: Fitting the Search Space of Weight-sharing NAS with Graph Convolutional Networks
• Title（参考訳）: グラフ畳み込みネットワークによる軽量共有NASの探索空間設定
• Authors: Xin Chen, Lingxi Xie, Jun Wu, Longhui Wei, Yuhui Xu and Qi Tian
• Abstract要約: サンプルサブネットワークの性能に適合するグラフ畳み込みネットワークを訓練する。 この戦略により、選択された候補集合において、より高いランク相関係数が得られる。
• 参考スコア（独自算出の注目度）: 100.14670789581811
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural architecture search has attracted wide attentions in both academia and industry. To accelerate it, researchers proposed weight-sharing methods which first train a super-network to reuse computation among different operators, from which exponentially many sub-networks can be sampled and efficiently evaluated. These methods enjoy great advantages in terms of computational costs, but the sampled sub-networks are not guaranteed to be estimated precisely unless an individual training process is taken. This paper owes such inaccuracy to the inevitable mismatch between assembled network layers, so that there is a random error term added to each estimation. We alleviate this issue by training a graph convolutional network to fit the performance of sampled sub-networks so that the impact of random errors becomes minimal. With this strategy, we achieve a higher rank correlation coefficient in the selected set of candidates, which consequently leads to better performance of the final architecture. In addition, our approach also enjoys the flexibility of being used under different hardware constraints, since the graph convolutional network has provided an efficient lookup table of the performance of architectures in the entire search space.
• Abstract（参考訳）: ニューラルアーキテクチャサーチは学術と産業の両方で広く注目を集めている。 そこで研究者たちは、まずスーパーネットワークを訓練し、異なるオペレータ間の計算を再利用し、指数関数的に多数のサブネットワークをサンプリングし、効率的に評価する重み共有手法を提案した。 これらの手法には計算コストの面で大きな利点があるが、個別の訓練プロセスを受けない限り、サンプルサブネットワークは正確に推定されることは保証されていない。 本稿では,ネットワーク層間の不一致が避けられないため,各推定値にランダムな誤差項が加えられた。 この問題を、グラフ畳み込みネットワークをトレーニングして、サンプルサブネットワークの性能に適合させ、ランダムエラーの影響を最小限に抑えることで緩和する。 この戦略により、選択された候補群において高いランク相関係数を達成し、その結果、最終的なアーキテクチャの性能が向上する。 さらに,グラフ畳み込みネットワークは,検索空間全体のアーキテクチャ性能の効率的なルックアップテーブルを提供するため,異なるハードウェア制約下での使用の柔軟性も享受している。

関連論文リスト

• Generalizing Few-Shot NAS with Gradient Matching [165.5690495295074]
  One-Shotメソッドは、1つのスーパーネットをトレーニングし、ウェイトシェアリングを通じて検索空間内の全てのアーキテクチャのパフォーマンスを近似する。 Few-Shot NASは、One-Shotスーパーネットを複数のサブスーパーネットに分割することで、ウェイトシェアリングのレベルを下げる。 Few-Shotよりも優れており、派生したアーキテクチャの精度という点では、従来の同等の手法をはるかに上回っている。
  論文  参考訳（メタデータ） (2022-03-29T03:06:16Z)
• Bandit Sampling for Multiplex Networks [8.771092194928674]
  多数のレイヤを持つ多重ネットワーク上でのスケーラブルな学習アルゴリズムを提案する。 オンライン学習アルゴリズムは、トレーニング中に関連する情報を持つレイヤのみを集約するように、関連する隣のレイヤをサンプリングする方法を学ぶ。 合成シナリオと実世界のシナリオの両方に関する実験結果を示す。
  論文  参考訳（メタデータ） (2022-02-08T03:26:34Z)
• CONetV2: Efficient Auto-Channel Size Optimization for CNNs [35.951376988552695]
  本研究は,チャネルサイズのマイクロサーチ空間を調べることにより,計算制約のある環境において効率的な手法を提案する。 チャネルサイズ最適化に際し、ネットワークの異なる接続層内の依存関係を抽出する自動アルゴリズムを設計する。 また、テスト精度と高い相関性を持ち、個々のネットワーク層を解析できる新しいメトリクスも導入する。
  論文  参考訳（メタデータ） (2021-10-13T16:17:19Z)
• RAN-GNNs: breaking the capacity limits of graph neural networks [43.66682619000099]
  グラフニューラルネットワークは、グラフ上で定義されたデータの学習と分析に対処する問題の中心となっている。 最近の研究では、複数の近隣サイズを同時に考慮し、適応的にそれらを調整する必要があるためです。 ランダムに配線されたアーキテクチャを用いることで、ネットワークの容量を増大させ、よりリッチな表現を得ることができることを示す。
  論文  参考訳（メタデータ） (2021-03-29T12:34:36Z)
• Analytically Tractable Inference in Deep Neural Networks [0.0]
  Tractable Approximate Inference (TAGI)アルゴリズムは、浅いフルコネクテッドニューラルネットワークのバックプロパゲーションに対する実行可能でスケーラブルな代替手段であることが示された。 従来のディープニューラルネットワークアーキテクチャをトレーニングするために、TAGIがバックプロパゲーションのパフォーマンスとどのように一致するか、または上回るかを実証しています。
  論文  参考訳（メタデータ） (2021-03-09T14:51:34Z)
• Task-Adaptive Neural Network Retrieval with Meta-Contrastive Learning [34.27089256930098]
  本稿では,与えられたタスクに対して最適な事前学習ネットワークを検索するニューラルネットワーク検索手法を提案する。 データセットとネットワークとの類似性を最大化するために、コントラスト損失を伴うクロスモーダルな潜在空間をメタラーニングすることによって、このフレームワークを訓練する。 提案手法の有効性を,既存のNASベースラインに対して10個の実世界のデータセット上で検証する。
  論文  参考訳（メタデータ） (2021-03-02T06:30:51Z)
• Anomaly Detection on Attributed Networks via Contrastive Self-Supervised Learning [50.24174211654775]
  本論文では,アトリビュートネットワーク上の異常検出のためのコントラスト型自己監視学習フレームワークを提案する。 このフレームワークは、新しいタイプのコントラストインスタンスペアをサンプリングすることで、ネットワークデータからのローカル情報を完全に活用します。 高次元特性と局所構造から情報埋め込みを学習するグラフニューラルネットワークに基づくコントラスト学習モデルを提案する。
  論文  参考訳（メタデータ） (2021-02-27T03:17:20Z)
• Discretization-Aware Architecture Search [81.35557425784026]
  本稿では,離散化対応アーキテクチャサーチ(DAtextsuperscript2S)を提案する。 中心となる考え方は、超ネットワークを所望のトポロジの構成に向けることであり、離散化による精度損失がほとんど軽減される。 標準画像分類ベンチマークの実験は、我々のアプローチの優位性を実証している。
  論文  参考訳（メタデータ） (2020-07-07T01:18:58Z)
• DC-NAS: Divide-and-Conquer Neural Architecture Search [108.57785531758076]
  本稿では,ディープ・ニューラル・アーキテクチャーを効果的かつ効率的に探索するためのディバイド・アンド・コンカ(DC)手法を提案する。 ImageNetデータセットで75.1%の精度を達成しており、これは同じ検索空間を使った最先端の手法よりも高い。
  論文  参考訳（メタデータ） (2020-05-29T09:02:16Z)
• Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
  本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。 標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2020-04-06T15:51:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。