論文の概要: Set-based Neural Network Encoding
- arxiv url: http://arxiv.org/abs/2305.16625v1
- Date: Fri, 26 May 2023 04:34:28 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-29 16:58:49.814315
- Title: Set-based Neural Network Encoding
- Title(参考訳): セットベースニューラルネットワーク符号化
- Authors: Bruno Andreis, Soro Bedionita, Sung Ju Hwang
- Abstract要約: 一般化性能予測のためのニューラルネットワーク重み符号化手法を提案する。
我々のアプローチは、混合アーキテクチャのモデル動物園でニューラルネットワークを符号化することができる。
ニューラルネットワークの一般化性能予測には,クロスデータセットとクロスアーキテクチャという2つの新しいタスクを導入する。
- 参考スコア(独自算出の注目度): 57.15855198512551
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose an approach to neural network weight encoding for generalization
performance prediction that utilizes set-to-set and set-to-vector functions to
efficiently encode neural network parameters. Our approach is capable of
encoding neural networks in a modelzoo of mixed architecture and different
parameter sizes as opposed to previous approaches that require custom encoding
models for different architectures. Furthermore, our \textbf{S}et-based
\textbf{N}eural network \textbf{E}ncoder (SNE) takes into consideration the
hierarchical computational structure of neural networks by utilizing a
layer-wise encoding scheme that culminates to encoding all layer-wise encodings
to obtain the neural network encoding vector. Additionally, we introduce a
\textit{pad-chunk-encode} pipeline to efficiently encode neural network layers
that is adjustable to computational and memory constraints. We also introduce
two new tasks for neural network generalization performance prediction:
cross-dataset and cross-architecture. In cross-dataset performance prediction,
we evaluate how well performance predictors generalize across modelzoos trained
on different datasets but of the same architecture. In cross-architecture
performance prediction, we evaluate how well generalization performance
predictors transfer to modelzoos of different architecture. Experimentally, we
show that SNE outperforms the relevant baselines on the cross-dataset task and
provide the first set of results on the cross-architecture task.
- Abstract(参考訳): 本稿では,ニューラルネットワークのパラメータを効率的にエンコードするためにset-to-setとset-to-vector関数を利用する一般化性能予測のためのニューラルネットワーク重み符号化手法を提案する。
我々のアプローチは、異なるアーキテクチャのカスタムエンコーディングモデルを必要とする従来のアプローチとは対照的に、混合アーキテクチャと異なるパラメータサイズのモデル動物園でニューラルネットワークを符号化することができる。
さらに、我々の \textbf{s}et ベースの \textbf{n}eural network \textbf{e}ncoder (sne) は、ニューラルネットワークの階層的計算構造を考慮に入れ、全ての階層的符号化を符号化し、ニューラルネットワーク符号化ベクトルを得る。
さらに,計算やメモリの制約に適応可能なニューラルネットワーク層を効率的にエンコードする, \textit{pad-chunk-encode}パイプラインを導入する。
ニューラルネットワークの一般化性能予測には,クロスデータセットとクロスアーキテクチャという,2つの新しいタスクを導入する。
クロスデータセットのパフォーマンス予測では、異なるデータセットでトレーニングされたモデルゾスに対して、同じアーキテクチャでパフォーマンス予測がいかに一般化するかを評価する。
クロスアーキテクチャ性能予測では、異なるアーキテクチャのモデルゾーへの一般化性能予測器の転送がいかに良好かを評価する。
実験により、SNEは、クロスデータセットタスクにおける関連するベースラインよりも優れており、クロスアーキテクチャタスクにおける最初の結果セットを提供する。
関連論文リスト
- Principled Architecture-aware Scaling of Hyperparameters [69.98414153320894]
高品質のディープニューラルネットワークをトレーニングするには、非自明で高価なプロセスである適切なハイパーパラメータを選択する必要がある。
本研究では,ネットワークアーキテクチャにおける初期化と最大学習率の依存性を正確に評価する。
ネットワークランキングは、ベンチマークのトレーニングネットワークにより容易に変更可能であることを実証する。
論文 参考訳(メタデータ) (2024-02-27T11:52:49Z) - GENNAPE: Towards Generalized Neural Architecture Performance Estimators [25.877126553261434]
GENNAPEは、与えられたニューラルネットワークを、原子操作の計算グラフ(CG)として表現する。
最初に、トポロジ的特徴によるネットワーク分離を促進するために、Contrastive Learningを介してグラフエンコーダを学習する。
実験により、NAS-Bench-101で事前訓練されたGENNAPEは、5つの異なる公開ニューラルネットワークベンチマークに優れた転送性が得られることが示された。
論文 参考訳(メタデータ) (2022-11-30T18:27:41Z) - NAR-Former: Neural Architecture Representation Learning towards Holistic
Attributes Prediction [37.357949900603295]
本稿では,属性の全体的推定に使用できるニューラルネットワーク表現モデルを提案する。
実験の結果,提案するフレームワークは,セルアーキテクチャとディープニューラルネットワーク全体の遅延特性と精度特性を予測できることがわかった。
論文 参考訳(メタデータ) (2022-11-15T10:15:21Z) - PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive
Learning [109.84770951839289]
歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。
本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
論文 参考訳(メタデータ) (2021-03-17T08:28:30Z) - Differentiable Neural Architecture Learning for Efficient Neural Network
Design [31.23038136038325]
スケールド・シグモイド関数に基づく新しいemphアーキテクチャのパラメータ化を提案する。
そこで本論文では,候補ニューラルネットワークを評価することなく,ニューラルネットワークを最適化するための汎用的エファイブルニューラルネットワーク学習(DNAL)手法を提案する。
論文 参考訳(メタデータ) (2021-03-03T02:03:08Z) - Self-supervised Representation Learning for Evolutionary Neural
Architecture Search [9.038625856798227]
最近提案されたニューラルアーキテクチャサーチ(NAS)アルゴリズムは、アーキテクチャサーチを高速化するためにニューラル予測器を採用している。
少量のトレーニングデータを用いて予測精度の高いニューラル予測器を得る方法は、ニューラル予測器に基づくNASの中心的な問題である。
ニューラルネットワークを組み込んだアーキテクチャを事前学習するための2つの自己教師型学習手法を考案した。
NASBench-101とNASBench201のベンチマークで、事前学習したニューラル予測器と進化的NASアルゴリズムを統合する際に、最先端の性能を実現する。
論文 参考訳(メタデータ) (2020-10-31T04:57:16Z) - Modeling from Features: a Mean-field Framework for Over-parameterized
Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。
このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。
本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文 参考訳(メタデータ) (2020-07-03T01:37:16Z) - A Semi-Supervised Assessor of Neural Architectures [157.76189339451565]
我々は、ニューラルネットワークの有意義な表現を見つけるためにオートエンコーダを用いる。
アーキテクチャの性能を予測するために、グラフ畳み込みニューラルネットワークを導入する。
論文 参考訳(メタデータ) (2020-05-14T09:02:33Z) - Binarizing MobileNet via Evolution-based Searching [66.94247681870125]
そこで本稿では,MobileNet をバイナライズする際の構築と訓練を容易にするための進化的探索手法を提案する。
ワンショットアーキテクチャ検索フレームワークに着想を得て、グループ畳み込みのアイデアを操り、効率的な1ビット畳み込みニューラルネットワーク(CNN)を設計する。
我々の目標は、グループ畳み込みの最良の候補を探索することで、小さなが効率的なバイナリニューラルアーキテクチャを考案することである。
論文 参考訳(メタデータ) (2020-05-13T13:25:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。