論文の概要: Neural Networks with A La Carte Selection of Activation Functions
- arxiv url: http://arxiv.org/abs/2206.12166v1
- Date: Fri, 24 Jun 2022 09:09:39 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-27 12:31:24.007976
- Title: Neural Networks with A La Carte Selection of Activation Functions
- Title（参考訳）: La Carte Selection of Activation Function を用いたニューラルネットワーク
- Authors: Moshe Sipper
- Abstract要約: 活性化関数(AF)は、ニューラルネットワークの成功(または失敗)に重要な要素である。
多数の既知のAFをアーキテクチャの成功と組み合わせて、有益な3つの方法を提案しています。
本稿では,ReLU隠れユニットとソフトマックス出力ユニットからなる標準ネットワークと比較して,25の分類問題に対して,全ての手法が有意に優れた結果をもたらすことを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Activation functions (AFs), which are pivotal to the success (or failure) of
a neural network, have received increased attention in recent years, with
researchers seeking to design novel AFs that improve some aspect of network
performance. In this paper we take another direction, wherein we combine a slew
of known AFs into successful architectures, proposing three methods to do so
beneficially: 1) generate AF architectures at random, 2) use Optuna, an
automatic hyper-parameter optimization software framework, with a
Tree-structured Parzen Estimator (TPE) sampler, and 3) use Optuna with a
Covariance Matrix Adaptation Evolution Strategy (CMA-ES) sampler. We show that
all methods often produce significantly better results for 25 classification
problems when compared with a standard network composed of ReLU hidden units
and a softmax output unit. Optuna with the TPE sampler emerged as the best AF
architecture-producing method.
- Abstract（参考訳）: 近年、ニューラルネットワークの成功(あるいは失敗)に重要な活性化関数(AF)が注目され、ネットワーク性能のいくつかの側面を改善する新しいAFの設計を目指す研究者が増えている。
この論文では、多くの既知のafsを成功裏にアーキテクチャに組み合わせ、3つの方法を提案する別の方向を取り上げます。
1) AF アーキテクチャをランダムに生成する。
2) 木構造型Parzen Estimator(TPE)サンプル装置を備えた自動ハイパーパラメータ最適化ソフトウェアフレームワークであるOptunaを使用する。
3) Covariance Matrix Adaptation Evolution Strategy (CMA-ES) sampler で Optuna を使用する。
本稿では,ReLU隠れユニットとソフトマックス出力ユニットからなる標準ネットワークと比較して,25の分類問題に対して,全ての手法が有意に優れた結果をもたらすことを示す。
TPEサンプルを用いたオプトゥーナは、最高のAFアーキテクチャ生成方法として登場した。
関連論文リスト
- POMONAG: Pareto-Optimal Many-Objective Neural Architecture Generator [4.09225917049674]
Transferable NASが登場し、データセット依存からタスク依存への探索プロセスを一般化した。
本稿では多目的拡散プロセスを通じて拡散NAGを拡張するPOMONAGを紹介する。
結果は、NAS201とMobileNetV3の2つの検索スペースで検証され、15の画像分類データセットで評価された。
論文 参考訳（メタデータ） (2024-09-30T16:05:29Z) - HKNAS: Classification of Hyperspectral Imagery Based on Hyper Kernel
Neural Architecture Search [104.45426861115972]
設計したハイパーカーネルを利用して,構造パラメータを直接生成することを提案する。
我々は1次元または3次元の畳み込みを伴う画素レベルの分類と画像レベルの分類を別々に行う3種類のネットワークを得る。
6つの公開データセットに関する一連の実験は、提案手法が最先端の結果を得ることを示した。
論文 参考訳（メタデータ） (2023-04-23T17:27:40Z) - Enhancing Once-For-All: A Study on Parallel Blocks, Skip Connections and
Early Exits [7.0895962209555465]
once-For-All (OFA) は、容易に適応可能なモデルを生成する能力によって特徴づけられるエコフレンドリーなアルゴリズムである。
OFAは、アーリーエグジット、並列ブロック、高密度スキップ接続を含むことで、アーキテクチャの観点から改善されている。
OFAAv2は、Tiny ImageNetデータセットの精度をOFAのオリジナルバージョンと比較して最大12.07%改善している。
論文 参考訳（メタデータ） (2023-02-03T17:53:40Z) - MRF-UNets: Searching UNet with Markov Random Fields [25.607512500358723]
本稿では、最近のAdaptive and Optimal Network Width Search (AOWS) 法を拡張し改善する MRF-NAS を提案する。
アーキテクチャ MRF-UNet にはいくつかの興味深い特徴がある。
実験の結果,MRF-UNetsは3つの航空画像データセットと2つの医療画像データセットのベンチマークを著しく上回った。
論文 参考訳（メタデータ） (2022-07-13T13:04:18Z) - Evolution of Activation Functions for Deep Learning-Based Image
Classification [0.0]
活性化関数(AF)は、ニューラルネットワークの性能において重要な役割を果たす。
AFを進化させる新しい3つの集団共進化アルゴリズムを提案する。
MNIST、FashionMNIST、KMNIST、USPSの4つのデータセットでテストした結果、優れたAFとAFアーキテクチャを見つけるためのパフォーマンスアルゴリズムであることが証明された。
論文 参考訳（メタデータ） (2022-06-24T05:58:23Z) - FBNetV3: Joint Architecture-Recipe Search using Predictor Pretraining [65.39532971991778]
サンプル選択とランキングの両方を導くことで、アーキテクチャとトレーニングのレシピを共同でスコアする精度予測器を提案する。
高速な進化的検索をCPU分で実行し、さまざまなリソース制約に対するアーキテクチャと準備のペアを生成します。
FBNetV3は最先端のコンパクトニューラルネットワークのファミリーを構成しており、自動と手動で設計された競合より優れている。
論文 参考訳（メタデータ） (2020-06-03T05:20:21Z) - Binarizing MobileNet via Evolution-based Searching [66.94247681870125]
そこで本稿では,MobileNet をバイナライズする際の構築と訓練を容易にするための進化的探索手法を提案する。
ワンショットアーキテクチャ検索フレームワークに着想を得て、グループ畳み込みのアイデアを操り、効率的な1ビット畳み込みニューラルネットワーク(CNN)を設計する。
我々の目標は、グループ畳み込みの最良の候補を探索することで、小さなが効率的なバイナリニューラルアーキテクチャを考案することである。
論文 参考訳（メタデータ） (2020-05-13T13:25:51Z) - Recent Developments Combining Ensemble Smoother and Deep Generative
Networks for Facies History Matching [58.720142291102135]
本研究は、ファシズムモデルのための連続パラメータ化を構築するためのオートエンコーダネットワークの利用に焦点を当てる。
本稿では,VAE,GAN,Wasserstein GAN,変分自動符号化GAN,サイクルGANの主成分分析(PCA),転送スタイルネットワークのPCA,スタイル損失のVAEの7種類の定式化をベンチマークする。
論文 参考訳（メタデータ） (2020-05-08T21:32:42Z) - Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。
標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
論文 参考訳（メタデータ） (2020-04-06T15:51:00Z) - ASFD: Automatic and Scalable Face Detector [129.82350993748258]
ASFD(Automatic and Scalable Face Detector)を提案する。
ASFDはニューラルアーキテクチャ検索技術の組み合わせと新たな損失設計に基づいている。
ASFD-D0は120FPS以上で動作し、MobilenetはVGA解像度の画像を撮影しています。
論文 参考訳（メタデータ） (2020-03-25T06:00:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。