Fugu-MT 論文翻訳(概要): Evolving Normalization-Activation Layers

論文の概要: Evolving Normalization-Activation Layers

arxiv url: http://arxiv.org/abs/2004.02967v5
Date: Fri, 17 Jul 2020 04:42:59 GMT
ステータス: 処理完了
システム内更新日: 2022-12-16 05:17:43.988410
Title: Evolving Normalization-Activation Layers
Title（参考訳）: 正常化活性化層の進化
Authors: Hanxiao Liu, Andrew Brock, Karen Simonyan, Quoc V. Le
Abstract要約: 我々は、うまく機能しない候補層を迅速にフィルタリングする効率的な拒絶プロトコルを開発した。 EvoNormsは、新しい正規化活性化層であり、新しい構造を持ち、時には驚くべき構造を持つ。我々の実験は、EvoNormsがResNets、MobileNets、EfficientNetsなどの画像分類モデルでうまく機能していることを示している。
参考スコア（独自算出の注目度）: 100.82879448303805
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Normalization layers and activation functions are fundamental components in deep networks and typically co-locate with each other. Here we propose to design them using an automated approach. Instead of designing them separately, we unify them into a single tensor-to-tensor computation graph, and evolve its structure starting from basic mathematical functions. Examples of such mathematical functions are addition, multiplication and statistical moments. The use of low-level mathematical functions, in contrast to the use of high-level modules in mainstream NAS, leads to a highly sparse and large search space which can be challenging for search methods. To address the challenge, we develop efficient rejection protocols to quickly filter out candidate layers that do not work well. We also use multi-objective evolution to optimize each layer's performance across many architectures to prevent overfitting. Our method leads to the discovery of EvoNorms, a set of new normalization-activation layers with novel, and sometimes surprising structures that go beyond existing design patterns. For example, some EvoNorms do not assume that normalization and activation functions must be applied sequentially, nor need to center the feature maps, nor require explicit activation functions. Our experiments show that EvoNorms work well on image classification models including ResNets, MobileNets and EfficientNets but also transfer well to Mask R-CNN with FPN/SpineNet for instance segmentation and to BigGAN for image synthesis, outperforming BatchNorm and GroupNorm based layers in many cases.
Abstract（参考訳）: 正規化層とアクティベーション関数はディープネットワークの基本コンポーネントであり、通常は互いに同じ位置にある。ここでは,自動アプローチによる設計を提案する。それらを個別に設計する代わりに、1つのテンソル・ツー・テンソル計算グラフに統一し、基本数学的関数からその構造を進化させる。そのような数学的関数の例として、加法、乗法、統計モーメントがある。低レベルな数学的関数の使用は、主流のNASにおける高レベルモジュールの使用とは対照的に、検索方法の難易度が高い、広い検索空間につながる。この課題に対処するため、我々は、うまく機能しない候補層を迅速にフィルタリングする効率的な拒絶プロトコルを開発した。また、オーバーフィットを防ぐために、複数のアーキテクチャで各レイヤのパフォーマンスを最適化するために、多目的進化も使用しています。 EvoNormsは、新しい正規化活性化レイヤーのセットであり、時には既存のデザインパターンを超える驚くべき構造である。例えば、一部のEvoNormでは、正規化とアクティベーション関数は順次適用されるべきではなく、フィーチャーマップを中心にする必要もなく、明示的なアクティベーション関数も必要としない。実験の結果,EvoNormはResNets,MobileNets,EfficientNetsなどの画像分類モデルでよく機能するが,インスタンスセグメンテーションではFPN/SpineNetでMask R-CNNに,画像合成ではBigGANに,多くの場合,BatchNormやGroupNormをベースとしたレイヤよりも優れていることがわかった。

関連論文リスト

Multilinear Operator Networks [60.7432588386185]
ポリノミアルネットワーク(Polynomial Networks)は、アクティベーション関数を必要としないモデルのクラスである。マルチリニア演算子のみに依存するMONetを提案する。
論文参考訳（メタデータ） (2024-01-31T16:52:19Z)
Dynamic Perceiver for Efficient Visual Recognition [87.08210214417309]
特徴抽出手順と早期分類タスクを分離する動的知覚器(Dyn-Perceiver)を提案する。特徴ブランチは画像の特徴を抽出し、分類ブランチは分類タスクに割り当てられた遅延コードを処理する。早期出口は分類枝に限られており、低レベルの特徴において線形分離性は不要である。
論文参考訳（メタデータ） (2023-06-20T03:00:22Z)
Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文参考訳（メタデータ） (2023-03-06T18:59:13Z)
Pushing the Efficiency Limit Using Structured Sparse Convolutions [82.31130122200578]
本稿では,画像の固有構造を利用して畳み込みフィルタのパラメータを削減する構造的スパース畳み込み(SSC)を提案する。我々は、SSCが効率的なアーキテクチャにおける一般的なレイヤ(奥行き、グループ回り、ポイント回りの畳み込み)の一般化であることを示す。 SSCに基づくアーキテクチャは、CIFAR-10、CIFAR-100、Tiny-ImageNet、ImageNet分類ベンチマークのベースラインと比較して、最先端のパフォーマンスを実現している。
論文参考訳（メタデータ） (2022-10-23T18:37:22Z)
EvoPruneDeepTL: An Evolutionary Pruning Model for Transfer Learning based Deep Neural Networks [15.29595828816055]
本稿では,トランスファーラーニングに基づくディープニューラルネットワークのための進化的プルーニングモデルを提案する。 EvoPruneDeepTLは、最後の完全に接続されたレイヤを遺伝的アルゴリズムによって最適化されたスパースレイヤで置き換える。その結果,ネットワーク全体の計算効率に対するEvoPruneDeepTLと特徴選択の寄与が示された。
論文参考訳（メタデータ） (2022-02-08T13:07:55Z)
Learning strides in convolutional neural networks [34.20666933112202]
この研究は、学習可能なステップを持つ最初のダウンサンプリング層であるDiffStrideを紹介している。音声と画像の分類実験は,ソリューションの汎用性と有効性を示す。
論文参考訳（メタデータ） (2022-02-03T16:03:36Z)
Finding the Task-Optimal Low-Bit Sub-Distribution in Deep Neural Networks [10.278350434623107]
量子ニューラルネットワークは通常、メモリフットプリントを小さくし、計算の複雑さを小さくする必要がある。本稿では,モデルに固有の最適潜伏部分分布を学習するための適応行列量子化法を提案する。近代建築における画像分類と物体検出実験は,提案手法の有効性,一般化性,伝達性を示す。
論文参考訳（メタデータ） (2021-12-30T17:28:11Z)
Rapid training of deep neural networks without skip connections or normalization layers using Deep Kernel Shaping [46.083745557823164]
我々は、深層ネットワークに存在する主な病理組織を特定し、それらが高速にトレーニングされ、目に見えないデータに一般化されるのを防ぐ。本稿では,ネットワークのカーネル関数の「形状」を慎重に制御することで,これらを回避する方法を示す。
論文参考訳（メタデータ） (2021-10-05T00:49:36Z)
Smoother Network Tuning and Interpolation for Continuous-level Image Processing [7.730087303035803]
フィルタ遷移ネットワーク(FTN)は、連続学習のための構造的にスムーズなモジュールである。 FTNは様々なタスクやネットワークをまたいでうまく一般化し、望ましくない副作用を少なくする。 FTNの安定学習のために,IDマッピングを用いた非線形ニューラルネットワーク層を提案する。
論文参考訳（メタデータ） (2020-10-05T18:29:52Z)
Binarizing MobileNet via Evolution-based Searching [66.94247681870125]
そこで本稿では,MobileNet をバイナライズする際の構築と訓練を容易にするための進化的探索手法を提案する。ワンショットアーキテクチャ検索フレームワークに着想を得て、グループ畳み込みのアイデアを操り、効率的な1ビット畳み込みニューラルネットワーク(CNN)を設計する。我々の目標は、グループ畳み込みの最良の候補を探索することで、小さなが効率的なバイナリニューラルアーキテクチャを考案することである。
論文参考訳（メタデータ） (2020-05-13T13:25:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。