論文の概要: Exemplar Normalization for Learning Deep Representation
- arxiv url: http://arxiv.org/abs/2003.08761v2
- Date: Fri, 20 Mar 2020 14:58:40 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-22 04:35:23.330390
- Title: Exemplar Normalization for Learning Deep Representation
- Title（参考訳）: 深部表現学習のためのexemplar normalization
- Authors: Ruimao Zhang, Zhanglin Peng, Lingyun Wu, Zhen Li, Ping Luo
- Abstract要約: 本研究は、初等正規化(EN)を提案することによって、新しい動的学習-正規化(L2N)問題について検討する。
ENは、異なる畳み込み層とディープネットワークの画像サンプルの異なる正規化方法を学ぶことができる。
- 参考スコア（独自算出の注目度）: 34.42934843556172
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Normalization techniques are important in different advanced neural networks
and different tasks. This work investigates a novel dynamic
learning-to-normalize (L2N) problem by proposing Exemplar Normalization (EN),
which is able to learn different normalization methods for different
convolutional layers and image samples of a deep network. EN significantly
improves flexibility of the recently proposed switchable normalization (SN),
which solves a static L2N problem by linearly combining several normalizers in
each normalization layer (the combination is the same for all samples). Instead
of directly employing a multi-layer perceptron (MLP) to learn data-dependent
parameters as conditional batch normalization (cBN) did, the internal
architecture of EN is carefully designed to stabilize its optimization, leading
to many appealing benefits. (1) EN enables different convolutional layers,
image samples, categories, benchmarks, and tasks to use different normalization
methods, shedding light on analyzing them in a holistic view. (2) EN is
effective for various network architectures and tasks. (3) It could replace any
normalization layers in a deep network and still produce stable model training.
Extensive experiments demonstrate the effectiveness of EN in a wide spectrum of
tasks including image recognition, noisy label learning, and semantic
segmentation. For example, by replacing BN in the ordinary ResNet50,
improvement produced by EN is 300% more than that of SN on both ImageNet and
the noisy WebVision dataset.
- Abstract（参考訳）: 正規化技術は、異なる高度なニューラルネットワークと異なるタスクにおいて重要である。
本研究では,異なる畳み込み層と深層ネットワークの画像サンプルの異なる正規化法を学習可能なexemplar normalization (en)を提案することにより,新しい動的学習・正規化問題(l2n)について検討する。
enは、最近提案されたsn(switchable normalization)の柔軟性を大幅に向上させ、各正規化層で複数の正規化子を線形に結合することで静的l2n問題を解決する。
条件付きバッチ正規化(cBN)のようにデータ依存パラメータを直接学習するためにMLP(Multi-layer perceptron)を直接使用する代わりに、ENの内部アーキテクチャは最適化の安定化のために慎重に設計されており、多くの魅力的な利点をもたらす。
1) ENは,様々な畳み込み層,画像サンプル,カテゴリ,ベンチマーク,タスクを,様々な正規化手法を用いて,総合的な視点で解析に光を当てることができる。
2)ENは様々なネットワークアーキテクチャやタスクに有効である。
3) ディープネットワーク内の任意の正規化層を置き換えることができ、モデルトレーニングも安定したものになる。
広汎な実験は、画像認識、雑音ラベル学習、意味的セグメンテーションを含む幅広いタスクにおいて、ENの有効性を示す。
例えば、通常のResNet50でBNを置き換えることで、ENによって生成された改善は、ImageNetとノイズの多いWebVisionデータセットでSNよりも300%多い。
関連論文リスト
- Multi-Objective Optimization for Sparse Deep Multi-Task Learning [0.0]
重み付きチェビシェフスキャラライゼーションを用いたディープニューラルネットワーク(DNN)のトレーニングのための多目的最適化アルゴリズムを提案する。
本研究の目的は,DNNモデルの持続可能性問題,特にDeep Multi-Taskモデルに焦点をあてることである。
論文 参考訳（メタデータ） (2023-08-23T16:42:27Z) - WLD-Reg: A Data-dependent Within-layer Diversity Regularizer [98.78384185493624]
ニューラルネットワークは、勾配に基づく最適化と共同で訓練された階層構造に配置された複数の層で構成されている。
我々は、この従来の「中間層」フィードバックを補うために、同じ層内での活性化の多様性を促進するために、追加の「中間層」フィードバックを補うことを提案する。
本稿では,提案手法が複数のタスクにおける最先端ニューラルネットワークモデルの性能を向上させることを実証した広範な実証研究を提案する。
論文 参考訳（メタデータ） (2023-01-03T20:57:22Z) - Subquadratic Overparameterization for Shallow Neural Networks [60.721751363271146]
私たちは、標準的なニューラルトレーニング戦略を採用することができる分析フレームワークを提供しています。
我々は、Desiderata viaak-Lojasiewicz, smoothness, and standard assumptionsを達成する。
論文 参考訳（メタデータ） (2021-11-02T20:24:01Z) - Exploiting Invariance in Training Deep Neural Networks [4.169130102668252]
動物視覚システムの2つの基本的なメカニズムに触発され、ディープニューラルネットワークのトレーニングに不変性を与える特徴変換技術を紹介します。
結果として得られるアルゴリズムはパラメータチューニングを少なくし、初期学習率1.0でうまくトレーニングし、異なるタスクに簡単に一般化する。
ImageNet、MS COCO、Cityscapesデータセットでテストされた当社の提案手法は、トレーニングにより少ないイテレーションを必要とし、すべてのベースラインを大きなマージンで上回り、小規模および大規模のバッチサイズのトレーニングをシームレスに行い、画像分類、オブジェクト検出、セマンティックセグメンテーションの異なるコンピュータビジョンタスクに適用します。
論文 参考訳（メタデータ） (2021-03-30T19:18:31Z) - Style Normalization and Restitution for DomainGeneralization and
Adaptation [88.86865069583149]
効果的なドメイン一般化モデルは、一般化および判別可能な特徴表現を学習することが期待される。
本稿では,ネットワークの高一般化と識別能力を確保するために,新しいスタイル正規化・再構成モジュール(SNR)を設計する。
論文 参考訳（メタデータ） (2021-01-03T09:01:39Z) - Smoother Network Tuning and Interpolation for Continuous-level Image
Processing [7.730087303035803]
フィルタ遷移ネットワーク(FTN)は、連続学習のための構造的にスムーズなモジュールである。
FTNは様々なタスクやネットワークをまたいでうまく一般化し、望ましくない副作用を少なくする。
FTNの安定学習のために,IDマッピングを用いた非線形ニューラルネットワーク層を提案する。
論文 参考訳（メタデータ） (2020-10-05T18:29:52Z) - A Flexible Framework for Designing Trainable Priors with Adaptive
Smoothing and Game Encoding [57.1077544780653]
我々は、前方通過を非滑らかな凸最適化問題として解釈できるニューラルネットワーク層の設計とトレーニングのための一般的なフレームワークを紹介する。
グラフのノードに代表されるローカルエージェントによって解決され、正規化関数を介して相互作用する凸ゲームに焦点を当てる。
このアプローチは、訓練可能なエンドツーエンドのディープモデル内で、古典的な画像の事前使用を可能にするため、画像の問題を解決するために魅力的である。
論文 参考訳（メタデータ） (2020-06-26T08:34:54Z) - Optimization Theory for ReLU Neural Networks Trained with Normalization
Layers [82.61117235807606]
ディープニューラルネットワークの成功は、部分的には正規化レイヤの使用によるものだ。
我々の分析は、正規化の導入がランドスケープをどのように変化させ、より高速なアクティベーションを実現するかを示している。
論文 参考訳（メタデータ） (2020-06-11T23:55:54Z) - Evolving Normalization-Activation Layers [100.82879448303805]
我々は、うまく機能しない候補層を迅速にフィルタリングする効率的な拒絶プロトコルを開発した。
EvoNormsは、新しい正規化活性化層であり、新しい構造を持ち、時には驚くべき構造を持つ。
我々の実験は、EvoNormsがResNets、MobileNets、EfficientNetsなどの画像分類モデルでうまく機能していることを示している。
論文 参考訳（メタデータ） (2020-04-06T19:52:48Z) - Regularized Adaptation for Stable and Efficient Continuous-Level
Learning on Image Processing Networks [7.730087303035803]
フィルタ遷移ネットワーク(FTN)を用いた新しい連続レベル学習フレームワークを提案する。
FTNは、新しいレベルに容易に適応できる非線形モジュールであり、望ましくない副作用を防ぐために正規化されている。
様々な画像処理結果から,FTNの性能は適応性および適応性において安定であることが示唆された。
論文 参考訳（メタデータ） (2020-03-11T07:46:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。