論文の概要: Characterizing signal propagation to close the performance gap in
unnormalized ResNets
- arxiv url: http://arxiv.org/abs/2101.08692v2
- Date: Wed, 27 Jan 2021 11:28:41 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-21 08:07:20.915321
- Title: Characterizing signal propagation to close the performance gap in
unnormalized ResNets
- Title（参考訳）: 非正規化再ネットの性能ギャップを閉じる信号伝搬特性
- Authors: Andrew Brock, Soham De, Samuel L. Smith
- Abstract要約: バッチ正規化は、バッチ内のトレーニング例間の独立性を破り、計算とメモリオーバーヘッドを発生させ、しばしば予期せぬバグを引き起こす。
我々は,フォワードパス上での信号伝搬を特徴付ける簡易な解析ツールセットを提案し,これらのツールを用いて活性化正規化層を必要とせず,高パフォーマンスのresnetを設計する。
私たちの成功に重大なのは、最近提案された重量標準化の適応版です。
解析ツールは、チャネルごとのアクティベーション手段が深さとともに成長しないようにすることで、ReLUやSwishのアクティベーション機能付きネットワークにおける信号の保存方法を示す。
- 参考スコア（独自算出の注目度）: 22.638397557336663
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Batch Normalization is a key component in almost all state-of-the-art image
classifiers, but it also introduces practical challenges: it breaks the
independence between training examples within a batch, can incur compute and
memory overhead, and often results in unexpected bugs. Building on recent
theoretical analyses of deep ResNets at initialization, we propose a simple set
of analysis tools to characterize signal propagation on the forward pass, and
leverage these tools to design highly performant ResNets without activation
normalization layers. Crucial to our success is an adapted version of the
recently proposed Weight Standardization. Our analysis tools show how this
technique preserves the signal in networks with ReLU or Swish activation
functions by ensuring that the per-channel activation means do not grow with
depth. Across a range of FLOP budgets, our networks attain performance
competitive with the state-of-the-art EfficientNets on ImageNet.
- Abstract（参考訳）: バッチ正規化(Batch Normalization)は、ほぼすべての最先端のイメージ分類器において重要なコンポーネントであるが、バッチ内のトレーニング例間の独立性を破り、計算とメモリのオーバーヘッドを発生させ、しばしば予期せぬバグを引き起こすという、実践的な課題も導入している。
初期化時の深い再ネットの最近の理論的解析に基づいて,フォワードパス上での信号伝搬を特徴付ける簡易な解析ツールセットを提案し,これらのツールを用いて活性化正規化層を必要とせず,高性能な再ネットを設計する。
私たちの成功には、最近提案された重みの標準化の適応バージョンが不可欠です。
解析ツールは、チャネルごとのアクティベーション手段が深さとともに成長しないようにすることで、ReLUやSwishのアクティベーション機能付きネットワークにおける信号の保存方法を示す。
FLOP予算の範囲で、私たちのネットワークはImageNet上の最先端のEfficientNetsと競合するパフォーマンスを実現しています。
関連論文リスト
- Neural Network Compression by Joint Sparsity Promotion and Redundancy
Reduction [4.9613162734482215]
本稿では,冗長なフィルタを創出し,空間性向上によるネットワーク学習に対する効果を最小化する,複合制約に基づく新しい学習手法を提案する。
いくつかのピクセルワイドセグメンテーションベンチマークによるテストでは、テストフェーズにおけるネットワークのニューロン数とメモリフットプリントが、性能に影響を与えずに大幅に減少することが示された。
論文 参考訳（メタデータ） (2022-10-14T01:34:49Z) - A Lightweight, Efficient and Explainable-by-Design Convolutional Neural
Network for Internet Traffic Classification [66.58073672357064]
本稿では、インターネットトラフィック分類のための軽量で効率的なeXplainable-by-design畳み込みニューラルネットワーク(LEXNet)を提案する。
LEXNetは(軽量で効率の良い目的のために)新しい残留ブロックと(説明可能性のために)プロトタイプ層に依存している。
商用グレードのデータセットに基づいて、LEXNetは最先端のニューラルネットワークと同じ精度を維持することに成功した。
論文 参考訳（メタデータ） (2022-02-11T10:21:34Z) - Subquadratic Overparameterization for Shallow Neural Networks [60.721751363271146]
私たちは、標準的なニューラルトレーニング戦略を採用することができる分析フレームワークを提供しています。
我々は、Desiderata viaak-Lojasiewicz, smoothness, and standard assumptionsを達成する。
論文 参考訳（メタデータ） (2021-11-02T20:24:01Z) - Rapid training of deep neural networks without skip connections or
normalization layers using Deep Kernel Shaping [46.083745557823164]
我々は、深層ネットワークに存在する主な病理組織を特定し、それらが高速にトレーニングされ、目に見えないデータに一般化されるのを防ぐ。
本稿では,ネットワークのカーネル関数の「形状」を慎重に制御することで,これらを回避する方法を示す。
論文 参考訳（メタデータ） (2021-10-05T00:49:36Z) - Enabling certification of verification-agnostic networks via
memory-efficient semidefinite programming [97.40955121478716]
本稿では,ネットワークアクティベーションの総数にのみ線形なメモリを必要とする一階二重SDPアルゴリズムを提案する。
L-inf の精度は 1% から 88% ,6% から 40% に改善した。
また,変分オートエンコーダの復号器に対する2次安定性仕様の厳密な検証を行った。
論文 参考訳（メタデータ） (2020-10-22T12:32:29Z) - Weight Pruning via Adaptive Sparsity Loss [31.978830843036658]
近年、最先端のディープニューラルネットワークを圧縮する手段として、プルーニングニューラルネットワークが注目を集めている。
本稿では,ネットワークパラメータを最小限の計算オーバーヘッドで効率的に学習する頑健な学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-06-04T10:55:16Z) - Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。
標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
論文 参考訳（メタデータ） (2020-04-06T15:51:00Z) - Resolution Adaptive Networks for Efficient Inference [53.04907454606711]
本稿では,低分解能表現が「容易」な入力を分類するのに十分である,という直感に触発された新しいレゾリューション適応ネットワーク(RANet)を提案する。
RANetでは、入力画像はまず、低解像度表現を効率的に抽出する軽量サブネットワークにルーティングされる。
ネットワーク内の高解像度パスは、"ハード"サンプルを認識する能力を維持している。
論文 参考訳（メタデータ） (2020-03-16T16:54:36Z) - A Mean-field Analysis of Deep ResNet and Beyond: Towards Provable
Optimization Via Overparameterization From Depth [19.866928507243617]
勾配降下(SGD)を伴う深層ニューラルネットワークのトレーニングは、現実世界の風景でのトレーニング損失をゼロにすることが多い。
我々は,アラーがグローバルであるという意味で優れたトレーニングを享受する,無限大深部残差ネットワークの新たな限界を提案する。
論文 参考訳（メタデータ） (2020-03-11T20:14:47Z) - ReActNet: Towards Precise Binary Neural Network with Generalized
Activation Functions [76.05981545084738]
本稿では,新たな計算コストを伴わずに,実数値ネットワークからの精度ギャップを埋めるため,バイナリネットワークを強化するためのいくつかのアイデアを提案する。
まず,パラメータフリーのショートカットを用いて,コンパクトな実数値ネットワークを修正・バイナライズすることで,ベースラインネットワークを構築する。
提案したReActNetはすべての最先端技術よりも大きなマージンで優れていることを示す。
論文 参考訳（メタデータ） (2020-03-07T02:12:02Z) - Batch Normalization Biases Residual Blocks Towards the Identity Function
in Deep Networks [29.55745000070905]
バッチ正規化は、残留ネットワークの最大のトレーニング可能な深さを劇的に増加させる。
バッチ正規化は、スキップ接続に対する残留分岐をダウンスケールすることを示す。
バッチ正規化ネットワークは、より大きな学習率でトレーニングできるが、この効果は特定の計算方式でのみ有用であることを示す。
論文 参考訳（メタデータ） (2020-02-24T18:43:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。