論文の概要: Depthwise Separable Convolutions Allow for Fast and Memory-Efficient
Spectral Normalization
- arxiv url: http://arxiv.org/abs/2102.06496v1
- Date: Fri, 12 Feb 2021 12:55:42 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-15 13:24:30.047033
- Title: Depthwise Separable Convolutions Allow for Fast and Memory-Efficient
Spectral Normalization
- Title(参考訳): 高速かつメモリ効率の良いスペクトル正規化が可能な奥行き分離可能な畳み込み
- Authors: Christina Runkel, Christian Etmann, Michael M\"oller, Carola-Bibiane
Sch\"onlieb
- Abstract要約: 奥行き分離可能な畳み込みのスペクトル正規化の非常に単純な方法を提案する。
MobileNetV2 のような標準アーキテクチャを用いた画像分類タスクに対する手法の有効性を実証する。
- 参考スコア(独自算出の注目度): 1.1470070927586016
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: An increasing number of models require the control of the spectral norm of
convolutional layers of a neural network. While there is an abundance of
methods for estimating and enforcing upper bounds on those during training,
they are typically costly in either memory or time. In this work, we introduce
a very simple method for spectral normalization of depthwise separable
convolutions, which introduces negligible computational and memory overhead. We
demonstrate the effectiveness of our method on image classification tasks using
standard architectures like MobileNetV2.
- Abstract(参考訳): モデルの増加は、ニューラルネットワークの畳み込み層のスペクトル規範の制御を必要とする。
トレーニング中に上界を推定し、強制するための方法がたくさんあるが、一般的には記憶と時間の両方でコストがかかる。
本研究では、深度分離可能な畳み込みのスペクトル正規化のための非常に単純な方法を紹介し、無視可能な計算とメモリオーバーヘッドを導入する。
MobileNetV2 のような標準アーキテクチャを用いた画像分類タスクに対する手法の有効性を実証する。
関連論文リスト
- Globally Optimal Training of Neural Networks with Threshold Activation
Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。
ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文 参考訳(メタデータ) (2023-03-06T18:59:13Z) - Loop Unrolled Shallow Equilibrium Regularizer (LUSER) -- A
Memory-Efficient Inverse Problem Solver [26.87738024952936]
逆問題では、潜在的に破損し、しばしば不適切な測定結果から、いくつかの基本的な関心のシグナルを再構築することを目的としている。
浅い平衡正規化器(L)を用いたLUアルゴリズムを提案する。
これらの暗黙のモデルは、より深い畳み込みネットワークと同じくらい表現力があるが、トレーニング中にはるかにメモリ効率が良い。
論文 参考訳(メタデータ) (2022-10-10T19:50:37Z) - ZippyPoint: Fast Interest Point Detection, Description, and Matching
through Mixed Precision Discretization [71.91942002659795]
我々は,ネットワーク量子化技術を用いて推論を高速化し,計算限定プラットフォームでの利用を可能にする。
バイナリディスクリプタを用いた効率的な量子化ネットワークZippyPointは,ネットワーク実行速度,ディスクリプタマッチング速度,3Dモデルサイズを改善する。
これらの改善は、ホモグラフィー推定、視覚的ローカライゼーション、マップフリーな視覚的再ローカライゼーションのタスクで評価されるように、小さなパフォーマンス劣化をもたらす。
論文 参考訳(メタデータ) (2022-03-07T18:59:03Z) - Subquadratic Overparameterization for Shallow Neural Networks [60.721751363271146]
私たちは、標準的なニューラルトレーニング戦略を採用することができる分析フレームワークを提供しています。
我々は、Desiderata viaak-Lojasiewicz, smoothness, and standard assumptionsを達成する。
論文 参考訳(メタデータ) (2021-11-02T20:24:01Z) - Rapid training of deep neural networks without skip connections or
normalization layers using Deep Kernel Shaping [46.083745557823164]
我々は、深層ネットワークに存在する主な病理組織を特定し、それらが高速にトレーニングされ、目に見えないデータに一般化されるのを防ぐ。
本稿では,ネットワークのカーネル関数の「形状」を慎重に制御することで,これらを回避する方法を示す。
論文 参考訳(メタデータ) (2021-10-05T00:49:36Z) - Fast Approximate Spectral Normalization for Robust Deep Neural Networks [3.5027291542274357]
本稿ではフーリエ変換と層分離に基づくスペクトル正規化の近似アルゴリズムを提案する。
我々のフレームワークは、最先端のスペクトル正規化と比較して、時間効率(60%)とモデル頑健(平均61%)の両方を著しく改善することができる。
論文 参考訳(メタデータ) (2021-03-22T15:35:45Z) - Convolutional Normalization: Improving Deep Convolutional Network
Robustness and Training [44.66478612082257]
現代畳み込みニューラルネットワーク(convnets)では正規化技術が基本成分となっている
フーリエ領域における畳み込み構造を完全に活用できるシンプルで効率的な畳み込み正規化法を導入する。
畳み込み正規化は、重み行列の層単位でのスペクトルノルムを減少させ、ネットワークのリプシッツ性を改善することができることを示す。
論文 参考訳(メタデータ) (2021-03-01T00:33:04Z) - Applications of Koopman Mode Analysis to Neural Networks [52.77024349608834]
我々は,ニューラルネットワークのトレーニング過程を,高次元の重み空間に作用する力学系と考える。
アーキテクチャに必要なレイヤ数を決定するために、Koopmanスペクトルをどのように利用できるかを示す。
また、Koopmanモードを使えば、ネットワークを選択的にプーンしてトレーニング手順を高速化できることを示す。
論文 参考訳(メタデータ) (2020-06-21T11:00:04Z) - Optimization Theory for ReLU Neural Networks Trained with Normalization
Layers [82.61117235807606]
ディープニューラルネットワークの成功は、部分的には正規化レイヤの使用によるものだ。
我々の分析は、正規化の導入がランドスケープをどのように変化させ、より高速なアクティベーションを実現するかを示している。
論文 参考訳(メタデータ) (2020-06-11T23:55:54Z) - Evolving Normalization-Activation Layers [100.82879448303805]
我々は、うまく機能しない候補層を迅速にフィルタリングする効率的な拒絶プロトコルを開発した。
EvoNormsは、新しい正規化活性化層であり、新しい構造を持ち、時には驚くべき構造を持つ。
我々の実験は、EvoNormsがResNets、MobileNets、EfficientNetsなどの画像分類モデルでうまく機能していることを示している。
論文 参考訳(メタデータ) (2020-04-06T19:52:48Z) - Learning Memory-guided Normality for Anomaly Detection [33.77435699029528]
本稿では,異常検出に対する教師なし学習手法を提案する。
また,メモリをトレーニングするための特徴量と分離性損失を新たに提示し,メモリアイテムの識別能力と通常のデータからの深い学習能力を高める。
論文 参考訳(メタデータ) (2020-03-30T05:30:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。