Fugu-MT 論文翻訳(概要): Depthwise Separable Convolutions Allow for Fast and Memory-Efficient Spectral Normalization

論文の概要: Depthwise Separable Convolutions Allow for Fast and Memory-Efficient Spectral Normalization

arxiv url: http://arxiv.org/abs/2102.06496v1
Date: Fri, 12 Feb 2021 12:55:42 GMT
ステータス: 処理完了
システム内更新日: 2021-02-15 13:24:30.047033
Title: Depthwise Separable Convolutions Allow for Fast and Memory-Efficient Spectral Normalization
Title（参考訳）: 高速かつメモリ効率の良いスペクトル正規化が可能な奥行き分離可能な畳み込み
Authors: Christina Runkel, Christian Etmann, Michael M\"oller, Carola-Bibiane Sch\"onlieb
Abstract要約: 奥行き分離可能な畳み込みのスペクトル正規化の非常に単純な方法を提案する。 MobileNetV2 のような標準アーキテクチャを用いた画像分類タスクに対する手法の有効性を実証する。
参考スコア（独自算出の注目度）: 1.1470070927586016
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: An increasing number of models require the control of the spectral norm of convolutional layers of a neural network. While there is an abundance of methods for estimating and enforcing upper bounds on those during training, they are typically costly in either memory or time. In this work, we introduce a very simple method for spectral normalization of depthwise separable convolutions, which introduces negligible computational and memory overhead. We demonstrate the effectiveness of our method on image classification tasks using standard architectures like MobileNetV2.
Abstract（参考訳）: モデルの増加は、ニューラルネットワークの畳み込み層のスペクトル規範の制御を必要とする。トレーニング中に上界を推定し、強制するための方法がたくさんあるが、一般的には記憶と時間の両方でコストがかかる。本研究では、深度分離可能な畳み込みのスペクトル正規化のための非常に単純な方法を紹介し、無視可能な計算とメモリオーバーヘッドを導入する。 MobileNetV2 のような標準アーキテクチャを用いた画像分類タスクに対する手法の有効性を実証する。

関連論文リスト

LipKernel: Lipschitz-Bounded Convolutional Neural Networks via Dissipative Layers [0.0468732641979009]
本稿では,畳み込みニューラルネットワーク(CNN)の階層的パラメータ化を提案する。提案手法は,2次元ロエサー型状態空間モデルを用いて,散逸型畳み込みカーネルを直接パラメータ化する。提案手法を用いた実行時間は,最先端のリプシッツ有界ネットワークよりも桁違いに高速であることを示す。
論文参考訳（メタデータ） (2024-10-29T17:20:14Z)
Tight and Efficient Upper Bound on Spectral Norm of Convolutional Layers [0.0]
ヤコビ行列のスペクトルノルムの制御は、CNNの一般化、訓練安定性、堅牢性を改善することが示されている。既存の計算法では、入力やカーネルのサイズが大きくなるにつれて、その性能が急速に悪化する傾向にある。本稿では,4次元畳み込みカーネルのスペクトルノルムのテンソルバージョンが,畳み込み演算に関連するヤコビ行列のスペクトルノルムの上界として機能することを実証する。
論文参考訳（メタデータ） (2024-09-18T10:28:28Z)
Self-STORM: Deep Unrolled Self-Supervised Learning for Super-Resolution Microscopy [55.2480439325792]
我々は、シーケンス固有のモデルベースのオートエンコーダをトレーニングすることで、そのようなデータの必要性を軽減する、深層無学習の自己教師付き学習を導入する。提案手法は, 監視対象の性能を超過する。
論文参考訳（メタデータ） (2024-03-25T17:40:32Z)
Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文参考訳（メタデータ） (2023-03-06T18:59:13Z)
Loop Unrolled Shallow Equilibrium Regularizer (LUSER) -- A Memory-Efficient Inverse Problem Solver [26.87738024952936]
逆問題では、潜在的に破損し、しばしば不適切な測定結果から、いくつかの基本的な関心のシグナルを再構築することを目的としている。浅い平衡正規化器(L)を用いたLUアルゴリズムを提案する。これらの暗黙のモデルは、より深い畳み込みネットワークと同じくらい表現力があるが、トレーニング中にはるかにメモリ効率が良い。
論文参考訳（メタデータ） (2022-10-10T19:50:37Z)
Subquadratic Overparameterization for Shallow Neural Networks [60.721751363271146]
私たちは、標準的なニューラルトレーニング戦略を採用することができる分析フレームワークを提供しています。我々は、Desiderata viaak-Lojasiewicz, smoothness, and standard assumptionsを達成する。
論文参考訳（メタデータ） (2021-11-02T20:24:01Z)
Fast Approximate Spectral Normalization for Robust Deep Neural Networks [3.5027291542274357]
本稿ではフーリエ変換と層分離に基づくスペクトル正規化の近似アルゴリズムを提案する。我々のフレームワークは、最先端のスペクトル正規化と比較して、時間効率(60%)とモデル頑健(平均61%)の両方を著しく改善することができる。
論文参考訳（メタデータ） (2021-03-22T15:35:45Z)
Applications of Koopman Mode Analysis to Neural Networks [52.77024349608834]
我々は,ニューラルネットワークのトレーニング過程を,高次元の重み空間に作用する力学系と考える。アーキテクチャに必要なレイヤ数を決定するために、Koopmanスペクトルをどのように利用できるかを示す。また、Koopmanモードを使えば、ネットワークを選択的にプーンしてトレーニング手順を高速化できることを示す。
論文参考訳（メタデータ） (2020-06-21T11:00:04Z)
Optimization Theory for ReLU Neural Networks Trained with Normalization Layers [82.61117235807606]
ディープニューラルネットワークの成功は、部分的には正規化レイヤの使用によるものだ。我々の分析は、正規化の導入がランドスケープをどのように変化させ、より高速なアクティベーションを実現するかを示している。
論文参考訳（メタデータ） (2020-06-11T23:55:54Z)
Evolving Normalization-Activation Layers [100.82879448303805]
我々は、うまく機能しない候補層を迅速にフィルタリングする効率的な拒絶プロトコルを開発した。 EvoNormsは、新しい正規化活性化層であり、新しい構造を持ち、時には驚くべき構造を持つ。我々の実験は、EvoNormsがResNets、MobileNets、EfficientNetsなどの画像分類モデルでうまく機能していることを示している。
論文参考訳（メタデータ） (2020-04-06T19:52:48Z)
Learning Memory-guided Normality for Anomaly Detection [33.77435699029528]
本稿では,異常検出に対する教師なし学習手法を提案する。また,メモリをトレーニングするための特徴量と分離性損失を新たに提示し,メモリアイテムの識別能力と通常のデータからの深い学習能力を高める。
論文参考訳（メタデータ） (2020-03-30T05:30:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。