論文の概要: Dense Pruning of Pointwise Convolutions in the Frequency Domain
- arxiv url: http://arxiv.org/abs/2109.07707v1
- Date: Thu, 16 Sep 2021 04:02:45 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-18 02:11:13.364306
- Title: Dense Pruning of Pointwise Convolutions in the Frequency Domain
- Title（参考訳）: 周波数領域におけるポイントワイズ畳み込みの高密度プルーニング
- Authors: Mark Buckler, Neil Adit, Yuwei Hu, Zhiru Zhang, and Adrian Sampson
- Abstract要約: 本研究では,各点層を離散コサイン変換(DCT)でラップする手法を提案する。
スパース演算子に依存する重み打ち法とは異なり、連続周波数帯打ち法は完全な密度計算をもたらす。
提案手法をMobileNetV2に適用することにより,計算時間を22%削減し,精度を1%向上させる。
- 参考スコア（独自算出の注目度）: 10.58456555092086
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Depthwise separable convolutions and frequency-domain convolutions are two
recent ideas for building efficient convolutional neural networks. They are
seemingly incompatible: the vast majority of operations in depthwise separable
CNNs are in pointwise convolutional layers, but pointwise layers use 1x1
kernels, which do not benefit from frequency transformation. This paper unifies
these two ideas by transforming the activations, not the kernels. Our key
insights are that 1) pointwise convolutions commute with frequency
transformation and thus can be computed in the frequency domain without
modification, 2) each channel within a given layer has a different level of
sensitivity to frequency domain pruning, and 3) each channel's sensitivity to
frequency pruning is approximately monotonic with respect to frequency. We
leverage this knowledge by proposing a new technique which wraps each pointwise
layer in a discrete cosine transform (DCT) which is truncated to selectively
prune coefficients above a given threshold as per the needs of each channel. To
learn which frequencies should be pruned from which channels, we introduce a
novel learned parameter which specifies each channel's pruning threshold. We
add a new regularization term which incentivizes the model to decrease the
number of retained frequencies while still maintaining task accuracy. Unlike
weight pruning techniques which rely on sparse operators, our contiguous
frequency band pruning results in fully dense computation. We apply our
technique to MobileNetV2 and in the process reduce computation time by 22% and
incur <1% accuracy degradation.
- Abstract（参考訳）: 離散的に分離可能な畳み込みと周波数領域畳み込みは、効率的な畳み込みニューラルネットワークを構築するための最近の2つのアイデアである。
深く分離可能なCNNの操作の大部分は、ポイントワイドの畳み込み層にあるが、ポイントワイドのレイヤは周波数変換の恩恵を受けない1x1カーネルを使用する。
本稿では、カーネルではなくアクティベーションを変換することで、これらの2つのアイデアを統一する。
私たちの重要な洞察は
1) 点別畳み込みは周波数変換により可換であり, 周波数領域では修正せずに計算できる。
2)所定の層内の各チャネルは周波数領域プルーニングに対する感度のレベルが異なる。
3) 各チャネルの周波数プルーニングに対する感度は周波数に対してほぼ単調である。
我々は、各チャネルのニーズに応じて、与えられた閾値以上の係数を選択的にプーンするために切り離された離散コサイン変換(DCT)で各ポイントワイド層をラップする新しい手法を提案する。
各チャネルの刈り込みしきい値を指定する新しい学習パラメータを導入することで、どのチャネルからどの周波数を刈り取るべきかを学習する。
タスク精度を維持しつつ、保持周波数数を減少させるモデルにインセンティブを与える新しい正規化項を追加する。
スパース演算子に依存する重み打ち法とは異なり、連続周波数帯打ち法は完全な密度計算をもたらす。
提案手法をMobileNetV2に適用することにより,計算時間を22%削減し,精度を1%向上させる。
関連論文リスト
- Accelerating Inference of Networks in the Frequency Domain [8.125023712173686]
本稿では,周波数パラメータが疎いネットワークを高速化するために,周波数領域におけるネットワーク推論を提案する。
特に、空間領域におけるネットワーク推論に双対な周波数推論連鎖を提案する。
提案手法は,高速比(100倍以上)の場合の精度を著しく向上させる。
論文 参考訳（メタデータ） (2024-10-06T03:34:38Z) - A Scalable Walsh-Hadamard Regularizer to Overcome the Low-degree
Spectral Bias of Neural Networks [79.28094304325116]
任意の関数を学習するニューラルネットワークの能力にもかかわらず、勾配降下によって訓練されたモデルは、しばしばより単純な関数に対するバイアスを示す。
我々は、この低度周波数に対するスペクトルバイアスが、現実のデータセットにおけるニューラルネットワークの一般化を実際にいかに損なうかを示す。
本稿では,ニューラルネットワークによる高次周波数学習を支援する,スケーラブルな機能正規化手法を提案する。
論文 参考訳（メタデータ） (2023-05-16T20:06:01Z) - Transform Once: Efficient Operator Learning in Frequency Domain [69.74509540521397]
本研究では、周波数領域の構造を利用して、空間や時間における長距離相関を効率的に学習するために設計されたディープニューラルネットワークについて検討する。
この研究は、単一変換による周波数領域学習のための青写真を導入している。
論文 参考訳（メタデータ） (2022-11-26T01:56:05Z) - Adaptive Frequency Learning in Two-branch Face Forgery Detection [66.91715092251258]
本稿では、AFDと呼ばれる2分岐検出フレームワークにおいて、周波数情報を適応的に学習する手法を提案する。
我々は、固定周波数変換からネットワークを解放し、データおよびタスク依存の変換層でより良いパフォーマンスを達成する。
論文 参考訳（メタデータ） (2022-03-27T14:25:52Z) - Group Fisher Pruning for Practical Network Compression [58.25776612812883]
本稿では,様々な複雑な構造に応用可能な汎用チャネルプルーニング手法を提案する。
我々は、単一チャネルと結合チャネルの重要性を評価するために、フィッシャー情報に基づく統一されたメトリクスを導出する。
提案手法は,結合チャネルを含む任意の構造をプルークするために利用できる。
論文 参考訳（メタデータ） (2021-08-02T08:21:44Z) - SubSpectral Normalization for Neural Audio Data Processing [11.97844299450951]
入力周波数次元を複数のグループ(サブバンド)に分割し,各グループ毎に異なる正規化を行うサブスペクトル正規化(SSN)を導入する。
本手法は周波数認識特性を学習しながら周波数間偏向を除去する。
音声データを用いた実験では,SSNがネットワークの性能を効率的に向上できることがわかった。
論文 参考訳（メタデータ） (2021-03-25T05:55:48Z) - Learning Frequency Domain Approximation for Binary Neural Networks [68.79904499480025]
フーリエ周波数領域における符号関数の勾配を正弦関数の組み合わせを用いて推定し,BNNの訓練を行う。
いくつかのベンチマークデータセットとニューラルネットワークの実験により、この手法で学習したバイナリネットワークが最先端の精度を達成することが示されている。
論文 参考訳（メタデータ） (2021-03-01T08:25:26Z) - A Sub-band Approach to Deep Denoising Wavelet Networks and a
Frequency-adaptive Loss for Perceptual Quality [0.0]
ニューラルネットワークでDWTを使用するアプローチは、精度を顕著に向上することを示す。
第2の貢献は、周波数領域のエラーの上位kパーセントに基づくノイズ損失です。
論文 参考訳（メタデータ） (2021-02-16T06:35:42Z) - Frequency Gating: Improved Convolutional Neural Networks for Speech
Enhancement in the Time-Frequency Domain [37.722450363816144]
本稿では、CNNのカーネルの乗算重みを計算するために、周波数ゲーティングと呼ばれる手法を提案する。
スキップ接続を用いたオートエンコーダニューラルネットワークの実験では、局所的および周波数的にゲーティングの両方がベースラインを上回っている。
拡張短時間客観的インテリジェンススコア(ESTOI)に基づく損失関数を導入し、標準平均二乗誤差(MSE)損失関数より優れていることを示す。
論文 参考訳（メタデータ） (2020-11-08T22:04:00Z) - Robust Learning with Frequency Domain Regularization [1.370633147306388]
モデルのフィルタの周波数スペクトルを制約し,新しい正規化手法を提案する。
本研究では,(1)対向的摂動を抑えること,(2)異なるアーキテクチャにおける一般化のギャップを小さくすること,(3)微調整を伴わない伝達学習シナリオにおける一般化能力を向上させることによる正規化の有効性を実証する。
論文 参考訳（メタデータ） (2020-07-07T07:29:20Z) - Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。
標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
論文 参考訳（メタデータ） (2020-04-06T15:51:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。