論文の概要: Frequency Regularization: Restricting Information Redundancy of
Convolutional Neural Networks
- arxiv url: http://arxiv.org/abs/2304.07973v1
- Date: Mon, 17 Apr 2023 03:32:29 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-18 16:22:12.284737
- Title: Frequency Regularization: Restricting Information Redundancy of
Convolutional Neural Networks
- Title（参考訳）: 周波数規則化:畳み込みニューラルネットワークの情報冗長性を制限する
- Authors: Chenqiu Zhao, Guanfang Dong, Shupei Zhang, Zijie Tan, Anup Basu
- Abstract要約: 畳み込みニューラルネットワークは多くのコンピュータビジョンタスクにおいて印象的な結果を示している。
これらのネットワークのサイズが大きくなると、ネットワークパラメータ内の情報冗長性に対する懸念が高まる。
本稿では周波数領域におけるネットワークパラメータの非ゼロ要素を制限するために周波数規則化を提案する。
- 参考スコア（独自算出の注目度）: 6.387263468033964
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Convolutional neural networks have demonstrated impressive results in many
computer vision tasks. However, the increasing size of these networks raises
concerns about the information redundancy within the network parameters. In
this paper, we proposed the Frequency Regularization to restrict the non-zero
elements of the network parameters in frequency domain. The proposed approach
operates at the tensor level, and can be applied to almost any kind of network
architectures. Specifically, the tensors of parameters are maintained in the
frequency domain, where high frequency components can be eliminated by zigzag
setting tensor elements to zero. Then, the inverse discrete cosine transform
(IDCT) is used to reconstruct the spatial tensors for matrix operations during
network training. Since high frequency components of images are known to be
non-critical, a large proportion of the parameters can be set to zero when
networks are trained with proposed frequency regularization. Comprehensive
evaluations on various state-of-the-art network architectures, including LeNet,
Alexnet, VGG, Resnet, UNet, GAN, and VAE, demonstrate the effectiveness of the
proposed frequency regularization. Under the condition with tiny accuracy
decrease (less than 2\%), a LeNet5 with 0.4M parameters can be represented by
776 float16 numbers(over 1100$\times$), a UNet with 34M parameters can be
represented by 2936 float16 numbers (over 20000$\times$).
- Abstract（参考訳）: 畳み込みニューラルネットワークは多くのコンピュータビジョンタスクで印象的な結果を示している。
しかし,これらのネットワークのサイズが大きくなると,ネットワークパラメータ内の情報冗長性が懸念される。
本稿では、周波数領域におけるネットワークパラメータの非零要素を制限する周波数正規化を提案する。
提案手法はテンソルレベルで動作し、ほぼあらゆる種類のネットワークアーキテクチャに適用できる。
特に、パラメータのテンソルは周波数領域で維持され、zigzagがテンソル要素をゼロにすることで高周波成分を除去できる。
次に、逆離散コサイン変換(IDCT)を用いて、ネットワークトレーニング中の行列演算のための空間テンソルを再構成する。
画像の高周波成分は重要でないことが知られているため、ネットワークが提案された周波数正規化で訓練された場合、パラメータの大部分がゼロに設定できる。
LeNet,Alexnet,VGG,Resnet,UNet,GAN,VAEといった最先端ネットワークアーキテクチャに関する総合的な評価は,提案した周波数正規化の有効性を示す。
精度が2\%未満の条件では、0.4mのパラメータを持つlenet5は776float16(1100$\times$)で表され、34mのパラメータを持つunetは2936float16(20000$\times$)で表される。
関連論文リスト
- Accelerating Inference of Networks in the Frequency Domain [8.125023712173686]
本稿では,周波数パラメータが疎いネットワークを高速化するために,周波数領域におけるネットワーク推論を提案する。
特に、空間領域におけるネットワーク推論に双対な周波数推論連鎖を提案する。
提案手法は,高速比(100倍以上)の場合の精度を著しく向上させる。
論文 参考訳（メタデータ） (2024-10-06T03:34:38Z) - Efficient View Synthesis with Neural Radiance Distribution Field [61.22920276806721]
我々は,リアルタイムに効率的なビュー合成を目標とするニューラルレージアンス分布場(NeRDF)という新しい表現を提案する。
我々は、NeLFのように1ピクセル当たりの1つのネットワーク転送でレンダリング速度を保ちながら、NeRFに似た小さなネットワークを使用する。
実験の結果,提案手法は既存の手法よりも速度,品質,ネットワークサイズとのトレードオフが良好であることがわかった。
論文 参考訳（メタデータ） (2023-08-22T02:23:28Z) - A Scalable Walsh-Hadamard Regularizer to Overcome the Low-degree
Spectral Bias of Neural Networks [79.28094304325116]
任意の関数を学習するニューラルネットワークの能力にもかかわらず、勾配降下によって訓練されたモデルは、しばしばより単純な関数に対するバイアスを示す。
我々は、この低度周波数に対するスペクトルバイアスが、現実のデータセットにおけるニューラルネットワークの一般化を実際にいかに損なうかを示す。
本稿では,ニューラルネットワークによる高次周波数学習を支援する,スケーラブルな機能正規化手法を提案する。
論文 参考訳（メタデータ） (2023-05-16T20:06:01Z) - Frequency Disentangled Residual Network [11.388328269522006]
ResNet(Residual Networks)は様々なコンピュータビジョンや画像処理アプリケーションに利用されている。
残留ブロックは、トレーニング可能なパラメータを持つ少数の畳み込み層で構成され、過度に適合する。
これらの問題に対処するために、周波数不整合残差ネットワーク(FDResNet)を提案する。
論文 参考訳（メタデータ） (2021-09-26T10:52:18Z) - DS-Net++: Dynamic Weight Slicing for Efficient Inference in CNNs and
Transformers [105.74546828182834]
本稿では,様々な難易度を持つ入力に対して,ネットワークパラメータの一部を適応的にスライスする動的ウェイトスライシングという,ハードウェア効率のよい動的推論方式を示す。
我々は、CNNのフィルタ数とCNNと変換器の多重次元を入力依存的に調整することで、動的スライム可能なネットワーク(DS-Net)と動的スライス可能なネットワーク(DS-Net++)を提案する。
論文 参考訳（メタデータ） (2021-09-21T09:57:21Z) - Model Pruning Based on Quantified Similarity of Feature Maps [5.271060872578571]
3次元テンソルに冗長な情報を見つけるための新しい理論を提案する。
この理論を畳み込みニューラルネットワークを駆使して推論速度を向上させる。
論文 参考訳（メタデータ） (2021-05-13T02:57:30Z) - Learning Frequency-aware Dynamic Network for Efficient Super-Resolution [56.98668484450857]
本稿では、離散コサイン変換(dct)領域の係数に応じて入力を複数の部分に分割する新しい周波数認識動的ネットワークについて検討する。
実際、高周波部は高価な操作で処理され、低周波部は計算負荷を軽減するために安価な操作が割り当てられる。
ベンチマークSISRモデルおよびデータセット上での実験は、周波数認識動的ネットワークが様々なSISRニューラルネットワークに使用できることを示している。
論文 参考訳（メタデータ） (2021-03-15T12:54:26Z) - ThriftyNets : Convolutional Neural Networks with Tiny Parameter Budget [4.438259529250529]
我々はThriftyNetと呼ばれる新しい畳み込みニューラルネットワークアーキテクチャを提案する。
ThriftyNetでは、1つの畳み込み層のみが再帰的に定義され、最大パラメータの分解に繋がる。
我々は、CIFAR-10で40K未満のパラメータで91%以上の精度で、CIFAR-100で74.3%のパラメータで600K未満のパラメータで競争性能を達成した。
論文 参考訳（メタデータ） (2020-07-20T13:50:51Z) - Efficient Integer-Arithmetic-Only Convolutional Neural Networks [87.01739569518513]
我々は従来のReLUを境界ReLUに置き換え、その減少は活性化量子化によるものであることを示す。
我々の整数ネットワークは、対応するFPNネットワークと同等の性能を発揮するが、メモリコストは1/4に過ぎず、最新のGPUでは2倍高速である。
論文 参考訳（メタデータ） (2020-06-21T08:23:03Z) - Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。
標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
論文 参考訳（メタデータ） (2020-04-06T15:51:00Z) - Learning in the Frequency Domain [20.045740082113845]
精度を損なわずに除去できる自明な周波数成分を同定する学習ベース周波数選択法を提案する。
実験の結果,静的チャネル選択を用いた周波数領域での学習は,従来の空間ダウンサンプリング手法よりも精度が高いことがわかった。
論文 参考訳（メタデータ） (2020-02-27T19:57:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。