論文の概要: Which Frequencies do CNNs Need? Emergent Bottleneck Structure in Feature
Learning
- arxiv url: http://arxiv.org/abs/2402.08010v1
- Date: Mon, 12 Feb 2024 19:18:50 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-14 17:56:26.622917
- Title: Which Frequencies do CNNs Need? Emergent Bottleneck Structure in Feature
Learning
- Title（参考訳）: CNNに必要な周波数は?
特徴学習における創発的ボトルネック構造
- Authors: Yuxiao Wen, Arthur Jacot
- Abstract要約: 本稿では,CNNにおけるConvolution Bottleneckの構造の出現について述べる。
ボトルネック内に保持される周波数の数と種類を記述したCBNランクを定義した。
パラメータノルムがほぼ最適である任意のネットワークは、両方の重みでCBN構造を示す。
- 参考スコア（独自算出の注目度）: 12.351756386062291
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We describe the emergence of a Convolution Bottleneck (CBN) structure in
CNNs, where the network uses its first few layers to transform the input
representation into a representation that is supported only along a few
frequencies and channels, before using the last few layers to map back to the
outputs. We define the CBN rank, which describes the number and type of
frequencies that are kept inside the bottleneck, and partially prove that the
parameter norm required to represent a function $f$ scales as depth times the
CBN rank $f$. We also show that the parameter norm depends at next order on the
regularity of $f$. We show that any network with almost optimal parameter norm
will exhibit a CBN structure in both the weights and - under the assumption
that the network is stable under large learning rate - the activations, which
motivates the common practice of down-sampling; and we verify that the CBN
results still hold with down-sampling. Finally we use the CBN structure to
interpret the functions learned by CNNs on a number of tasks.
- Abstract（参考訳）: 本稿では,cnnにおける畳み込みボトルネック(cbn)構造の出現について述べる。そこではネットワークは,入力表現を数個の周波数とチャネルに沿ってのみサポートされた表現に変換し,最後の数個のレイヤを出力にマッピングする。
ボトルネック内に保持される周波数の数と種類を記述した CBN ランクを定義し、関数 $f$ を表すのに必要なパラメータノルムが CBN ランク $f$ の深さ時間としてスケールすることを部分的に証明する。
また、パラメータノルムは次の順序で$f$の正規性に依存することも示している。
ほぼ最適なパラメータノルムを持つネットワークはいずれもCBN構造を示し、大きな学習率でネットワークが安定しているという仮定のもと、ダウンサンプリングの一般的な実践を動機づけるアクティベーションが実現されることを示し、CBNの結果がダウンサンプリングで保たれていることを検証する。
最後に、CBN構造を用いて、CNNが多くのタスクで学んだ関数を解釈する。
関連論文リスト
- Chebyshev Feature Neural Network for Accurate Function Approximation [3.8769921482808116]
本稿では,関数を機械的精度まで近似できる新しいDeep Neural Networkアーキテクチャを提案する。
Chebyshev Feature Neural Network (CFNN)と呼ばれる新しい構造では、学習可能な周波数を持つChebyshev関数を最初の隠れ層として採用している。
論文 参考訳（メタデータ） (2024-09-27T20:41:17Z) - Multiscale Hodge Scattering Networks for Data Analysis [0.5243460995467895]
我々は,simplicial Complex上で測定された信号に対する新しい散乱ネットワークを提案し,これをemphMultiscale Hodge Scattering Networks (MHSNs)と呼ぶ。
我々の構成は、単純複体上の多スケール基底辞書、すなわち $kappa$-GHWT と $kappa$-HGLET に基づいている。
論文 参考訳（メタデータ） (2023-11-17T01:30:43Z) - What Can Be Learnt With Wide Convolutional Neural Networks? [69.55323565255631]
カーネルシステムにおける無限大の深層CNNについて検討する。
我々は,深部CNNが対象関数の空間スケールに適応していることを証明する。
我々は、別の深部CNNの出力に基づいて訓練された深部CNNの一般化誤差を計算して結論付ける。
論文 参考訳（メタデータ） (2022-08-01T17:19:32Z) - Towards a General Purpose CNN for Long Range Dependencies in
$\mathrm{N}$D [49.57261544331683]
構造変化のない任意の解像度,次元,長さのタスクに対して,連続的な畳み込みカーネルを備えた単一CNNアーキテクチャを提案する。
1$mathrmD$)とビジュアルデータ(2$mathrmD$)の幅広いタスクに同じCCNNを適用することで、我々のアプローチの汎用性を示す。
私たちのCCNNは競争力があり、検討されたすべてのタスクで現在の最先端を上回ります。
論文 参考訳（メタデータ） (2022-06-07T15:48:02Z) - Quantized convolutional neural networks through the lens of partial
differential equations [6.88204255655161]
畳み込みニューラルネットワーク(CNN)の量子化は、CNNの展開に伴う計算負担を軽減するための一般的なアプローチである。
本研究では、PDEに基づく視点と分析を用いて、量子化されたCNNを改善する方法について検討する。
論文 参考訳（メタデータ） (2021-08-31T22:18:52Z) - Sandwich Batch Normalization [96.2529041037824]
数行のコード変更しか行わないバッチ正規化(BN)の容易な改善であるSandwich Batch Normalization(SaBN)を提案する。
我々のSaBNはBNアフィン層を1つのサンドイッチアフィン層に分解し、複数の平行な独立したアフィン層でカスケードする。
4つのタスクにおいて,SaBNがドロップイン代替として有効であることを示す。
論文 参考訳（メタデータ） (2021-02-22T22:09:43Z) - MimicNorm: Weight Mean and Last BN Layer Mimic the Dynamic of Batch
Normalization [60.36100335878855]
ネットワークトレーニングにおける収束と効率を改善するために,MimicNormという新しい正規化手法を提案する。
我々は、神経核(NTK)理論を利用して、我々の重み付けが活性化を弱め、BN層のようなカオス状態にネットワークを移行することを証明する。
MimicNormは、ResNetsやShuffleNetのような軽量ネットワークなど、さまざまなネットワーク構造に対して同様の精度を実現し、約20%のメモリ消費を削減している。
論文 参考訳（メタデータ） (2020-10-19T07:42:41Z) - ACDC: Weight Sharing in Atom-Coefficient Decomposed Convolution [57.635467829558664]
我々は,CNNにおいて,畳み込みカーネル間の構造正則化を導入する。
我々はCNNがパラメータや計算量を劇的に減らして性能を維持していることを示す。
論文 参考訳（メタデータ） (2020-09-04T20:41:47Z) - Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。
標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
論文 参考訳（メタデータ） (2020-04-06T15:51:00Z) - How Does BN Increase Collapsed Neural Network Filters? [34.886702335022015]
フィルタ崩壊は、バッチ正規化(BN)と修正線形活性化関数(ReLU、Leaky ReLUなど)を持つディープニューラルネットワーク(DNN)でよく見られる。
本稿では, BN と同一の表現能力を持つポストシフト後の BN (psBN) を, トレーニング中に飽和した BN パラメータを再度トレーニングできる簡易かつ効果的な手法を提案する。
論文 参考訳（メタデータ） (2020-01-30T09:00:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。