Fugu-MT 論文翻訳(概要): Testing predictions of representation cost theory with CNNs

論文の概要: Testing predictions of representation cost theory with CNNs

arxiv url: http://arxiv.org/abs/2210.01257v3
Date: Tue, 26 Sep 2023 03:09:25 GMT
ステータス: 処理完了
システム内更新日: 2023-09-27 18:25:16.174276
Title: Testing predictions of representation cost theory with CNNs
Title（参考訳）: CNNを用いた表現コスト理論の検証
Authors: Charles Godfrey, Elise Bishoff, Myles Mckay, Davis Brown, Grayson Jorgenson, Henry Kvinge and Eleanor Byler
Abstract要約: 我々は、訓練された畳み込みニューラルネットワーク(CNN)が周波数の異なる信号に対して異なる感度を持つことを示す。これは自然画像の周波数分布の結果であり、その電力の大部分は低中間周波数に集中していることが知られている。
参考スコア（独自算出の注目度）: 5.816527700115096
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: It is widely acknowledged that trained convolutional neural networks (CNNs) have different levels of sensitivity to signals of different frequency. In particular, a number of empirical studies have documented CNNs sensitivity to low-frequency signals. In this work we show with theory and experiments that this observed sensitivity is a consequence of the frequency distribution of natural images, which is known to have most of its power concentrated in low-to-mid frequencies. Our theoretical analysis relies on representations of the layers of a CNN in frequency space, an idea that has previously been used to accelerate computations and study implicit bias of network training algorithms, but to the best of our knowledge has not been applied in the domain of model robustness.
Abstract（参考訳）: 訓練された畳み込みニューラルネットワーク(CNN)は、周波数の異なる信号に対する感度のレベルが異なることが広く認識されている。特に、多くの実証研究が低周波信号に対するCNNの感度を記録している。本研究では,この観測感度が自然画像の周波数分布の結果であることを示す理論と実験を行い,そのパワーのほとんどが低から中程度の周波数に集中していることを示した。我々の理論解析は、ネットワークトレーニングアルゴリズムの計算を加速し、暗黙のバイアスを研究するためにこれまで用いられてきたcnnの層を周波数空間で表現することに依存しているが、モデルロバストネスの領域では、我々の知識の最良の部分は適用されていない。

関連論文リスト

A rationale from frequency perspective for grokking in training neural network [7.264378254137811]
グロキング(Grokking)は、ニューラルネットワークNNがトレーニングデータに最初に適合し、後にトレーニング中にテストデータに一般化する現象である。本稿では,NNにおけるこの現象の出現を説明するための周波数視点を実証的に提示する。
論文参考訳（メタデータ） (2024-05-24T06:57:23Z)
Understanding the dynamics of the frequency bias in neural networks [0.0]
近年の研究では、従来のニューラルネットワーク(NN)アーキテクチャは学習プロセスにおいて顕著な周波数バイアスを示すことが示されている。 2層NNの誤差の周波数ダイナミクスを明らかにする偏微分方程式(PDE)を開発した。実験により、同じ原理が多層NNに拡張されていることを示す。
論文参考訳（メタデータ） (2024-05-23T18:09:16Z)
Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
論文参考訳（メタデータ） (2023-10-02T03:25:32Z)
How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文参考訳（メタデータ） (2023-06-04T08:53:27Z)
A Scalable Walsh-Hadamard Regularizer to Overcome the Low-degree Spectral Bias of Neural Networks [79.28094304325116]
任意の関数を学習するニューラルネットワークの能力にもかかわらず、勾配降下によって訓練されたモデルは、しばしばより単純な関数に対するバイアスを示す。我々は、この低度周波数に対するスペクトルバイアスが、現実のデータセットにおけるニューラルネットワークの一般化を実際にいかに損なうかを示す。本稿では,ニューラルネットワークによる高次周波数学習を支援する,スケーラブルな機能正規化手法を提案する。
論文参考訳（メタデータ） (2023-05-16T20:06:01Z)
Frequency and Scale Perspectives of Feature Extraction [5.081561820537235]
ニューラルネットワークの周波数とスケールに対する感度を分析する。ニューラルネットワークは低周波と中周波のバイアスを持つが、異なるクラスに対して異なる周波数帯域を好む。これらの観察により、ニューラルネットワークは様々なスケールと周波数で特徴を抽出する能力を学ぶ必要があるという仮説が導かれる。
論文参考訳（メタデータ） (2023-02-24T06:37:36Z)
Momentum Diminishes the Effect of Spectral Bias in Physics-Informed Neural Networks [72.09574528342732]
物理インフォームドニューラルネットワーク(PINN)アルゴリズムは、偏微分方程式(PDE)を含む幅広い問題を解く上で有望な結果を示している。彼らはしばしば、スペクトルバイアスと呼ばれる現象のために、ターゲット関数が高周波の特徴を含むとき、望ましい解に収束しない。本研究は, 運動量による勾配降下下で進化するPINNのトレーニングダイナミクスを, NTK(Neural Tangent kernel)を用いて研究するものである。
論文参考訳（メタデータ） (2022-06-29T19:03:10Z)
The Spectral Bias of Polynomial Neural Networks [63.27903166253743]
PNN(Polynomial Neural Network)は、高頻度情報を重要視する画像生成と顔認識に特に有効であることが示されている。これまでの研究では、ニューラルネットワークが低周波関数に対して$textitspectral bias$を示しており、トレーニング中に低周波成分のより高速な学習をもたらすことが示されている。このような研究に触発されて、我々はPNNのTangent Kernel(NTK)のスペクトル分析を行う。我々は、最近提案されたPNNのパラメトリゼーションである$Pi$-Netファミリがスピードアップすることを発見した。
論文参考訳（メタデータ） (2022-02-27T23:12:43Z)
Deep Networks for Direction-of-Arrival Estimation in Low SNR [89.45026632977456]
我々は,真の配列多様体行列の変異チャネルデータから学習した畳み込みニューラルネットワーク(CNN)を導入する。我々は低SNR体制でCNNを訓練し、すべてのSNRでDoAを予測する。私たちの堅牢なソリューションは、ワイヤレスアレイセンサーから音響マイクロフォンやソナーまで、いくつかの分野に適用できます。
論文参考訳（メタデータ） (2020-11-17T12:52:18Z)
The use of Convolutional Neural Networks for signal-background classification in Particle Physics experiments [0.4301924025274017]
広範に畳み込み型ニューラルアーキテクチャ探索を行い,HEP分類のための信号/背景識別を高精度に行う。パラメータが少ないCNNで複雑なResNetアーキテクチャと同じ精度を実現できることを示す。
論文参考訳（メタデータ） (2020-02-13T19:54:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。