論文の概要: What do neural networks learn in image classification? A frequency shortcut perspective

• arxiv url: http://arxiv.org/abs/2307.09829v2
• Date: Wed, 30 Aug 2023 10:19:02 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-31 16:31:30.094827
• Title: What do neural networks learn in image classification? A frequency shortcut perspective
• Title（参考訳）: ニューラルネットワークは画像分類で何を学ぶか? 周波数ショートカットの視点から
• Authors: Shunxin Wang, Raymond Veldhuis, Christoph Brune, Nicola Strisciuglio
• Abstract要約: 本研究では,ニューラルネットワーク(NN)における周波数ショートカットの学習力学を実験的に研究する。 NNは、分類のための単純な解を見つける傾向があり、訓練中に最初に何を学ぶかは、最も特徴的な周波数特性に依存する。 本稿では,クラスワイズ周波数特性を測定するための指標と,周波数ショートカットの同定方法を提案する。
• 参考スコア（独自算出の注目度）: 3.9858496473361402
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Frequency analysis is useful for understanding the mechanisms of representation learning in neural networks (NNs). Most research in this area focuses on the learning dynamics of NNs for regression tasks, while little for classification. This study empirically investigates the latter and expands the understanding of frequency shortcuts. First, we perform experiments on synthetic datasets, designed to have a bias in different frequency bands. Our results demonstrate that NNs tend to find simple solutions for classification, and what they learn first during training depends on the most distinctive frequency characteristics, which can be either low- or high-frequencies. Second, we confirm this phenomenon on natural images. We propose a metric to measure class-wise frequency characteristics and a method to identify frequency shortcuts. The results show that frequency shortcuts can be texture-based or shape-based, depending on what best simplifies the objective. Third, we validate the transferability of frequency shortcuts on out-of-distribution (OOD) test sets. Our results suggest that frequency shortcuts can be transferred across datasets and cannot be fully avoided by larger model capacity and data augmentation. We recommend that future research should focus on effective training schemes mitigating frequency shortcut learning.
• Abstract（参考訳）: 周波数分析は、ニューラルネットワーク(NN)における表現学習のメカニズムを理解するのに有用である。 この領域のほとんどの研究は、回帰タスクのためのnnsの学習ダイナミクスに焦点を当てているが、分類は少ない。 本研究は,後者を実験的に検討し,周波数ショートカットの理解を深める。 まず、異なる周波数帯域に偏りを持つように設計された合成データセットの実験を行う。 この結果から,NNは分類の簡単な解を見つける傾向があり,訓練中に最初に学習するものは,低頻度または高頻度の周波数特性に依存することがわかった。 次に,この現象を自然画像上で確認する。 クラスワイズ周波数特性を測定するための指標と周波数ショートカットの同定方法を提案する。 その結果, 周波数ショートカットはテクスチャベースあるいは形状ベースであり, 目的を最も単純化する方法によって異なることがわかった。 第3に,out-of-distribution (ood) テストセットにおける周波数ショートカットの転送可能性を検証する。 以上の結果から,周波数ショートカットはデータセット間で転送可能であり,モデルキャパシティとデータ拡張によって完全に回避できないことが示唆された。 今後の研究は、頻度ショートカット学習を緩和する効果的なトレーニングスキームに着目することを推奨する。

関連論文リスト

• Towards Combating Frequency Simplicity-biased Learning for Domain Generalization [36.777767173275336]
  ドメイン一般化手法は、未知のターゲットドメインによく一般化できるソースドメインから、転送可能な知識を学習することを目的としている。 近年の研究では、ニューラルネットワークはしばしば、特定の周波数セットに対する過度な信頼につながる単純さに偏った学習行動に悩まされていることが示されている。 本稿では,データセットの周波数特性を協調的かつ適応的に調整する2つの効果的なデータ拡張モジュールを提案する。
  論文  参考訳（メタデータ） (2024-10-21T16:17:01Z)
• Frequency-Aware Deepfake Detection: Improving Generalizability through Frequency Space Learning [81.98675881423131]
  この研究は、目に見えないディープフェイク画像を効果的に識別できるユニバーサルディープフェイク検出器を開発するという課題に対処する。 既存の周波数ベースのパラダイムは、偽造検出のためにGANパイプラインのアップサンプリング中に導入された周波数レベルのアーティファクトに依存している。 本稿では、周波数領域学習を中心にしたFreqNetと呼ばれる新しい周波数認識手法を導入し、ディープフェイク検出器の一般化性を高めることを目的とする。
  論文  参考訳（メタデータ） (2024-03-12T01:28:00Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• A Scalable Walsh-Hadamard Regularizer to Overcome the Low-degree Spectral Bias of Neural Networks [79.28094304325116]
  任意の関数を学習するニューラルネットワークの能力にもかかわらず、勾配降下によって訓練されたモデルは、しばしばより単純な関数に対するバイアスを示す。 我々は、この低度周波数に対するスペクトルバイアスが、現実のデータセットにおけるニューラルネットワークの一般化を実際にいかに損なうかを示す。 本稿では,ニューラルネットワークによる高次周波数学習を支援する,スケーラブルな機能正規化手法を提案する。
  論文  参考訳（メタデータ） (2023-05-16T20:06:01Z)
• Properties and Potential Applications of Random Functional-Linked Types of Neural Networks [81.56822938033119]
  ランダム関数リンクニューラルネットワーク(RFLNN)は、深い構造を学習する別の方法を提供する。 本稿では周波数領域の観点からRFLNNの特性について考察する。 本稿では,より優れた性能でBLSネットワークを生成する手法を提案し,ポゾン方程式を解くための効率的なアルゴリズムを設計する。
  論文  参考訳（メタデータ） (2023-04-03T13:25:22Z)
• Frequency Dropout: Feature-Level Regularization via Randomized Filtering [24.53978165468098]
  深層畳み込みニューラルネットワークは、トレーニング信号から急激な相関を拾うことができる。 本稿では、畳み込みニューラルネットワークが周波数固有の画像特徴を学習するのを防ぐためのトレーニング戦略である周波数ドロップアウトを提案する。 提案手法は,予測精度の向上だけでなく,ドメインシフトに対する堅牢性の向上も示唆している。
  論文  参考訳（メタデータ） (2022-09-20T16:42:21Z)
• Understanding robustness and generalization of artificial neural networks through Fourier masks [8.94889125739046]
  近年の文献では、画像の低周波処理には、優れた一般化特性を持つロバストネットワークが偏っていることが示唆されている。 トレーニングされたネットワークの性能を維持するのに必要な入力周波数を強調した変調マスクを学習するアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2022-03-16T17:32:00Z)
• The Spectral Bias of Polynomial Neural Networks [63.27903166253743]
  PNN(Polynomial Neural Network)は、高頻度情報を重要視する画像生成と顔認識に特に有効であることが示されている。 これまでの研究では、ニューラルネットワークが低周波関数に対して$textitspectral bias$を示しており、トレーニング中に低周波成分のより高速な学習をもたらすことが示されている。 このような研究に触発されて、我々はPNNのTangent Kernel(NTK)のスペクトル分析を行う。 我々は、最近提案されたPNNのパラメトリゼーションである$Pi$-Netファミリがスピードアップすることを発見した。
  論文  参考訳（メタデータ） (2022-02-27T23:12:43Z)
• Rethinking Nearest Neighbors for Visual Classification [56.00783095670361]
  k-NNは、トレーニングセット内のテストイメージとトップk隣人間の距離を集約する遅延学習手法である。 我々は,教師付き手法と自己監督型手法のいずれでも,事前学習した視覚表現を持つk-NNを2つのステップで採用する。 本研究は,幅広い分類タスクに関する広範な実験により,k-NN統合の汎用性と柔軟性を明らかにした。
  論文  参考訳（メタデータ） (2021-12-15T20:15:01Z)
• Robust Learning with Frequency Domain Regularization [1.370633147306388]
  モデルのフィルタの周波数スペクトルを制約し,新しい正規化手法を提案する。 本研究では,(1)対向的摂動を抑えること,(2)異なるアーキテクチャにおける一般化のギャップを小さくすること,(3)微調整を伴わない伝達学習シナリオにおける一般化能力を向上させることによる正規化の有効性を実証する。
  論文  参考訳（メタデータ） (2020-07-07T07:29:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。