論文の概要: Fourier Sensitivity and Regularization of Computer Vision Models

• arxiv url: http://arxiv.org/abs/2301.13514v1
• Date: Tue, 31 Jan 2023 10:05:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2023-02-01 16:55:32.293979
• Title: Fourier Sensitivity and Regularization of Computer Vision Models
• Title（参考訳）: コンピュータビジョンモデルのフーリエ感度と正規化
• Authors: Kiran Krishnamachari, See-Kiong Ng, Chuan-Sheng Foo
• Abstract要約: 本稿では,ディープニューラルネットワークの周波数感度特性について,原理的アプローチを用いて検討する。 コンピュータビジョンモデルは、データセット、トレーニング方法、アーキテクチャに依存する特定の周波数に一貫して敏感であることがわかった。
• 参考スコア（独自算出の注目度）: 11.79852671537969
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Recent work has empirically shown that deep neural networks latch on to the Fourier statistics of training data and show increased sensitivity to Fourier-basis directions in the input. Understanding and modifying this Fourier-sensitivity of computer vision models may help improve their robustness. Hence, in this paper we study the frequency sensitivity characteristics of deep neural networks using a principled approach. We first propose a basis trick, proving that unitary transformations of the input-gradient of a function can be used to compute its gradient in the basis induced by the transformation. Using this result, we propose a general measure of any differentiable model's Fourier-sensitivity using the unitary Fourier-transform of its input-gradient. When applied to deep neural networks, we find that computer vision models are consistently sensitive to particular frequencies dependent on the dataset, training method and architecture. Based on this measure, we further propose a Fourier-regularization framework to modify the Fourier-sensitivities and frequency bias of models. Using our proposed regularizer-family, we demonstrate that deep neural networks obtain improved classification accuracy on robustness evaluations.
• Abstract（参考訳）: 近年の研究では、深層ニューラルネットワークがトレーニングデータのフーリエ統計にラッチし、入力のフーリエベイシス方向に対する感度が増大していることが実証されている。 コンピュータビジョンモデルのフーリエ感受性の理解と修正は、その堅牢性を改善するのに役立つかもしれない。 そこで本研究では,ニューラルネットワークの周波数感度特性を原理的手法を用いて検討する。 まず、関数の入力階調のユニタリ変換が変換によって引き起こされる基底の勾配を計算するのに有効であることを示す基礎的トリックを提案する。 この結果を用いて、入力勾配のユニタリフーリエ変換を用いた任意の微分可能なモデルのフーリエ感度の一般測度を提案する。 ディープニューラルネットワークに適用すると、コンピュータビジョンモデルはデータセット、トレーニング方法、アーキテクチャに依存する特定の周波数に一貫して敏感であることが分かる。 この尺度に基づき,モデルのフーリエ感性および周波数バイアスを修正するためのフーリエ正規化フレームワークも提案する。 提案する正規化器ファミリを用いて,ニューラルネットワークのロバスト性評価における分類精度の向上を実証する。

関連論文リスト

• Self-Supervised Learning via Flow-Guided Neural Operator on Time-Series Data [57.85958428020496]
  Flow-Guided Neural Operator (FGNO)は、演算子学習とフローマッチングを組み合わせた新しいフレームワークである。 FGNOは、短時間フーリエ変換を用いて関数空間のマッピングを学習し、異なる時間分解能を統一する。 推論中にノイズのある入力を使用する以前の生成SSL法とは異なり、ノイズのある表現を学習しながら、クリーンな入力を用いて表現抽出を行う。
  論文  参考訳（メタデータ） (2026-02-12T18:54:57Z)
• Improving Variational Autoencoder using Random Fourier Transformation: An Aviation Safety Anomaly Detection Case-Study [0.11666234644810891]
  我々は、ランダムフーリエ変換(RFT)を用いたディープニューラルネットワーク(DNN)のトレーニングプロセスと推論改善に焦点を当てる。 RFTを用いたモデルでは低周波と高周波を同時に学習するのに対し、従来のDNNでは低周波から始めて、高周波の特徴を徐々に学習する(成功すれば)。 データ表現のための2つの低次元合成データセットと、再構成に基づく異常検出のためのDashlinkと呼ばれる航空安全データセットでこの結果を示す。
  論文  参考訳（メタデータ） (2026-01-03T00:56:14Z)
• Iterative Training of Physics-Informed Neural Networks with Fourier-enhanced Features [7.1865646765394215]
  スペクトルバイアスは、ニューラルネットワークがまず低周波の特徴を学習する傾向にあるが、これはよく知られた問題である。 本稿では,Fourier-enhanced機能付きPINNの反復学習アルゴリズムであるIFeF-PINNを提案する。
  論文  参考訳（メタデータ） (2025-10-22T09:17:37Z)
• From Fourier to Neural ODEs: Flow Matching for Modeling Complex Systems [20.006163951844357]
  ニューラル常微分方程式(NODE)を学習するためのシミュレーション不要なフレームワークを提案する。 フーリエ解析を用いて、ノイズの多い観測データから時間的および潜在的高次空間勾配を推定する。 我々の手法は、トレーニング時間、ダイナミクス予測、堅牢性の観点から、最先端の手法よりも優れています。
  論文  参考訳（メタデータ） (2024-05-19T13:15:23Z)
• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Neural Network-Based Score Estimation in Diffusion Models: Optimization and Generalization [12.812942188697326]
  拡散モデルは、忠実さ、柔軟性、堅牢性を改善した高品質なサンプルを生成する際に、GANと競合する強力なツールとして登場した。 これらのモデルの主要な構成要素は、スコアマッチングを通じてスコア関数を学ぶことである。 様々なタスクにおいて経験的な成功にもかかわらず、勾配に基づくアルゴリズムが証明可能な精度でスコア関数を学習できるかどうかは不明である。
  論文  参考訳（メタデータ） (2024-01-28T08:13:56Z)
• A Scalable Walsh-Hadamard Regularizer to Overcome the Low-degree Spectral Bias of Neural Networks [79.28094304325116]
  任意の関数を学習するニューラルネットワークの能力にもかかわらず、勾配降下によって訓練されたモデルは、しばしばより単純な関数に対するバイアスを示す。 我々は、この低度周波数に対するスペクトルバイアスが、現実のデータセットにおけるニューラルネットワークの一般化を実際にいかに損なうかを示す。 本稿では,ニューラルネットワークによる高次周波数学習を支援する,スケーラブルな機能正規化手法を提案する。
  論文  参考訳（メタデータ） (2023-05-16T20:06:01Z)
• Simple initialization and parametrization of sinusoidal networks via their kernel bandwidth [92.25666446274188]
  従来の活性化機能を持つネットワークの代替として、活性化を伴う正弦波ニューラルネットワークが提案されている。 まず,このような正弦波ニューラルネットワークの簡易版を提案する。 次に、ニューラルタンジェントカーネルの観点からこれらのネットワークの挙動を分析し、そのカーネルが調整可能な帯域幅を持つ低域フィルタを近似することを実証する。
  論文  参考訳（メタデータ） (2022-11-26T07:41:48Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Functional Regularization for Reinforcement Learning via Learned Fourier Features [98.90474131452588]
  本稿では、入力を学習されたフーリエベースに埋め込むことにより、深層強化学習のための簡単なアーキテクチャを提案する。 その結果、状態ベースと画像ベースの両方のRLのサンプル効率が向上することがわかった。
  論文  参考訳（メタデータ） (2021-12-06T18:59:52Z)
• Learning Frequency Domain Approximation for Binary Neural Networks [68.79904499480025]
  フーリエ周波数領域における符号関数の勾配を正弦関数の組み合わせを用いて推定し,BNNの訓練を行う。 いくつかのベンチマークデータセットとニューラルネットワークの実験により、この手法で学習したバイナリネットワークが最先端の精度を達成することが示されている。
  論文  参考訳（メタデータ） (2021-03-01T08:25:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。