論文の概要: Frequency and Scale Perspectives of Feature Extraction

• arxiv url: http://arxiv.org/abs/2302.12477v1
• Date: Fri, 24 Feb 2023 06:37:36 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-27 14:23:12.536438
• Title: Frequency and Scale Perspectives of Feature Extraction
• Title（参考訳）: 特徴抽出の周波数とスケールの展望
• Authors: Liangqi Zhang, Yihao Luo, Xiang Cao, Haibo Shen and Tianjiang Wang
• Abstract要約: ニューラルネットワークの周波数とスケールに対する感度を分析する。 ニューラルネットワークは低周波と中周波のバイアスを持つが、異なるクラスに対して異なる周波数帯域を好む。 これらの観察により、ニューラルネットワークは様々なスケールと周波数で特徴を抽出する能力を学ぶ必要があるという仮説が導かれる。
• 参考スコア（独自算出の注目度）: 5.081561820537235
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Convolutional neural networks (CNNs) have achieved superior performance but still lack clarity about the nature and properties of feature extraction. In this paper, by analyzing the sensitivity of neural networks to frequencies and scales, we find that neural networks not only have low- and medium-frequency biases but also prefer different frequency bands for different classes, and the scale of objects influences the preferred frequency bands. These observations lead to the hypothesis that neural networks must learn the ability to extract features at various scales and frequencies. To corroborate this hypothesis, we propose a network architecture based on Gaussian derivatives, which extracts features by constructing scale space and employing partial derivatives as local feature extraction operators to separate high-frequency information. This manually designed method of extracting features from different scales allows our GSSDNets to achieve comparable accuracy with vanilla networks on various datasets.
• Abstract（参考訳）: 畳み込みニューラルネットワーク(cnns)は優れた性能を達成しているが、特徴抽出の性質や特性については明確ではない。 本稿では,ニューラルネットの周波数・スケールに対する感度を解析した結果,ニューラルネットは低周波数・中周波数のバイアスを持つだけでなく,異なるクラスで異なる周波数帯域を好み,対象のスケールが好みの周波数帯域に影響を及ぼすことを見出した。 これらの観察により、ニューラルネットワークは様々なスケールと周波数で特徴を抽出する能力を学ぶ必要があるという仮説が導かれる。 この仮説を裏付けるために,ガウス微分に基づくネットワークアーキテクチャを提案する。これはスケール空間を構築し,局所特徴抽出演算子として部分微分を用いて高周波情報を分離することで特徴を抽出する。 この手作業で異なるスケールから機能を抽出する方法により、GSSDNetはさまざまなデータセット上のバニラネットワークと同等の精度を達成できます。

関連論文リスト

• Noise-Resilient Unsupervised Graph Representation Learning via Multi-Hop Feature Quality Estimation [53.91958614666386]
  グラフニューラルネットワーク(GNN)に基づく教師なしグラフ表現学習(UGRL) マルチホップ特徴量推定(MQE)に基づく新しいUGRL法を提案する。
  論文  参考訳（メタデータ） (2024-07-29T12:24:28Z)
• Model-based learning for location-to-channel mapping [0.0]
  本稿では,ターゲットマッピング関数の高周波成分から低周波を分離するフラガー型モデルベースネットワークを提案する。 これにより、ニューラルネットワークは、高周波成分の辞書において、低周波スパース係数のみを学習するハイパーネットワークアーキテクチャが得られる。 シミュレーションの結果,提案したニューラルネットワークは,現実的な合成データに対する標準的なアプローチよりも優れていた。
  論文  参考訳（メタデータ） (2023-08-28T07:39:53Z)
• A Scalable Walsh-Hadamard Regularizer to Overcome the Low-degree Spectral Bias of Neural Networks [79.28094304325116]
  任意の関数を学習するニューラルネットワークの能力にもかかわらず、勾配降下によって訓練されたモデルは、しばしばより単純な関数に対するバイアスを示す。 我々は、この低度周波数に対するスペクトルバイアスが、現実のデータセットにおけるニューラルネットワークの一般化を実際にいかに損なうかを示す。 本稿では,ニューラルネットワークによる高次周波数学習を支援する,スケーラブルな機能正規化手法を提案する。
  論文  参考訳（メタデータ） (2023-05-16T20:06:01Z)
• Properties and Potential Applications of Random Functional-Linked Types of Neural Networks [81.56822938033119]
  ランダム関数リンクニューラルネットワーク(RFLNN)は、深い構造を学習する別の方法を提供する。 本稿では周波数領域の観点からRFLNNの特性について考察する。 本稿では,より優れた性能でBLSネットワークを生成する手法を提案し,ポゾン方程式を解くための効率的なアルゴリズムを設計する。
  論文  参考訳（メタデータ） (2023-04-03T13:25:22Z)
• Exploring the Approximation Capabilities of Multiplicative Neural Networks for Smooth Functions [9.936974568429173]
  対象関数のクラスは、一般化帯域制限関数とソボレフ型球である。 以上の結果から、乗法ニューラルネットワークは、これらの関数をはるかに少ない層とニューロンで近似できることを示した。 これらの結果は、乗法ゲートが標準フィードフォワード層より優れ、ニューラルネットワーク設計を改善する可能性があることを示唆している。
  論文  参考訳（メタデータ） (2023-01-11T17:57:33Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• SignalNet: A Low Resolution Sinusoid Decomposition and Estimation Network [79.04274563889548]
  本稿では,正弦波数を検出するニューラルネットワークアーキテクチャであるSignalNetを提案する。 基礎となるデータ分布と比較して,ネットワークの結果を比較するための最悪の学習しきい値を導入する。 シミュレーションでは、我々のアルゴリズムは常に3ビットデータのしきい値を超えることができるが、しばしば1ビットデータのしきい値を超えることはできない。
  論文  参考訳（メタデータ） (2021-06-10T04:21:20Z)
• Performance Bounds for Neural Network Estimators: Applications in Fault Detection [2.388501293246858]
  ニューラルネットワークの堅牢性を定量化し,モデルに基づく異常検知器の構築とチューニングを行った。 チューニングでは,通常動作で想定される誤報発生率の上限を具体的に提示する。
  論文  参考訳（メタデータ） (2021-03-22T19:23:08Z)
• Consistent feature selection for neural networks via Adaptive Group Lasso [3.42658286826597]
  ニューラルネットワークの重要な特徴を選択するための適応型グループの使用に関する理論的保証を提案し,確立する。 具体的には,1つの隠蔽層と双曲的タンジェント活性化関数を持つ単一出力フィードフォワードニューラルネットワークに対して,特徴選択法が整合であることを示す。
  論文  参考訳（メタデータ） (2020-05-30T18:50:56Z)
• Beyond Dropout: Feature Map Distortion to Regularize Deep Neural Networks [107.77595511218429]
  本稿では,ディープニューラルネットワークの中間層に関連する実験的なRademacher複雑性について検討する。 上記の問題に対処するための特徴歪み法(Disout)を提案する。 より高い試験性能を有するディープニューラルネットワークを作製するための特徴写像歪みの優位性を解析し、実証した。
  論文  参考訳（メタデータ） (2020-02-23T13:59:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。