論文の概要: Spectral Wavelet Dropout: Regularization in the Wavelet Domain

• arxiv url: http://arxiv.org/abs/2409.18951v1
• Date: Fri, 27 Sep 2024 17:52:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-01 07:41:44.858484
• Title: Spectral Wavelet Dropout: Regularization in the Wavelet Domain
• Title（参考訳）: スペクトルウェーブレットドロップアウト:ウェーブレット領域における規則化
• Authors: Rinor Cakaj, Jens Mehnert, Bin Yang,
• Abstract要約: 規則化技術は、畳み込みニューラルネットワーク(CNN)の一般化能力の過度な適合を防ぎ、改善するのに役立つ。 1D-SWD と 2D-SWD の2つの変種を含む新しい正規化手法である Spectral Wavelet Dropout (SWD) を導入する。
• 参考スコア（独自算出の注目度）: 4.150676163661315
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Regularization techniques help prevent overfitting and therefore improve the ability of convolutional neural networks (CNNs) to generalize. One reason for overfitting is the complex co-adaptations among different parts of the network, which make the CNN dependent on their joint response rather than encouraging each part to learn a useful feature representation independently. Frequency domain manipulation is a powerful strategy for modifying data that has temporal and spatial coherence by utilizing frequency decomposition. This work introduces Spectral Wavelet Dropout (SWD), a novel regularization method that includes two variants: 1D-SWD and 2D-SWD. These variants improve CNN generalization by randomly dropping detailed frequency bands in the discrete wavelet decomposition of feature maps. Our approach distinguishes itself from the pre-existing Spectral "Fourier" Dropout (2D-SFD), which eliminates coefficients in the Fourier domain. Notably, SWD requires only a single hyperparameter, unlike the two required by SFD. We also extend the literature by implementing a one-dimensional version of Spectral "Fourier" Dropout (1D-SFD), setting the stage for a comprehensive comparison. Our evaluation shows that both 1D and 2D SWD variants have competitive performance on CIFAR-10/100 benchmarks relative to both 1D-SFD and 2D-SFD. Specifically, 1D-SWD has a significantly lower computational complexity compared to 1D/2D-SFD. In the Pascal VOC Object Detection benchmark, SWD variants surpass 1D-SFD and 2D-SFD in performance and demonstrate lower computational complexity during training.
• Abstract（参考訳）: 正規化技術はオーバーフィッティングを防止し、従って畳み込みニューラルネットワーク(CNN)の一般化能力を向上させる。 オーバーフィッティングの理由の1つは、ネットワークの異なる部分間の複雑な共適応であり、CNNがそれぞれの部分で有用な特徴表現を独立して学習するように促すのではなく、彼らの共同応答に依存するようにしている。 周波数領域操作は、周波数分解を利用して時間的および空間的コヒーレンスを持つデータを修正するための強力な戦略である。 1D-SWD と 2D-SWD の2つの変種を含む新しい正規化手法である Spectral Wavelet Dropout (SWD) を導入する。 これらの変種は、特徴写像の離散ウェーブレット分解において、詳細周波数帯域をランダムに落とすことにより、CNNの一般化を改善する。 提案手法は、フーリエ領域の係数を排除した既存のスペクトル「フーリエ」ドロップアウト(2D-SFD)と自身を区別する。 特に、SWDはSFDが必要とする2つとは異なり、1つのハイパーパラメータしか必要としない。 また,1次元のスペクトル「フーリエ」ドロップアウト (1D-SFD) を実装し,総合的な比較を行う。 評価の結果,CIFAR-10/100ベンチマークでは1D-SFDと2D-SFDの双方と比較して1Dと2DのSWDが競合することがわかった。 具体的には、1D/2D-SFDと比較して1D-SWDは計算複雑性が著しく低い。 Pascal VOC Object Detectionベンチマークでは、SWDは1D-SFDと2D-SFDを上回る性能を示し、トレーニング中の計算複雑性を低下させる。

関連論文リスト

• Coarse-Fine Spectral-Aware Deformable Convolution For Hyperspectral Image Reconstruction [15.537910100051866]
  Coded Aperture Snapshot Spectral Imaging (CASSI) の逆問題について検討する。 粗面スペクトル対応変形性畳み込みネットワーク(CFSDCN)を提案する。 我々のCFSDCNは、シミュレーションされたHSIデータセットと実際のHSIデータセットの両方において、従来の最先端(SOTA)メソッドよりも大幅に優れています。
  論文  参考訳（メタデータ） (2024-06-18T15:15:12Z)
• Hyperspectral Band Selection based on Generalized 3DTV and Tensor CUR Decomposition [8.812294191190896]
  ハイパースペクトルイメージングはリモートセンシングにおいて重要な技術である。 高次元とデータボリュームは、重大な計算上の課題を生じさせる。 データを低ランクで滑らかな成分とスパース成分に分解することで,新しいスペクトル帯域選択モデルを提案する。
  論文  参考訳（メタデータ） (2024-05-02T02:23:38Z)
• NeRF-Det++: Incorporating Semantic Cues and Perspective-aware Depth Supervision for Indoor Multi-View 3D Detection [72.0098999512727]
  NeRF-Detは、NeRFを用いた屋内マルチビュー3次元検出において、表現学習の強化による優れた性能を実現している。 セマンティックエンハンスメント(セマンティックエンハンスメント)、パースペクティブ・アウェア・サンプリング(パースペクティブ・アウェア・サンプリング)、および順序深度監視を含む3つのソリューションを提案する。 結果として得られたアルゴリズムであるNeRF-Det++は、ScanNetV2とAR KITScenesデータセットで魅力的なパフォーマンスを示している。
  論文  参考訳（メタデータ） (2024-02-22T11:48:06Z)
• AliasNet: Alias Artefact Suppression Network for Accelerated Phase-Encode MRI [4.752084030395196]
  スパース再構成はMRIの重要な側面であり、取得時間を短縮し、空間時間分解能を改善するのに役立つ。 1D AliasNetモジュールと既存の2Dディープラーニング(DL)リカバリ技術を組み合わせることで、画像の品質が向上することが実証された。
  論文  参考訳（メタデータ） (2023-02-17T13:16:17Z)
• Transform Once: Efficient Operator Learning in Frequency Domain [69.74509540521397]
  本研究では、周波数領域の構造を利用して、空間や時間における長距離相関を効率的に学習するために設計されたディープニューラルネットワークについて検討する。 この研究は、単一変換による周波数領域学習のための青写真を導入している。
  論文  参考訳（メタデータ） (2022-11-26T01:56:05Z)
• Adaptive Frequency Learning in Two-branch Face Forgery Detection [66.91715092251258]
  本稿では、AFDと呼ばれる2分岐検出フレームワークにおいて、周波数情報を適応的に学習する手法を提案する。 我々は、固定周波数変換からネットワークを解放し、データおよびタスク依存の変換層でより良いパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-03-27T14:25:52Z)
• Decoupled Dynamic Filter Networks [85.38058820176047]
  これらの欠点を同時に解決できるDDF(Decoupled Dynamic Filter)を提案します。 最近の注目の高まりに触発されて、DDFは深度ワイドなダイナミックフィルタを空間的およびチャネル的ダイナミックフィルタに分離する。 分類ネットワークにおける標準畳み込みをDFFに置き換える際の性能向上を観察する。
  論文  参考訳（メタデータ） (2021-04-29T04:55:33Z)
• SubSpectral Normalization for Neural Audio Data Processing [11.97844299450951]
  入力周波数次元を複数のグループ(サブバンド)に分割し,各グループ毎に異なる正規化を行うサブスペクトル正規化(SSN)を導入する。 本手法は周波数認識特性を学習しながら周波数間偏向を除去する。 音声データを用いた実験では,SSNがネットワークの性能を効率的に向上できることがわかった。
  論文  参考訳（メタデータ） (2021-03-25T05:55:48Z)
• Generalized ODIN: Detecting Out-of-distribution Image without Learning from Out-of-distribution Data [87.61504710345528]
  我々は,OoD検出性能を改善しつつ,ニューラルネットワークをOoDデータのチューニングから解放する2つの方法を提案する。 具体的には、信頼性スコアリングと修正された入力前処理法を分離することを提案する。 大規模画像データセットのさらなる解析により、セマンティックシフトと非セマンティックシフトの2種類の分布シフトが有意な差を示すことが示された。
  論文  参考訳（メタデータ） (2020-02-26T04:18:25Z)
• Simple and Effective Prevention of Mode Collapse in Deep One-Class Classification [93.2334223970488]
  深部SVDDにおける超球崩壊を防止するための2つの正則化器を提案する。 第1の正則化器は、標準のクロスエントロピー損失によるランダムノイズの注入に基づいている。 第2の正規化器は、小さすぎるとミニバッチ分散をペナライズする。
  論文  参考訳（メタデータ） (2020-01-24T03:44:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。