論文の概要: Instabilities in Convnets for Raw Audio

• arxiv url: http://arxiv.org/abs/2309.05855v2
• Date: Sat, 21 Oct 2023 10:54:08 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-25 07:27:39.299461
• Title: Instabilities in Convnets for Raw Audio
• Title（参考訳）: 生オーディオ用コンブネットの不安定性
• Authors: Daniel Haider, Vincent Lostanlen, Martin Ehler, Peter Balazs
• Abstract要約: ランダムなガウス重みを持つFIRフィルタバンクのエネルギー応答に対する大きな偏差の理論を示す。 大規模なフィルタや局所的な周期的な入力信号の偏差が悪化することが判明した。 数値シミュレーションは我々の理論と一致し、畳み込み層の条件数は対数スケーリング法則に従うことを示唆する。
• 参考スコア（独自算出の注目度）: 1.6452139150214369
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: What makes waveform-based deep learning so hard? Despite numerous attempts at training convolutional neural networks (convnets) for filterbank design, they often fail to outperform hand-crafted baselines. These baselines are linear time-invariant systems: as such, they can be approximated by convnets with wide receptive fields. Yet, in practice, gradient-based optimization leads to suboptimal approximations. In our article, we approach this phenomenon from the perspective of initialization. We present a theory of large deviations for the energy response of FIR filterbanks with random Gaussian weights. We find that deviations worsen for large filters and locally periodic input signals, which are both typical for audio signal processing applications. Numerical simulations align with our theory and suggest that the condition number of a convolutional layer follows a logarithmic scaling law between the number and length of the filters, which is reminiscent of discrete wavelet bases.
• Abstract（参考訳）: 波形ベースのディープラーニングがなぜ難しいのか? フィルタバンク設計のための畳み込みニューラルネットワーク (convnets) を訓練する試みは数多くあるが、手作りのベースラインを上回りしないことが多い。 これらのベースラインは線形時間不変系であり、広い受容場を持つ凸体によって近似することができる。 しかし、実際には勾配に基づく最適化は準最適近似をもたらす。 本稿では,この現象を初期化の観点から考察する。 ランダムなガウス重みを持つFIRフィルタバンクのエネルギー応答に対する大きな偏差の理論を示す。 その結果、大きなフィルタや局所的な周期的な入力信号では偏差が悪化し、どちらもオーディオ信号処理アプリケーションで典型的であることがわかった。 数値シミュレーションは我々の理論と一致し、畳み込み層の条件数は、離散ウェーブレット基底を連想させるフィルタの数と長さの間の対数スケーリング則に従うことを示唆している。

関連論文リスト

• Fourier PINNs: From Strong Boundary Conditions to Adaptive Fourier Bases [22.689531776611084]
  我々は,Dirichlet BCs に対する PINN の強い境界条件 (BC) について検討した。 強いBC PINNは、ターゲット溶液の高周波成分の振幅をよりよく学習できることがわかった。 本稿では,Fourier PINN を提案する。Fourier PINN は単純で汎用的で強力な手法で,Purier PINN を事前定義された高密度なフーリエベースで拡張する。
  論文  参考訳（メタデータ） (2024-10-04T15:10:22Z)
• Closed-form Filtering for Non-linear Systems [83.91296397912218]
  我々は密度近似と計算効率の面でいくつかの利点を提供するガウスPSDモデルに基づく新しいフィルタのクラスを提案する。 本研究では,遷移や観測がガウスPSDモデルである場合,フィルタリングを効率的にクローズド形式で行うことができることを示す。 提案する推定器は, 近似の精度に依存し, 遷移確率の正則性に適応する推定誤差を伴って, 高い理論的保証を享受する。
  論文  参考訳（メタデータ） (2024-02-15T08:51:49Z)
• Fitting Auditory Filterbanks with Multiresolution Neural Networks [4.944919495794613]
  マルチレゾリューションニューラルネットワーク(MuReNN)というニューラルオーディオモデルを導入する。 MuReNNの鍵となる考え方は、離散ウェーブレット変換(DWT)のオクターブ部分バンド上で、分離畳み込み演算子を訓練することである。 与えられた実世界のデータセットに対して、よく確立された聴覚フィルタバンクのそれに対して、MuReNNのマグニチュードレスポンスを適合させる。
  論文  参考訳（メタデータ） (2023-07-25T21:20:12Z)
• On the Shift Invariance of Max Pooling Feature Maps in Convolutional Neural Networks [0.0]
  ガボル型フィルタによるサブサンプル畳み込みはエイリアスしがちであり、小さな入力シフトに敏感である。 安定性を実現する上で,フィルタの周波数と向きが果たす重要な役割を強調した。 二重ツリー複合ウェーブレットパケット変換に基づく決定論的特徴抽出器を設計し,本理論を実験的に検証する。
  論文  参考訳（メタデータ） (2022-09-19T08:15:30Z)
• Computational Doob's h-transforms for Online Filtering of Discretely Observed Diffusions [65.74069050283998]
  本研究では,Doobの$h$-transformsを近似する計算フレームワークを提案する。 提案手法は、最先端粒子フィルタよりも桁違いに効率的である。
  論文  参考訳（メタデータ） (2022-06-07T15:03:05Z)
• Deep Learning for the Benes Filter [91.3755431537592]
  本研究では,メッシュのないニューラルネットワークによるベンズモデルの解の密度の表現に基づく新しい数値計算法を提案する。 ニューラルネットワークの領域選択におけるフィルタリングモデル方程式における非線形性の役割について論じる。
  論文  参考訳（メタデータ） (2022-03-09T14:08:38Z)
• The Pseudo Projection Operator: Applications of Deep Learning to Projection Based Filtering in Non-Trivial Frequency Regimes [5.632784019776093]
  本稿では,ニューラルネットワークを利用して周波数選択を行うPseudo Projection Operator(PPO)を提案する。 我々は,ロチェスター大学マルチモーダル・ミュージック・パフォーマンス・データセット上で,PPO,PO,DAEのフィルタリング機能を比較した。 ほとんどの実験では、PPOはPOとDAEの両方より優れています。
  論文  参考訳（メタデータ） (2021-11-13T16:09:14Z)
• Adaptive Low-Pass Filtering using Sliding Window Gaussian Processes [71.23286211775084]
  ガウス過程回帰に基づく適応型低域通過フィルタを提案する。 本研究では,提案手法の誤差が一様境界であることを示す。
  論文  参考訳（メタデータ） (2021-11-05T17:06:59Z)
• Learning Frequency Domain Approximation for Binary Neural Networks [68.79904499480025]
  フーリエ周波数領域における符号関数の勾配を正弦関数の組み合わせを用いて推定し,BNNの訓練を行う。 いくつかのベンチマークデータセットとニューラルネットワークの実験により、この手法で学習したバイナリネットワークが最先端の精度を達成することが示されている。
  論文  参考訳（メタデータ） (2021-03-01T08:25:26Z)
• Dependency Aware Filter Pruning [74.69495455411987]
  重要でないフィルタを割ることは、推論コストを軽減するための効率的な方法である。 以前の作業は、その重み基準やそれに対応するバッチノームスケーリング要因に従ってフィルタをプルークする。 所望の空間性を達成するために,空間性誘導正規化を動的に制御する機構を提案する。
  論文  参考訳（メタデータ） (2020-05-06T07:41:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。