論文の概要: 1-Dimensional polynomial neural networks for audio signal related problems

• arxiv url: http://arxiv.org/abs/2009.04077v2
• Date: Wed, 12 Jan 2022 19:07:17 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-20 12:15:01.292456
• Title: 1-Dimensional polynomial neural networks for audio signal related problems
• Title（参考訳）: 音声信号関連問題に対する1次元多項式ニューラルネットワーク
• Authors: Habib Ben Abdallah, Christopher J. Henry, Sheela Ramanna
• Abstract要約: 提案モデルでは,1DCNNよりも少ない時間と少ないメモリで,より関連性の高い情報を抽出できることを示す。 この非線形性により、音声信号に関する様々な分類や回帰問題において、通常の1DCNNよりも計算量や空間的複雑さの少ないモデルが得られることを示す。
• 参考スコア（独自算出の注目度）: 3.867363075280544
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: In addition to being extremely non-linear, modern problems require millions if not billions of parameters to solve or at least to get a good approximation of the solution, and neural networks are known to assimilate that complexity by deepening and widening their topology in order to increase the level of non-linearity needed for a better approximation. However, compact topologies are always preferred to deeper ones as they offer the advantage of using less computational units and less parameters. This compacity comes at the price of reduced non-linearity and thus, of limited solution search space. We propose the 1-Dimensional Polynomial Neural Network (1DPNN) model that uses automatic polynomial kernel estimation for 1-Dimensional Convolutional Neural Networks (1DCNNs) and that introduces a high degree of non-linearity from the first layer which can compensate the need for deep and/or wide topologies. We show that this non-linearity enables the model to yield better results with less computational and spatial complexity than a regular 1DCNN on various classification and regression problems related to audio signals, even though it introduces more computational and spatial complexity on a neuronal level. The experiments were conducted on three publicly available datasets and demonstrate that, on the problems that were tackled, the proposed model can extract more relevant information from the data than a 1DCNN in less time and with less memory.
• Abstract（参考訳）: 極端に非線形であるのに加えて、現代の問題は、解くのに何十億というパラメータや、少なくとも解のよい近似を得るのに何百万ものパラメータを必要とし、ニューラルネットワークは、より良い近似に必要な非線形性のレベルを上げるために、トポロジーを深くし拡大することで、その複雑さを同化することが知られている。 しかし、コンパクトトポロジは常により深いものよりも好まれており、より少ない計算単位と少ないパラメータを使用する利点がある。 この両立性は、非線形性が減少し、従って限定された解探索空間の費用がかかる。 本稿では,1次元畳み込みニューラルネットワーク (1dcnns) の自動多項式カーネル推定を用いた1次元多項式ニューラルネットワーク (1dpnn) モデルを提案し,1層から高次非線形性を導入することにより,深層および広層構造の必要性を補償する。 この非線形性により、ニューロンレベルでの計算的・空間的複雑さが増しても、音声信号に関する様々な分類および回帰問題において、通常の1DCNNよりも計算的・空間的複雑さの少ないモデルが得られることを示す。 実験は3つの公開データセット上で実施され、問題に対処した上で、1DCNNよりも少ない時間と少ないメモリでデータからより関連性の高い情報を抽出できることを実証した。

関連論文リスト

• Sequencing the Neurome: Towards Scalable Exact Parameter Reconstruction of Black-Box Neural Networks [7.0710630443004705]
  クエリアクセスのみでニューラルネットワークの正確なパラメータを推測することはNP-Hardの問題である。 本稿では,最大情報化サンプルを生成し,非線形関係を効率的に解き放つ新しいクエリ生成アルゴリズムを提案する。 本稿では,150万以上のパラメータを含む隠れネットワークを再構築し,最大パラメータ差が0.0001未満の7層のうち,最大かつ最も深い再構成を行った。
  論文  参考訳（メタデータ） (2024-09-27T21:02:04Z)
• Stacked tensorial neural networks for reduced-order modeling of a parametric partial differential equation [0.0]
  複数のTNNを大きなネットワークに融合させるディープニューラルネットワークアーキテクチャについて説明する。 このアーキテクチャを、3つの独立変数と3つのパラメータを持つパラメトリックPDE上で評価する。
  論文  参考訳（メタデータ） (2023-12-21T21:44:50Z)
• DEMAND: Deep Matrix Approximately NonlinearDecomposition to Identify Meta, Canonical, and Sub-Spatial Pattern of functional Magnetic Resonance Imaging in the Human Brain [8.93274096260726]
  本研究では,SDL(Sparse Dictionary Learning)やDNN(Deep Neural Networks)といった浅い線形モデルを活用するために,Deep A roughly Decomposition(DEMAND)という新しい非線形行列分解法を提案する。 DEMANDは、人間の脳の再現可能な代謝、正準的、および部分空間的特徴を、他の仲間の方法論よりも効率的に明らかにすることができる。
  論文  参考訳（メタデータ） (2022-05-20T15:55:01Z)
• The Separation Capacity of Random Neural Networks [78.25060223808936]
  標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。 我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
  論文  参考訳（メタデータ） (2021-07-31T10:25:26Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)
• Multipole Graph Neural Operator for Parametric Partial Differential Equations [57.90284928158383]
  物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。 線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。 実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
  論文  参考訳（メタデータ） (2020-06-16T21:56:22Z)
• Measuring Model Complexity of Neural Networks with Curve Activation Functions [100.98319505253797]
  本稿では,線形近似ニューラルネットワーク(LANN)を提案する。 ニューラルネットワークのトレーニングプロセスを実験的に検討し、オーバーフィッティングを検出する。 我々は、$L1$と$L2$正規化がモデルの複雑さの増加を抑制することを発見した。
  論文  参考訳（メタデータ） (2020-06-16T07:38:06Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。