論文の概要: On Mean Absolute Error for Deep Neural Network Based Vector-to-Vector Regression

• arxiv url: http://arxiv.org/abs/2008.07281v1
• Date: Wed, 12 Aug 2020 22:41:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-31 05:11:54.364702
• Title: On Mean Absolute Error for Deep Neural Network Based Vector-to-Vector Regression
• Title（参考訳）: 深部ニューラルネットワークに基づくベクトル-ベクトル回帰における絶対誤差について
• Authors: Jun Qi, Jun Du, Sabato Marco Siniscalchi, Xiaoli Ma, Chin-Hui Lee
• Abstract要約: 我々は,ディープニューラルネットワーク(DNN)に基づくベクトル-ベクトル回帰の損失関数として,平均絶対誤差(MAE)の特性を利用する。 我々は,MAEをラプラシアン分布によってモデル化された誤差として解釈できることを示す。
• 参考スコア（独自算出の注目度）: 79.86233860519621
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we exploit the properties of mean absolute error (MAE) as a loss function for the deep neural network (DNN) based vector-to-vector regression. The goal of this work is two-fold: (i) presenting performance bounds of MAE, and (ii) demonstrating new properties of MAE that make it more appropriate than mean squared error (MSE) as a loss function for DNN based vector-to-vector regression. First, we show that a generalized upper-bound for DNN-based vector- to-vector regression can be ensured by leveraging the known Lipschitz continuity property of MAE. Next, we derive a new generalized upper bound in the presence of additive noise. Finally, in contrast to conventional MSE commonly adopted to approximate Gaussian errors for regression, we show that MAE can be interpreted as an error modeled by Laplacian distribution. Speech enhancement experiments are conducted to corroborate our proposed theorems and validate the performance advantages of MAE over MSE for DNN based regression.
• Abstract（参考訳）: 本稿では,ディープニューラルネットワーク(DNN)に基づくベクトル-ベクトル回帰の損失関数として,平均絶対誤差(MAE)の特性を利用する。 この仕事の目標は次の2つです。 (i)MAEのパフォーマンスバウンダリを提示し、 (II) DNNに基づくベクトル-ベクトル回帰の損失関数として平均二乗誤差(MSE)よりも適切であるMAEの新たな特性を示す。 第一に、DNNに基づくベクトル-ベクトル回帰に対する一般化された上界は、MAEの既知のリプシッツ連続性を利用して確保できることを示す。 次に、加算雑音の存在下での新しい一般化上界を導出する。 最後に,回帰のガウス誤差近似に一般的なmseとは対照的に,mae はラプラシアン分布によってモデル化された誤差として解釈できることを示した。 音声強調実験を行い,提案した定理を相関させ,DNN回帰に対するMSEよりもMAEの利点を検証した。

関連論文リスト

• The Prevalence of Neural Collapse in Neural Multivariate Regression [3.691119072844077]
  ニューラルネットワークは、分類問題に対するトレーニングの最終段階において、ニューラルネットワークがニューラル・コラプス(NC)を示すことを示す。 我々の知る限り、これは回帰の文脈における神経崩壊に関する最初の経験的、理論的研究である。
  論文  参考訳（メタデータ） (2024-09-06T10:45:58Z)
• The Generalization Error of Stochastic Mirror Descent on Over-Parametrized Linear Models [37.6314945221565]
  ディープネットワークは、目に見えないデータにうまく一般化することが知られている。 正規化特性は「良い」性質を持つ補間解が見つかることを保証している。 理論を検証し、2つのデータモデルを導入するシミュレーション結果を提案する。
  論文  参考訳（メタデータ） (2023-02-18T22:23:42Z)
• Variational Laplace Autoencoders [53.08170674326728]
  変分オートエンコーダは、遅延変数の後部を近似するために、償却推論モデルを用いる。 完全分解ガウス仮定の限定的後部表現性に対処する新しい手法を提案する。 また、深部生成モデルのトレーニングのための変分ラプラスオートエンコーダ(VLAE)という一般的なフレームワークも提示する。
  論文  参考訳（メタデータ） (2022-11-30T18:59:27Z)
• The Directional Bias Helps Stochastic Gradient Descent to Generalize in Kernel Regression Models [7.00422423634143]
  非パラメトリック統計学におけるグラディエント・Descent (SGD) アルゴリズムについて検討する。 線形回帰設定で知られているSGDの方向性バイアス特性は、カーネル回帰に一般化される。
  論文  参考訳（メタデータ） (2022-04-29T19:44:01Z)
• Domain-Adjusted Regression or: ERM May Already Learn Features Sufficient for Out-of-Distribution Generalization [52.7137956951533]
  既存の特徴から予測器を学習するためのよりシンプルな手法を考案することは、将来の研究にとって有望な方向である、と我々は主張する。 本稿では,線形予測器を学習するための凸目標である領域調整回帰(DARE)を紹介する。 自然モデルの下では、DARE解が制限されたテスト分布の集合に対する最小最適予測器であることを証明する。
  論文  参考訳（メタデータ） (2022-02-14T16:42:16Z)
• Improving predictions of Bayesian neural nets via local linearization [79.21517734364093]
  ガウス・ニュートン近似は基礎となるベイズニューラルネットワーク(BNN)の局所線形化として理解されるべきである。 この線形化モデルを後部推論に使用するので、元のモデルではなく、この修正モデルを使用することも予測すべきである。 この修正された予測を"GLM predictive"と呼び、Laplace近似の共通不適合問題を効果的に解決することを示す。
  論文  参考訳（メタデータ） (2020-08-19T12:35:55Z)
• Analyzing Upper Bounds on Mean Absolute Errors for Deep Neural Network Based Vector-to-Vector Regression [79.86233860519621]
  本稿では,ディープニューラルネットワーク(DNN)を用いたベクトル-ベクトル回帰において,平均絶対誤差と期待特徴誤差の間に一般化された誤差(MAE)が存在することを示す。 DNNに基づくベクトル-ベクトル回帰のためのMAEの上界を提案する。
  論文  参考訳（メタデータ） (2020-08-04T19:39:41Z)
• Robust Compressed Sensing using Generative Models [98.64228459705859]
  本稿では,Median-of-Means (MOM) にヒントを得たアルゴリズムを提案する。 我々のアルゴリズムは、外れ値が存在する場合でも、重み付きデータの回復を保証する。
  論文  参考訳（メタデータ） (2020-06-16T19:07:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。