論文の概要: Analyzing Upper Bounds on Mean Absolute Errors for Deep Neural Network Based Vector-to-Vector Regression

• arxiv url: http://arxiv.org/abs/2008.05459v1
• Date: Tue, 4 Aug 2020 19:39:41 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-02 23:56:07.480564
• Title: Analyzing Upper Bounds on Mean Absolute Errors for Deep Neural Network Based Vector-to-Vector Regression
• Title（参考訳）: 深部ニューラルネットワークに基づくベクトル-ベクトル回帰における平均絶対誤差の上界の解析
• Authors: Jun Qi, Jun Du, Sabato Marco Siniscalchi, Xiaoli Ma, Chin-Hui Lee
• Abstract要約: 本稿では,ディープニューラルネットワーク(DNN)を用いたベクトル-ベクトル回帰において,平均絶対誤差と期待特徴誤差の間に一般化された誤差(MAE)が存在することを示す。 DNNに基づくベクトル-ベクトル回帰のためのMAEの上界を提案する。
• 参考スコア（独自算出の注目度）: 79.86233860519621
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we show that, in vector-to-vector regression utilizing deep neural networks (DNNs), a generalized loss of mean absolute error (MAE) between the predicted and expected feature vectors is upper bounded by the sum of an approximation error, an estimation error, and an optimization error. Leveraging upon error decomposition techniques in statistical learning theory and non-convex optimization theory, we derive upper bounds for each of the three aforementioned errors and impose necessary constraints on DNN models. Moreover, we assess our theoretical results through a set of image de-noising and speech enhancement experiments. Our proposed upper bounds of MAE for DNN based vector-to-vector regression are corroborated by the experimental results and the upper bounds are valid with and without the "over-parametrization" technique.
• Abstract（参考訳）: 本稿では,ディープニューラルネットワーク(DNN)を用いたベクトル-ベクトル回帰において,予測された特徴ベクトルと期待される特徴ベクトル間の平均絶対誤差(MAE)の一般化損失が近似誤差,推定誤差,最適化誤差の和で上限値以上であることを示す。 統計的学習理論と非凸最適化理論の誤差分解技術を利用して、上記の3つの誤差の上限を導出し、DNNモデルに必要制約を課す。 さらに,画像のデノイズ化と音声強調実験により理論的結果を評価する。 dnnに基づくベクトル-ベクトル回帰に対するmaeの上界は,実験結果から裏付けられ,上界は"オーバーパラメトリゼーション(over-parametrization)"手法を用いずとも有効である。

関連論文リスト

• Refined Risk Bounds for Unbounded Losses via Transductive Priors [58.967816314671296]
  線形回帰の逐次変分を2乗損失、ヒンジ損失の分類問題、ロジスティック回帰で再検討する。 我々の鍵となるツールは、慎重に選択された導出先を持つ指数重み付けアルゴリズムに基づいている。
  論文  参考訳（メタデータ） (2024-10-29T00:01:04Z)
• Optimal Rates for Vector-Valued Spectral Regularization Learning Algorithms [28.046728466038022]
  ベクトル値出力を持つ多種多様な正規化アルゴリズムの理論的特性について検討する。 ベクトル値出力によるリッジ回帰に対するいわゆる飽和効果を厳密に検証する。 有限サンプルリスク一般ベクトル値スペクトルアルゴリズムの上限について述べる。
  論文  参考訳（メタデータ） (2024-05-23T16:45:52Z)
• The Convex Landscape of Neural Networks: Characterizing Global Optima and Stationary Points via Lasso Models [75.33431791218302]
  ディープニューラルネットワーク(DNN)モデルは、プログラミング目的に使用される。 本稿では,凸型神経回復モデルについて検討する。 定常的非次元目的物はすべて,グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。 また, 静止非次元目的物はすべて, グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
  論文  参考訳（メタデータ） (2023-12-19T23:04:56Z)
• Straightening Out the Straight-Through Estimator: Overcoming Optimization Challenges in Vector Quantized Networks [35.6604960300194]
  本研究は,ベクトル量子化を用いたニューラルネットワークのストレートスルー推定による学習課題について検討する。 トレーニング不安定の主な原因は,モデル埋め込みとコードベクトル分布の相違である。 この問題に寄与する要因として,コードブックの勾配幅やコミットメント損失の非対称性などを挙げる。
  論文  参考訳（メタデータ） (2023-05-15T17:56:36Z)
• Efficient Semi-Implicit Variational Inference [65.07058307271329]
  効率的でスケーラブルな半単純外挿 (SIVI) を提案する。 本手法はSIVIの証拠を低勾配値の厳密な推測にマッピングする。
  論文  参考訳（メタデータ） (2021-01-15T11:39:09Z)
• Advantage of Deep Neural Networks for Estimating Functions with Singularity on Hypersurfaces [23.21591478556582]
  我々は、ディープニューラルネットワーク(DNN)が他の標準手法よりも優れている理由を説明するために、ミニマックスレート分析を開発する。 本研究では,超曲面上の特異点を持つ非滑らか関数のクラスを推定することにより,このギャップを埋めようとしている。
  論文  参考訳（メタデータ） (2020-11-04T12:51:14Z)
• CASTLE: Regularization via Auxiliary Causal Graph Discovery [89.74800176981842]
  因果構造学習(CASTLE)の正規化を導入し,変数間の因果関係を共同学習することでニューラルネットワークの正規化を提案する。 CASTLEは因果的隣り合いを持つ因果的DAGの特徴のみを効率的に再構成する一方、再構成ベース正規化器は全ての入力特徴を過度に再構成する。
  論文  参考訳（メタデータ） (2020-09-28T09:49:38Z)
• On Mean Absolute Error for Deep Neural Network Based Vector-to-Vector Regression [79.86233860519621]
  我々は,ディープニューラルネットワーク(DNN)に基づくベクトル-ベクトル回帰の損失関数として,平均絶対誤差(MAE)の特性を利用する。 我々は,MAEをラプラシアン分布によってモデル化された誤差として解釈できることを示す。
  論文  参考訳（メタデータ） (2020-08-12T22:41:26Z)
• An Optimal Statistical and Computational Framework for Generalized Tensor Estimation [10.899518267165666]
  本稿では,低ランクテンソル推定問題に対するフレキシブルなフレームワークについて述べる。 計算画像、ゲノミクス、ネットワーク解析の応用から多くの重要な例を含む。
  論文  参考訳（メタデータ） (2020-02-26T01:54:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。