論文の概要: Sup-Norm Convergence of Deep Neural Network Estimator for Nonparametric Regression by Adversarial Training

• arxiv url: http://arxiv.org/abs/2307.04042v1
• Date: Sat, 8 Jul 2023 20:24:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-11 15:47:34.111333
• Title: Sup-Norm Convergence of Deep Neural Network Estimator for Nonparametric Regression by Adversarial Training
• Title（参考訳）: 逆訓練による非パラメトリック回帰のためのディープニューラルネットワーク推定器の超ノルム収束
• Authors: Masaaki Imaizumi
• Abstract要約: ニュートラルニューラルネットワーク推定器の超ノルム収束を,新しい対角トレーニング方式で示す。 深部ニューラルネットワーク推定器は、補正付き対向訓練により、超ノルム感覚の最適率を達成する。
• 参考スコア（独自算出の注目度）: 5.68558935178946
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We show the sup-norm convergence of deep neural network estimators with a novel adversarial training scheme. For the nonparametric regression problem, it has been shown that an estimator using deep neural networks can achieve better performances in the sense of the $L2$-norm. In contrast, it is difficult for the neural estimator with least-squares to achieve the sup-norm convergence, due to the deep structure of neural network models. In this study, we develop an adversarial training scheme and investigate the sup-norm convergence of deep neural network estimators. First, we find that ordinary adversarial training makes neural estimators inconsistent. Second, we show that a deep neural network estimator achieves the optimal rate in the sup-norm sense by the proposed adversarial training with correction. We extend our adversarial training to general setups of a loss function and a data-generating function. Our experiments support the theoretical findings.
• Abstract（参考訳）: 深層ニューラルネットワーク推定器の超ノルム収束を,新しい逆訓練方式で示す。 非パラメトリック回帰問題に対して、深層ニューラルネットワークを用いた推定器は、$L2$-normの意味でより良い性能が得られることが示されている。 対照的に、ニューラルネットワークモデルの深い構造のため、最小二乗のニューラルネットワーク推定器が超ノルム収束を達成することは困難である。 本研究では,敵対的学習方式を開発し,ディープニューラルネットワーク推定器の超ノルム収束について検討する。 まず、通常の逆行訓練は神経推定器を矛盾させる。 第2に,深層ニューラルネットワーク推定器は,提案する適応訓練により,超ノルム感覚の最適速度を達成することを示す。 我々は,損失関数とデータ生成関数の一般設定に敵訓練を拡張する。 我々の実験は理論的な結果を支持する。

関連論文リスト

• Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
  神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。 単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。 これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
  論文  参考訳（メタデータ） (2023-07-20T13:34:11Z)
• Benign Overfitting for Two-layer ReLU Convolutional Neural Networks [60.19739010031304]
  ラベルフリップ雑音を持つ2層ReLU畳み込みニューラルネットワークを学習するためのアルゴリズム依存型リスクバウンダリを確立する。 緩やかな条件下では、勾配降下によってトレーニングされたニューラルネットワークは、ほぼゼロに近いトレーニング損失とベイズ最適試験リスクを達成できることを示す。
  論文  参考訳（メタデータ） (2023-03-07T18:59:38Z)
• Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
  初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。 幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
  論文  参考訳（メタデータ） (2023-02-01T03:18:07Z)
• Global quantitative robustness of regression feed-forward neural networks [0.0]
  我々は回帰分解点の概念を回帰ニューラルネットワークに適用する。 我々は、故障率のプロキシにより、サンプル外損失によって測定された性能を比較した。 この結果は、ニューラルネットワークのトレーニングにロバストな損失関数を使うことを動機付けている。
  論文  参考訳（メタデータ） (2022-11-18T09:57:53Z)
• Can pruning improve certified robustness of neural networks? [106.03070538582222]
  ニューラルネット・プルーニングはディープ・ニューラル・ネットワーク(NN)の実証的ロバスト性を向上させることができることを示す。 実験の結果,NNを適切に刈り取ることで,その精度を8.2%まで向上させることができることがわかった。 さらに,認証された宝くじの存在が,従来の密集モデルの標準および認証された堅牢な精度に一致することを観察する。
  論文  参考訳（メタデータ） (2022-06-15T05:48:51Z)
• How does unlabeled data improve generalization in self-training? A one-hidden-layer theoretical analysis [93.37576644429578]
  この研究は、既知の反復的自己学習パラダイムに関する最初の理論的分析を確立する。 トレーニング収束と一般化能力の両面で、ラベルなしデータの利点を実証する。 また、浅部ニューラルネットワークから深部ニューラルネットワークへの実験は、我々の確立した自己学習に関する理論的知見の正しさを正当化するものである。
  論文  参考訳（メタデータ） (2022-01-21T02:16:52Z)
• A Kernel-Expanded Stochastic Neural Network [10.837308632004644]
  ディープニューラルネットワークは、トレーニングにおいて、しばしばローカルな最小限に閉じ込められる。 新しいカーネル拡張ニューラルネットワーク(K-StoNet)モデルは、潜在変数モデルとしてネットワークを再構成する。 モデルは命令正規化最適化(IRO)アルゴリズムを用いて容易に訓練することができる。
  論文  参考訳（メタデータ） (2022-01-14T06:42:42Z)
• Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity on Pruned Neural Networks [79.74580058178594]
  目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。 本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
  論文  参考訳（メタデータ） (2021-10-12T01:11:07Z)
• Fast Adaptation with Linearized Neural Networks [35.43406281230279]
  ニューラルネットワークの線形化の帰納的バイアスについて検討し,全ネットワーク関数の驚くほどよい要約であることを示した。 この発見に触発されて,これらの帰納的バイアスをネットワークのヤコビアンから設計されたカーネルを通してガウス過程に埋め込む手法を提案する。 この設定では、領域適応は不確実性推定を伴う解釈可能な後方推論の形式を取る。
  論文  参考訳（メタデータ） (2021-03-02T03:23:03Z)
• Measurement error models: from nonparametric methods to deep neural networks [3.1798318618973362]
  本稿では,測定誤差モデルの推定に有効なニューラルネットワーク設計を提案する。 完全に接続されたフィードフォワードニューラルネットワークを用いて回帰関数を$f(x)$に近似する。 我々は、ニューラルネットワークアプローチと古典的ノンパラメトリック手法を比較するために、広範囲にわたる数値的研究を行っている。
  論文  参考訳（メタデータ） (2020-07-15T06:05:37Z)
• A Deep Conditioning Treatment of Neural Networks [37.192369308257504]
  本研究では,入力データの特定のカーネル行列の条件付けを改善することにより,ニューラルネットワークのトレーニング性を向上させることを示す。 ニューラルネットワークの上位層のみのトレーニングと、ニューラルネットワークのタンジェントカーネルを通じてすべてのレイヤをトレーニングするための学習を行うためのバージョンを提供しています。
  論文  参考訳（メタデータ） (2020-02-04T20:21:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。