論文の概要: Generalization Error Analysis of Neural networks with Gradient Based Regularization

• arxiv url: http://arxiv.org/abs/2107.02797v1
• Date: Tue, 6 Jul 2021 07:54:36 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-08 13:51:21.109824
• Title: Generalization Error Analysis of Neural networks with Gradient Based Regularization
• Title（参考訳）: 勾配型正規化ニューラルネットワークの一般化誤差解析
• Authors: Lingfeng Li and Xue-Cheng Tai and Jiang Yang
• Abstract要約: ニューラルネットワークの勾配に基づく正規化法について検討する。 本稿では,正規化ネットワークの一般化誤差を解析するための一般的なフレームワークを提案する。 画像分類タスクについていくつかの実験を行い、勾配に基づく手法が一般化能力を大幅に向上させることができることを示す。
• 参考スコア（独自算出の注目度）: 2.7286395031146062
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study gradient-based regularization methods for neural networks. We mainly focus on two regularization methods: the total variation and the Tikhonov regularization. Applying these methods is equivalent to using neural networks to solve some partial differential equations, mostly in high dimensions in practical applications. In this work, we introduce a general framework to analyze the generalization error of regularized networks. The error estimate relies on two assumptions on the approximation error and the quadrature error. Moreover, we conduct some experiments on the image classification tasks to show that gradient-based methods can significantly improve the generalization ability and adversarial robustness of neural networks. A graphical extension of the gradient-based methods are also considered in the experiments.
• Abstract（参考訳）: ニューラルネットワークの勾配に基づく正規化法について検討する。 主に、全変分法とチコノフ正則化の2つの正則化法に焦点を当てる。 これらの手法を適用することは、ニューラルネットワークを用いて偏微分方程式を解くことと等価である。 本稿では,正規化ネットワークの一般化誤差を分析する汎用フレームワークを提案する。 誤差推定は近似誤差と二次誤差の2つの仮定に依存する。 さらに,画像分類タスクについて実験を行い,勾配に基づく手法がニューラルネットワークの一般化能力と逆ロバスト性を大幅に向上できることを示す。 勾配に基づく手法のグラフィカルな拡張も実験で検討されている。

関連論文リスト

• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Modify Training Directions in Function Space to Reduce Generalization Error [9.821059922409091]
  本稿では,ニューラルネットワーク関数空間におけるニューラルタンジェントカーネルとフィッシャー情報行列の固有分解に基づく自然勾配降下法を提案する。 固有分解と統計理論から理論的手法を用いて学習したニューラルネットワーク関数の一般化誤差を明示的に導出する。
  論文  参考訳（メタデータ） (2023-07-25T07:11:30Z)
• GIT: Detecting Uncertainty, Out-Of-Distribution and Adversarial Samples using Gradients and Invariance Transformations [77.34726150561087]
  本稿では,ディープニューラルネットワークにおける一般化誤差検出のための総合的アプローチを提案する。 GITは勾配情報と不変変換の利用を組み合わせる。 本実験は,各種ネットワークアーキテクチャの最先端技術と比較して,GITの優れた性能を示すものである。
  論文  参考訳（メタデータ） (2023-07-05T22:04:38Z)
• A Derivation of Feedforward Neural Network Gradients Using Fr\'echet Calculus [0.0]
  Fr'teche calculus を用いたフィードフォワードニューラルネットワークの勾配の導出を示す。 我々の分析が、畳み込みネットワークを含むより一般的なニューラルネットワークアーキテクチャにどのように一般化するかを示す。
  論文  参考訳（メタデータ） (2022-09-27T08:14:00Z)
• Generalization Error Bounds for Iterative Recovery Algorithms Unfolded as Neural Networks [6.173968909465726]
  線形測定の少ないスパース再構成に適したニューラルネットワークの一般クラスを導入する。 層間の重量共有を広範囲に行うことで、全く異なるニューラルネットワークタイプに対する統一的な分析を可能にします。
  論文  参考訳（メタデータ） (2021-12-08T16:17:33Z)
• Galerkin Neural Networks: A Framework for Approximating Variational Equations with Error Control [0.0]
  本稿では,ニューラルネットワークを用いて変分方程式の解を近似する手法を提案する。 基本関数がニューラルネットワークの列の実現である有限次元部分空間の列を用いる。
  論文  参考訳（メタデータ） (2021-05-28T20:25:40Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)
• Optimization Theory for ReLU Neural Networks Trained with Normalization Layers [82.61117235807606]
  ディープニューラルネットワークの成功は、部分的には正規化レイヤの使用によるものだ。 我々の分析は、正規化の導入がランドスケープをどのように変化させ、より高速なアクティベーションを実現するかを示している。
  論文  参考訳（メタデータ） (2020-06-11T23:55:54Z)
• Regularizing Meta-Learning via Gradient Dropout [102.29924160341572]
  メタ学習モデルは、メタ学習者が一般化するのに十分なトレーニングタスクがない場合、過度に適合する傾向がある。 本稿では,勾配に基づくメタ学習において過度に適合するリスクを軽減するための,シンプルで効果的な手法を提案する。
  論文  参考訳（メタデータ） (2020-04-13T10:47:02Z)
• Understanding Generalization in Deep Learning via Tensor Methods [53.808840694241]
  圧縮の観点から,ネットワークアーキテクチャと一般化可能性の関係について理解を深める。 本稿では、ニューラルネットワークの圧縮性と一般化性を強く特徴付ける、直感的で、データ依存的で、測定が容易な一連の特性を提案する。
  論文  参考訳（メタデータ） (2020-01-14T22:26:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。