論文の概要: Learning and Generalization in Overparameterized Normalizing Flows

• arxiv url: http://arxiv.org/abs/2106.10535v1
• Date: Sat, 19 Jun 2021 17:11:42 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-22 15:56:47.547415
• Title: Learning and Generalization in Overparameterized Normalizing Flows
• Title（参考訳）: 過パラメータ正規化流れの学習と一般化
• Authors: Kulin Shah, Amit Deshpande, Navin Goyal
• Abstract要約: 正規化フロー(NF)は教師なし学習において重要なモデルのクラスである。 既存のNFモデルの大部分を含むNFのクラスでは、過度なパラメトリゼーションがトレーニングを損なうという理論的および実証的な証拠を提供する。 ネットワークが過度にパラメータ化されている場合、最小限の仮定の下で、制約のないNFが妥当なデータ分布を効率的に学習できることを実証する。
• 参考スコア（独自算出の注目度）: 13.074242275886977
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: In supervised learning, it is known that overparameterized neural networks with one hidden layer provably and efficiently learn and generalize, when trained using stochastic gradient descent with sufficiently small learning rate and suitable initialization. In contrast, the benefit of overparameterization in unsupervised learning is not well understood. Normalizing flows (NFs) constitute an important class of models in unsupervised learning for sampling and density estimation. In this paper, we theoretically and empirically analyze these models when the underlying neural network is one-hidden-layer overparameterized network. Our main contributions are two-fold: (1) On the one hand, we provide theoretical and empirical evidence that for a class of NFs containing most of the existing NF models, overparametrization hurts training. (2) On the other hand, we prove that unconstrained NFs, a recently introduced model, can efficiently learn any reasonable data distribution under minimal assumptions when the underlying network is overparametrized.
• Abstract（参考訳）: 教師あり学習では、十分な学習率と適切な初期化率を持つ確率的勾配降下法を用いて学習した場合、1つの隠れ層を持つ過パラメータニューラルネットワークが証明可能かつ効率的に学習・一般化されることが知られている。 対照的に、教師なし学習における過剰パラメータ化の利点はよく理解されていない。 正規化フロー(NF)は、サンプリングと密度推定のための教師なし学習において重要なモデルのクラスである。 本稿では,基礎となるニューラルネットワークが1層過パラメータネットワークである場合のモデル解析を理論的に実証的に行う。 1)既存のNFモデルの大部分を含むNFのクラスでは、過度なパラメータ化がトレーニングを損なうという理論的および実証的な証拠を提供する。 一方,最近導入されたモデルである非制約NFは,ネットワークが過度にパラメータ化されている場合,最小限の仮定の下で合理的なデータ分布を効率的に学習できることを示す。

関連論文リスト

• A Survey on Statistical Theory of Deep Learning: Approximation, Training Dynamics, and Generative Models [13.283281356356161]
  本稿では3つの観点から,ニューラルネットワークの統計理論に関する文献をレビューする。 ニューラルネットワークの過剰なリスクに関する調査結果をレビューする。 ニューラルネットワークが、目に見えないデータでうまく一般化できるソリューションを見つける方法に答えようとする論文」をレビューする。
  論文  参考訳（メタデータ） (2024-01-14T02:30:19Z)
• Fundamental limits of overparametrized shallow neural networks for supervised learning [11.136777922498355]
  本研究では,教師ネットワークが生成した入力-出力ペアから学習した2層ニューラルネットワークについて検討する。 この結果は,トレーニングデータとネットワーク重み間の相互情報,すなわちベイズ最適一般化誤差に関連する境界の形で得られる。
  論文  参考訳（メタデータ） (2023-07-11T08:30:50Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Joint Edge-Model Sparse Learning is Provably Efficient for Graph Neural Networks [89.28881869440433]
  本稿では,グラフニューラルネットワーク(GNN)における結合エッジモデルスパース学習の理論的特徴について述べる。 解析学的には、重要なノードをサンプリングし、最小のマグニチュードでプルーニングニューロンをサンプリングすることで、サンプルの複雑さを減らし、テスト精度を損なうことなく収束を改善することができる。
  論文  参考訳（メタデータ） (2023-02-06T16:54:20Z)
• Neural networks trained with SGD learn distributions of increasing complexity [78.30235086565388]
  勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。 その後、トレーニング中にのみ高次の統計を利用する。 本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
  論文  参考訳（メタデータ） (2022-11-21T15:27:22Z)
• Network Gradient Descent Algorithm for Decentralized Federated Learning [0.2867517731896504]
  本稿では,コミュニケーションベースネットワーク上で実行される新しい勾配勾配アルゴリズムである,完全に分散化されたフェデレーション学習アルゴリズムについて検討する。 NGD法では、統計(パラメータ推定など)のみを通信し、プライバシーのリスクを最小限に抑える必要がある。 学習速度とネットワーク構造の両方が,NGD推定器の統計的効率を決定する上で重要な役割を担っていることがわかった。
  論文  参考訳（メタデータ） (2022-05-06T02:53:31Z)
• On Feature Learning in Neural Networks with Global Convergence Guarantees [49.870593940818715]
  勾配流(GF)を用いた広帯域ニューラルネットワーク(NN)の最適化について検討する。 入力次元がトレーニングセットのサイズ以下である場合、トレーニング損失はGFの下での線形速度で0に収束することを示す。 また、ニューラル・タンジェント・カーネル(NTK)システムとは異なり、我々の多層モデルは特徴学習を示し、NTKモデルよりも優れた一般化性能が得られることを実証的に示す。
  論文  参考訳（メタデータ） (2022-04-22T15:56:43Z)
• With Greater Distance Comes Worse Performance: On the Perspective of Layer Utilization and Model Generalization [3.6321778403619285]
  ディープニューラルネットワークの一般化は、マシンラーニングにおける主要なオープンな問題の1つだ。 初期のレイヤは一般的に、トレーニングデータとテストデータの両方のパフォーマンスに関する表現を学びます。 より深いレイヤは、トレーニングのリスクを最小限に抑え、テストや不正なラベル付けされたデータとうまく連携できない。
  論文  参考訳（メタデータ） (2022-01-28T05:26:32Z)
• FF-NSL: Feed-Forward Neural-Symbolic Learner [70.978007919101]
  本稿では,Feed-Forward Neural-Symbolic Learner (FF-NSL) と呼ばれるニューラルシンボリック学習フレームワークを紹介する。 FF-NSLは、ラベル付き非構造化データから解釈可能な仮説を学習するために、Answer Setセマンティクスに基づく最先端のICPシステムとニューラルネットワークを統合する。
  論文  参考訳（メタデータ） (2021-06-24T15:38:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。