論文の概要: On the non-universality of deep learning: quantifying the cost of symmetry

• arxiv url: http://arxiv.org/abs/2208.03113v1
• Date: Fri, 5 Aug 2022 11:54:52 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-08 12:52:26.861380
• Title: On the non-universality of deep learning: quantifying the cost of symmetry
• Title（参考訳）: 深層学習の不均一性--対称性のコストの定量化
• Authors: Emmanuel Abbe, Enric Boix-Adsera
• Abstract要約: 雑音勾配降下法(GD)で学習したニューラルネットワークによる学習の計算限界を証明する。 我々は、完全接続ネットワークが二進ハイパーキューブと単位球上で弱学習できる機能の特徴付けを行う。 我々の手法は勾配降下(SGD)に拡張され、完全に接続されたネットワークで学習するための非自明な結果を示す。
• 参考スコア（独自算出の注目度）: 24.86176236641865
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We prove computational limitations for learning with neural networks trained by noisy gradient descent (GD). Our result applies whenever GD training is equivariant (true for many standard architectures), and quantifies the alignment needed between architectures and data in order for GD to learn. As applications, (i) we characterize the functions that fully-connected networks can weak-learn on the binary hypercube and unit sphere, demonstrating that depth-2 is as powerful as any other depth for this task; (ii) we extend the merged-staircase necessity result for learning with latent low-dimensional structure [ABM22] to beyond the mean-field regime. Our techniques extend to stochastic gradient descent (SGD), for which we show nontrivial hardness results for learning with fully-connected networks, based on cryptographic assumptions.
• Abstract（参考訳）: 雑音勾配降下法(GD)により学習したニューラルネットワークによる学習の計算限界を実証する。 我々の結果は、GDトレーニングが同変である場合(多くの標準アーキテクチャでは真)に適用され、GDが学習するために必要なアーキテクチャとデータ間のアライメントを定量化する。 応用として i) 完全連結ネットワークが二進超キューブと単位球上で弱学習できる機能を特徴付け、深さ2がこのタスクのどの深さよりも強力であることを示す。 (ii) 潜在低次元構造 [abm22] を用いた学習における統合階段の必要性を平均場体制を超えて拡張する。 提案手法は確率的勾配降下(sgd)にまで拡張され,暗号の仮定に基づいて,完全連結ネットワークを用いた学習における非自明なハードネス結果を示す。

関連論文リスト

• Repetita Iuvant: Data Repetition Allows SGD to Learn High-Dimensional Multi-Index Functions [20.036783417617652]
  勾配に基づくアルゴリズムを用いて学習した2層浅層ニューラルネットワークのトレーニング力学について検討する。 理想化シングルパス勾配勾配学習シナリオの簡単な修正により,その計算効率が大幅に向上することを示す。 この結果から,ネットワークが事前処理なしでデータから関連構造を学習できることが示唆された。
  論文  参考訳（メタデータ） (2024-05-24T11:34:31Z)
• Provable Guarantees for Nonlinear Feature Learning in Three-Layer Neural Networks [49.808194368781095]
  3層ニューラルネットワークは,2層ネットワークよりも特徴学習能力が豊富であることを示す。 この研究は、特徴学習体制における2層ネットワーク上の3層ニューラルネットワークの証明可能なメリットを理解するための前進である。
  論文  参考訳（メタデータ） (2023-05-11T17:19:30Z)
• On Feature Learning in Neural Networks with Global Convergence Guarantees [49.870593940818715]
  勾配流(GF)を用いた広帯域ニューラルネットワーク(NN)の最適化について検討する。 入力次元がトレーニングセットのサイズ以下である場合、トレーニング損失はGFの下での線形速度で0に収束することを示す。 また、ニューラル・タンジェント・カーネル(NTK)システムとは異なり、我々の多層モデルは特徴学習を示し、NTKモデルよりも優れた一般化性能が得られることを実証的に示す。
  論文  参考訳（メタデータ） (2022-04-22T15:56:43Z)
• The merged-staircase property: a necessary and nearly sufficient condition for SGD learning of sparse functions on two-layer neural networks [19.899987851661354]
  我々は,SGD-Lrnability with $O(d)$ sample complexity in a large ambient dimension。 本研究の主な成果は, 階層的特性である「マージ階段特性」を特徴付けるものである。 鍵となるツールは、潜在低次元部分空間上で定義される函数に適用される新しい「次元自由」力学近似である。
  論文  参考訳（メタデータ） (2022-02-17T13:43:06Z)
• Optimization-Based Separations for Neural Networks [57.875347246373956]
  本研究では,2層のシグモダルアクティベーションを持つディープ2ニューラルネットワークを用いて,ボールインジケータ関数を効率よく学習できることを示す。 これは最適化に基づく最初の分離結果であり、より強力なアーキテクチャの近似の利点は、実際に確実に現れる。
  論文  参考訳（メタデータ） (2021-12-04T18:07:47Z)
• Deep Networks Provably Classify Data on Curves [12.309532551321334]
  本研究では, 完全連結ニューラルネットワークを用いて, 単位球上の2つの不連続な滑らかな曲線から引き出されたデータを分類するモデル問題について検討する。 i) ネットワーク深度が問題の難易度と (ii) ネットワーク幅と標本数に固有の性質に比例すると, ランダムな勾配降下は2つの曲線上のすべての点を高い確率で正しく分類する。
  論文  参考訳（メタデータ） (2021-07-29T20:40:04Z)
• Unsupervised Scale-consistent Depth Learning from Video [131.3074342883371]
  本研究では,単眼深度推定器SC-Depthを提案する。 スケール一貫性予測の能力により,我々の単分子学習深層ネットワークは簡単にORB-SLAM2システムに統合可能であることを示す。 提案したハイブリッドPseudo-RGBD SLAMは、KITTIにおいて魅力的な結果を示し、追加のトレーニングなしでKAISTデータセットにうまく一般化する。
  論文  参考訳（メタデータ） (2021-05-25T02:17:56Z)
• Dual-constrained Deep Semi-Supervised Coupled Factorization Network with Enriched Prior [80.5637175255349]
  本稿では、DS2CF-Netと呼ばれる、拡張された事前制約付きDual-Constrained Deep Semi-Supervised Coupled Factorization Networkを提案する。 隠れた深い特徴を抽出するために、DS2CF-Netは、深い構造と幾何学的な構造に制約のあるニューラルネットワークとしてモデル化される。 我々のネットワークは、表現学習とクラスタリングのための最先端の性能を得ることができる。
  論文  参考訳（メタデータ） (2020-09-08T13:10:21Z)
• When Residual Learning Meets Dense Aggregation: Rethinking the Aggregation of Deep Neural Networks [57.0502745301132]
  我々は,グローバルな残差学習と局所的なマイクロセンスアグリゲーションを備えた新しいアーキテクチャであるMicro-Dense Netsを提案する。 我々のマイクロセンスブロックはニューラルアーキテクチャ検索に基づくモデルと統合して性能を向上させることができる。
  論文  参考訳（メタデータ） (2020-04-19T08:34:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。