論文の概要: Hardness of Learning Neural Networks under the Manifold Hypothesis
- arxiv url: http://arxiv.org/abs/2406.01461v1
- Date: Mon, 3 Jun 2024 15:50:32 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-05 22:20:27.971041
- Title: Hardness of Learning Neural Networks under the Manifold Hypothesis
- Title（参考訳）: マニフォールド仮説に基づくニューラルネットワーク学習の難しさ
- Authors: Bobak T. Kiani, Jason Wang, Melanie Weber,
- Abstract要約: 多様体仮説は、高次元データが低次元多様体上または近辺にあると仮定する。
多様体仮説に基づく学習の難しさについて検討する。
データ多様体の体積に関する追加の仮定は、これらの基本的な制限を緩和することを示します。
- 参考スコア（独自算出の注目度）: 3.2635082758250693
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The manifold hypothesis presumes that high-dimensional data lies on or near a low-dimensional manifold. While the utility of encoding geometric structure has been demonstrated empirically, rigorous analysis of its impact on the learnability of neural networks is largely missing. Several recent results have established hardness results for learning feedforward and equivariant neural networks under i.i.d. Gaussian or uniform Boolean data distributions. In this paper, we investigate the hardness of learning under the manifold hypothesis. We ask which minimal assumptions on the curvature and regularity of the manifold, if any, render the learning problem efficiently learnable. We prove that learning is hard under input manifolds of bounded curvature by extending proofs of hardness in the SQ and cryptographic settings for Boolean data inputs to the geometric setting. On the other hand, we show that additional assumptions on the volume of the data manifold alleviate these fundamental limitations and guarantee learnability via a simple interpolation argument. Notable instances of this regime are manifolds which can be reliably reconstructed via manifold learning. Looking forward, we comment on and empirically explore intermediate regimes of manifolds, which have heterogeneous features commonly found in real world data.
- Abstract（参考訳）: 多様体仮説は、高次元データが低次元多様体上または近辺にあると仮定する。
幾何学的構造を符号化する実用性は実証的に実証されているが、ニューラルネットワークの学習性に対するその影響の厳密な分析はほとんど欠落している。
いくつかの最近の結果は、ガウス的あるいは均一なブールデータ分布の下でフィードフォワードおよび同変ニューラルネットワークを学習するための硬度結果を確立している。
本稿では,多様体仮説に基づく学習の難しさについて考察する。
多様体の曲率と正則性に関する最小の仮定を問うが、もしある場合、学習問題を効率的に学習できる。
我々は、SQにおける硬さの証明とBooleanデータ入力の暗号設定を幾何学的設定に拡張することにより、有界曲率の入力多様体の下で学習が難しいことを証明した。
一方、データ多様体の体積に関する仮定は、これらの基本的な制限を緩和し、単純な補間引数を通して学習可能性を保証する。
この状態の顕著な例は多様体の学習を通じて確実に再構成できる多様体である。
今後は、実世界のデータによく見られる不均一な特徴を持つ多様体の中間規則についてコメントし、実証的に検討する。
関連論文リスト
- A Theoretical Study of Neural Network Expressive Power via Manifold Topology [9.054396245059555]
実世界のデータに関する一般的な仮定は、それが低次元多様体の上または近くにあるということである。
本研究では,潜在データ多様体のネットワーク表現力について検討する。
本稿では,ReLUニューラルネットワークのサイズ上限について述べる。
論文 参考訳（メタデータ） (2024-10-21T22:10:24Z) - Robust Distributed Learning: Tight Error Bounds and Breakdown Point
under Data Heterogeneity [11.2120847961379]
本稿では,より現実的な不均一性モデル,すなわち(G,B)-段階的な相似性について考察し,既存の理論よりも学習問題を扱えることを示す。
また、分散学習アルゴリズムの学習誤差に新たな低い境界があることも証明する。
論文 参考訳（メタデータ） (2023-09-24T09:29:28Z) - Gradient-Based Feature Learning under Structured Data [57.76552698981579]
異方性設定では、一般的に使用される球面勾配力学は真の方向を回復できないことがある。
バッチ正規化を連想させる適切な重み正規化は、この問題を軽減することができることを示す。
特に、スパイクモデルの下では、勾配に基づくトレーニングのサンプルの複雑さは情報指数とは独立にできる。
論文 参考訳（メタデータ） (2023-09-07T16:55:50Z) - On Deep Generative Models for Approximation and Estimation of
Distributions on Manifolds [38.311376714689]
生成ネットワークは、低次元の簡単サンプル分布から高次元の複素データを生成することができる。
このような低次元データ構造を、低次元多様体上でのデータ分布が支えられていると仮定して検討する。
ワッサーシュタイン-1の損失は、周囲のデータ次元ではなく内在次元に依存する速度でゼロに収束することを示す。
論文 参考訳（メタデータ） (2023-02-25T22:34:19Z) - Effects of Data Geometry in Early Deep Learning [16.967930721746672]
ディープニューラルネットワークは、画像からグラフまで、さまざまなタイプのデータ上の関数を、基礎構造によって近似することができる。
ニューラルネットワークが線形関数として振る舞う領域にデータ多様体を分割する。
論文 参考訳（メタデータ） (2022-12-29T17:32:05Z) - Convolutional Neural Networks on Manifolds: From Graphs and Back [122.06927400759021]
本稿では,多様体畳み込みフィルタと点次非線形性からなる多様体ニューラルネットワーク(MNN)を提案する。
要約すると、我々は大きなグラフの極限として多様体モデルに焦点を合わせ、MNNを構築するが、それでもMNNの離散化によってグラフニューラルネットワークを復活させることができる。
論文 参考訳（メタデータ） (2022-10-01T21:17:39Z) - Data-Efficient Learning via Minimizing Hyperspherical Energy [48.47217827782576]
本稿では,少数の代表データを用いたスクラッチからのデータ効率学習の問題について考察する。
我々は,MHEに基づくアクティブラーニング(MHEAL)アルゴリズムを提案し,MHEALの包括的な理論的保証を提供する。
論文 参考訳（メタデータ） (2022-06-30T11:39:12Z) - Multi-scale Feature Learning Dynamics: Insights for Double Descent [71.91871020059857]
一般化誤差の「二重降下」現象について検討する。
二重降下は、異なるスケールで学習される異なる特徴に起因する可能性がある。
論文 参考訳（メタデータ） (2021-12-06T18:17:08Z) - Inferring Manifolds From Noisy Data Using Gaussian Processes [17.166283428199634]
ほとんどの既存の多様体学習アルゴリズムは、元のデータを低次元座標で置き換える。
本稿では,これらの問題に対処するための新しい手法を提案する。
論文 参考訳（メタデータ） (2021-10-14T15:50:38Z) - High-dimensional separability for one- and few-shot learning [58.8599521537]
この作業は、実用的な質問、人工知能(AI)エラーの修正によって進められている。
特殊な外部デバイスである修正器が開発されている。従来のAIシステムを変更することなく、迅速かつ非イテレーティブなシステム修正を提供する必要がある。
AIシステムの新しいマルチコレクタが提示され、深層畳み込みニューラルネットワークによってエラーを予測し、新しいクラスのオブジェクトを学習する例が紹介される。
論文 参考訳（メタデータ） (2021-06-28T14:58:14Z) - A neural anisotropic view of underspecification in deep learning [60.119023683371736]
ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。
深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
論文 参考訳（メタデータ） (2021-04-29T14:31:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。