論文の概要: On the Hardness of Learning One Hidden Layer Neural Networks

• arxiv url: http://arxiv.org/abs/2410.03477v1
• Date: Fri, 4 Oct 2024 14:48:13 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-02 21:59:46.025051
• Title: On the Hardness of Learning One Hidden Layer Neural Networks
• Title（参考訳）: 階層型ニューラルネットワークの学習の難しさについて
• Authors: Shuchen Li, Ilias Zadik, Manolis Zampetakis,
• Abstract要約: 我々は、$mathbbRd$からの入力でReLUニューラルネットワークの隠れ層を学習する問題を考察する。 この学習問題は、ニューラルネットワークのサイズが$d$である場合でも、標準的な暗号的仮定の下では困難であることを示す。
• 参考スコア（独自算出の注目度）: 14.341197440301576
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work, we consider the problem of learning one hidden layer ReLU neural networks with inputs from $\mathbb{R}^d$. We show that this learning problem is hard under standard cryptographic assumptions even when: (1) the size of the neural network is polynomial in $d$, (2) its input distribution is a standard Gaussian, and (3) the noise is Gaussian and polynomially small in $d$. Our hardness result is based on the hardness of the Continuous Learning with Errors (CLWE) problem, and in particular, is based on the largely believed worst-case hardness of approximately solving the shortest vector problem up to a multiplicative polynomial factor.
• Abstract（参考訳）: 本研究では,1つの隠れ層ReLUニューラルネットワークを$\mathbb{R}^d$から入力することで学習する問題を考察する。 この学習問題は,(1)ニューラルネットワークのサイズが$d$の多項式であり,(2)入力分布が標準ガウスであり,(3)ノイズがガウスで$d$の多項式が小さい場合においても,標準的な暗号的仮定の下では困難であることを示す。 我々の硬さは、連続学習エラー(CLWE)問題の硬さに基づいており、特に、最も短いベクトル問題を乗算多項式係数まで解くという、最も難しい硬さに基づいている。

関連論文リスト

• LinSATNet: The Positive Linear Satisfiability Neural Networks [116.65291739666303]
  本稿では,ニューラルネットワークに人気の高い正の線形満足度を導入する方法について検討する。 本稿では,古典的なシンクホーンアルゴリズムを拡張し,複数の辺分布の集合を共同で符号化する,最初の微分可能満足層を提案する。
  論文  参考訳（メタデータ） (2024-07-18T22:05:21Z)
• Computational Complexity of Learning Neural Networks: Smoothness and Degeneracy [52.40331776572531]
  ガウス入力分布下での学習深度3$ReLUネットワークはスムーズな解析フレームワークにおいても困難であることを示す。 この結果は, 局所擬似乱数発生器の存在についてよく研究されている。
  論文  参考訳（メタデータ） (2023-02-15T02:00:26Z)
• Learning Polynomial Transformations [41.30404402331856]
  ガウスの高次元二次変換を学習する問題を考察する。 我々の結果はガウス分布だけでなく、任意の不変な入力分布にまで拡張される。 また、テンソル環分解の証明可能な保証を持つ最初の分解時間アルゴリズムを与える。
  論文  参考訳（メタデータ） (2022-04-08T17:59:31Z)
• The Separation Capacity of Random Neural Networks [78.25060223808936]
  標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。 我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
  論文  参考訳（メタデータ） (2021-07-31T10:25:26Z)
• Conditional physics informed neural networks [85.48030573849712]
  固有値問題のクラス解を推定するための条件付きPINN(物理情報ニューラルネットワーク)を紹介します。 一つのディープニューラルネットワークが、問題全体に対する偏微分方程式の解を学習できることが示される。
  論文  参考訳（メタデータ） (2021-04-06T18:29:14Z)
• Self-Regularity of Non-Negative Output Weights for Overparameterized Two-Layer Neural Networks [16.64116123743938]
  我々は、Sigmoid, rectified linear unit (ReLU) を用いた2層ニューラルネットワークの探索問題を考える。 そして、その境界を利用して、Emphfat-shattering dimensionを通じてそのようなネットワークの保証を確立する。 特に、我々の境界はサンプルの複雑さも良い(低次数$$d$のポリノミアル)。
  論文  参考訳（メタデータ） (2021-03-02T17:36:03Z)
• From Local Pseudorandom Generators to Hardness of Learning [43.47952928399709]
  局所擬似乱数発生器の存在に関する十分に研究された仮定の下で学習の硬度の結果を証明します。 結果は以下のとおりである: $omega(1)$ halfspaces の交点を学習するハードネス、$omega(1)$ 項を持つ dnf 公式、および $omega(1)$ 隠れニューロンを持つ relu ネットワーク。
  論文  参考訳（メタデータ） (2021-01-20T20:07:47Z)
• Vector-output ReLU Neural Network Problems are Copositive Programs: Convex Analysis of Two Layer Networks and Polynomial-time Algorithms [29.975118690758126]
  2層ベクトル無限ReLUニューラルネットワークトレーニング問題の半出力グローバル双対について述べる。 特定の問題のクラスに対して正確であることが保証されるソリューションを提供する。
  論文  参考訳（メタデータ） (2020-12-24T17:03:30Z)
• Learning Over-Parametrized Two-Layer ReLU Neural Networks beyond NTK [58.5766737343951]
  2層ニューラルネットワークを学習する際の降下のダイナミクスについて考察する。 過度にパラメータ化された2層ニューラルネットワークは、タンジェントサンプルを用いて、ほとんどの地上で勾配損失を許容的に学習できることを示す。
  論文  参考訳（メタデータ） (2020-07-09T07:09:28Z)
• Neural Networks are Convex Regularizers: Exact Polynomial-time Convex Optimization Formulations for Two-layer Networks [70.15611146583068]
  我々は、線形整列ユニット(ReLU)を用いた2層ニューラルネットワークのトレーニングの正確な表現を開発する。 我々の理論は半無限双対性と最小ノルム正規化を利用する。
  論文  参考訳（メタデータ） (2020-02-24T21:32:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。