論文の概要: Hardness of Noise-Free Learning for Two-Hidden-Layer Neural Networks

• arxiv url: http://arxiv.org/abs/2202.05258v1
• Date: Thu, 10 Feb 2022 18:59:14 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-11 15:15:11.391282
• Title: Hardness of Noise-Free Learning for Two-Hidden-Layer Neural Networks
• Title（参考訳）: 二層ニューラルネットワークにおけるノイズフリー学習の難易度
• Authors: Sitan Chen, Aravind Gollakota, Adam R. Klivans, Raghu Meka
• Abstract要約: 標準(ノイズフリー)モデルにおけるガウス入力に対する2層ReLUネットワークを学習するために,指数関数的統計的クエリ(SQ)の下界を与える。 従来のSQの下限は、逆ノイズモデル(認識学習)や相関SQのような制限されたモデルに限られていた。 これらの手法を他の学習モデルに拡張する方法を示し、多くのよく研究されたケースにおいて、より効率的な還元が得られることを示す。
• 参考スコア（独自算出の注目度）: 21.687992445577226
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We give exponential statistical query (SQ) lower bounds for learning two-hidden-layer ReLU networks with respect to Gaussian inputs in the standard (noise-free) model. No general SQ lower bounds were known for learning ReLU networks of any depth in this setting: previous SQ lower bounds held only for adversarial noise models (agnostic learning) or restricted models such as correlational SQ. Prior work hinted at the impossibility of our result: Vempala and Wilmes showed that general SQ lower bounds cannot apply to any real-valued family of functions that satisfies a simple non-degeneracy condition. To circumvent their result, we refine a lifting procedure due to Daniely and Vardi that reduces Boolean PAC learning problems to Gaussian ones. We show how to extend their technique to other learning models and, in many well-studied cases, obtain a more efficient reduction. As such, we also prove new cryptographic hardness results for PAC learning two-hidden-layer ReLU networks, as well as new lower bounds for learning constant-depth ReLU networks from membership queries.
• Abstract（参考訳）: 標準(ノイズフリー)モデルにおけるガウス入力に対する2層ReLUネットワークを学習するために,指数統計クエリ(SQ)の下界を与える。 従来のSQ下位境界は、逆ノイズモデル(認識学習)や相関SQのような制限されたモデルにのみ保持されていた。 Vempala と Wilmes は、一般的な SQ の下限は、単純な非退化条件を満たす任意の実数値関数族には適用できないことを示した。 これらの結果を回避するために,Daniely と Vardi による昇降手順を改良し,ブールPAC学習問題をガウス学習に還元する。 この手法を他の学習モデルに拡張する方法を示し、多くのよく研究されたケースにおいて、より効率的な削減を得る方法を示す。 そこで我々は,PAC学習用2層ReLUネットワークに対する新しい暗号化難易度結果と,定数深度ReLUネットワークをメンバシップクエリから学習するための新しい下位境界を証明した。

関連論文リスト

• LinSATNet: The Positive Linear Satisfiability Neural Networks [116.65291739666303]
  本稿では,ニューラルネットワークに人気の高い正の線形満足度を導入する方法について検討する。 本稿では,古典的なシンクホーンアルゴリズムを拡張し,複数の辺分布の集合を共同で符号化する,最初の微分可能満足層を提案する。
  論文  参考訳（メタデータ） (2024-07-18T22:05:21Z)
• A Framework for Provably Stable and Consistent Training of Deep Feedforward Networks [4.21061712600981]
  本稿では、教師付き(分類と回帰)および教師なし(強化学習)シナリオにおいて、ディープニューラルネットワークを訓練するための新しいアルゴリズムを提案する。 このアルゴリズムは、標準降下勾配と勾配クリッピング法を組み合わせたものである。 理論的および実験を通して、我々のアルゴリズム更新はばらつきが低く、トレーニング損失はスムーズな方法で減少することを示す。
  論文  参考訳（メタデータ） (2023-05-20T07:18:06Z)
• Benign Overfitting for Two-layer ReLU Convolutional Neural Networks [60.19739010031304]
  ラベルフリップ雑音を持つ2層ReLU畳み込みニューラルネットワークを学習するためのアルゴリズム依存型リスクバウンダリを確立する。 緩やかな条件下では、勾配降下によってトレーニングされたニューラルネットワークは、ほぼゼロに近いトレーニング損失とベイズ最適試験リスクを達成できることを示す。
  論文  参考訳（メタデータ） (2023-03-07T18:59:38Z)
• Improved Convergence Guarantees for Shallow Neural Networks [91.3755431537592]
  勾配降下法により訓練された深度2ニューラルネットの収束度を世界最小とする。 我々のモデルには、二次損失関数による回帰、完全連結フィードフォワードアーキテクチャ、RelUアクティベーション、ガウスデータインスタンス、逆ラベルといった特徴がある。 彼らは、少なくとも我々のモデルでは、収束現象がNTK体制をはるかに超越していることを強く示唆している」。
  論文  参考訳（メタデータ） (2022-12-05T14:47:52Z)
• Nonparametric Regression with Shallow Overparameterized Neural Networks Trained by GD with Early Stopping [11.24426822697648]
  GD(Gradient Descent)によってトレーニングされたニューラルネットワークは,入力に対してスムーズであることを示す。 ノイズフリーの場合、証明はいかなる核化にも依存せず、有限幅の結果と見なすことができる。
  論文  参考訳（メタデータ） (2021-07-12T11:56:53Z)
• Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
  現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。 ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。 本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-06T19:08:53Z)
• Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
  暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。 彼らは不利な姿勢と収束の不安定さに悩まされる。 本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
  論文  参考訳（メタデータ） (2021-06-06T18:05:02Z)
• Tight Hardness Results for Training Depth-2 ReLU Networks [38.60407125604287]
  ReLUアクティベーション関数を用いた深度2ニューラルネットのトレーニングにおいて,いくつかの硬度結果が得られた。 私たちのゴールは、与えられたトレーニングセットに対する平方損失を最小限に抑えるディープ2ニューラルネットワークを出力することです。
  論文  参考訳（メタデータ） (2020-11-27T04:18:00Z)
• The Polynomial Method is Universal for Distribution-Free Correlational SQ Learning [9.036124518750732]
  Malach と Shalev-Shwartz (2022) を一般化し、学習公式に対する厳密な相関 SQ (CSQ) の下界を与えた。 任意の関数クラスのしきい値または近似次数に対する下限は、PACまたはDNF学習のためのCSQ下限を直接意味する。
  論文  参考訳（メタデータ） (2020-10-22T17:55:26Z)
• Understanding Self-supervised Learning with Dual Deep Networks [74.92916579635336]
  本稿では,2組の深層ReLUネットワークを用いたコントラスト型自己教師学習(SSL)手法を理解するための新しい枠組みを提案する。 種々の損失関数を持つSimCLRの各SGD更新において、各層の重みは共分散演算子によって更新されることを示す。 共分散演算子の役割と、そのようなプロセスでどのような特徴が学習されるかをさらに研究するために、我々は、階層的潜在木モデル(HLTM)を用いて、データ生成および増大過程をモデル化する。
  論文  参考訳（メタデータ） (2020-10-01T17:51:49Z)
• Superpolynomial Lower Bounds for Learning One-Layer Neural Networks using Gradient Descent [25.589302381660453]
  また,2乗空間分布に対する勾配勾配勾配を用いた場合,時間的誤差が小さいことを示す。 分類では,任意の統計的クエリ(SQ)が時間内に小さなテストエラーを達成できないという,より強力な結果が得られる。
  論文  参考訳（メタデータ） (2020-06-22T05:15:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。