論文の概要: Quantifying the Benefit of Using Differentiable Learning over Tangent Kernels

• arxiv url: http://arxiv.org/abs/2103.01210v1
• Date: Mon, 1 Mar 2021 18:54:13 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-05 20:25:15.873482
• Title: Quantifying the Benefit of Using Differentiable Learning over Tangent Kernels
• Title（参考訳）: タンジェントカーネル上での微分学習の利点の定量化
• Authors: Eran Malach, Pritish Kamath, Emmanuel Abbe, Nathan Srebro
• Abstract要約: 勾配降下は、関連する接核法がランダムな推測よりも非自明な利点を得られる場合に限り、小さな誤差をもたらす。 このような条件がなければ、特に接するカーネルを用いたカーネル法がランダムな推測よりも非自明な優位性を達成できない場合でも、勾配降下は小さな誤差で学習できることが示される。
• 参考スコア（独自算出の注目度）: 51.18614735359657
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study the relative power of learning with gradient descent on differentiable models, such as neural networks, versus using the corresponding tangent kernels. We show that under certain conditions, gradient descent achieves small error only if a related tangent kernel method achieves a non-trivial advantage over random guessing (a.k.a. weak learning), though this advantage might be very small even when gradient descent can achieve arbitrarily high accuracy. Complementing this, we show that without these conditions, gradient descent can in fact learn with small error even when no kernel method, in particular using the tangent kernel, can achieve a non-trivial advantage over random guessing.
• Abstract（参考訳）: ニューラルネットワークなどの微分可能なモデルに対する勾配降下による学習の相対的力と,対応する接するカーネルの利用について検討する。 ある条件下では、勾配降下は、関連する接核法がランダム推測よりも非自明なアドバンテージ(a.k.a.)を達成した場合にのみ小さな誤差をもたらす。 弱い学習) しかし、勾配降下が任意に高い精度を達成することができる場合でも、この利点は非常に小さい。 このような条件がなければ、特にタンジェントカーネルを使ったカーネル法がランダムな推測よりも非自明な優位性を達成できない場合でも、勾配降下は小さな誤差で学習できることが示される。

関連論文リスト

• An Adaptive Stochastic Gradient Method with Non-negative Gauss-Newton Stepsizes [17.804065824245402]
  機械学習の応用では、各損失関数は非負であり、平方根とその実数値平方根の構成として表すことができる。 本稿では, ガウス・ニュートン法やレフスカルト法を適用して, 滑らかだが非負な関数の平均を最小化する方法を示す。
  論文  参考訳（メタデータ） (2024-07-05T08:53:06Z)
• How to guess a gradient [68.98681202222664]
  我々は、勾配が以前考えられていたよりもより構造化されていることを示す。 この構造をエクスプロイトすると、勾配のない最適化スキームが大幅に改善される。 厳密な勾配の最適化と勾配の推測の間に大きなギャップを克服する上での新たな課題を強調した。
  論文  参考訳（メタデータ） (2023-12-07T21:40:44Z)
• Controlling the Inductive Bias of Wide Neural Networks by Modifying the Kernel's Spectrum [18.10812063219831]
  所望の固有値を持つカーネルに改良スペクトルカーネル(MSK)を導入する。 本研究では,勾配勾配の軌道を変化させる事前条件付き勾配降下法を提案する。 私たちの手法は計算効率が良く、実装も簡単です。
  論文  参考訳（メタデータ） (2023-07-26T22:39:47Z)
• Stochastic Marginal Likelihood Gradients using Neural Tangent Kernels [78.6096486885658]
  線形化されたラプラス近似に下界を導入する。 これらの境界は漸進的な最適化が可能であり、推定精度と計算複雑性とのトレードオフを可能にする。
  論文  参考訳（メタデータ） (2023-06-06T19:02:57Z)
• On the Benefits of Large Learning Rates for Kernel Methods [110.03020563291788]
  本稿では,カーネル手法のコンテキストにおいて,現象を正確に特徴付けることができることを示す。 分離可能なヒルベルト空間における2次対象の最小化を考慮し、早期停止の場合、学習速度の選択が得られた解のスペクトル分解に影響を及ぼすことを示す。
  論文  参考訳（メタデータ） (2022-02-28T13:01:04Z)
• High-probability Bounds for Non-Convex Stochastic Optimization with Heavy Tails [55.561406656549686]
  我々は、勾配推定が末尾を持つ可能性のある一階アルゴリズムを用いたヒルベルト非最適化を考える。 本研究では, 勾配, 運動量, 正規化勾配勾配の収束を高確率臨界点に収束させることと, 円滑な損失に対する最もよく知られた繰り返しを示す。
  論文  参考訳（メタデータ） (2021-06-28T00:17:01Z)
• Benefit of deep learning with non-convex noisy gradient descent: Provable excess risk bound and superiority to kernel methods [41.60125423028092]
  線形推定器は,極小値の最適値の意味で,ディープラーニングにより性能が向上することを示した。 過剰な境界はいわゆる高速学習率であり、$O境界よりも高速である。
  論文  参考訳（メタデータ） (2020-12-06T09:22:16Z)
• Tight Second-Order Certificates for Randomized Smoothing [106.06908242424481]
  また、ガウス的ランダムな滑らか化のための普遍曲率的境界が存在することを示す。 この新たな証明書の正確性を証明することに加えて、SoS証明書は実現可能であり、したがって厳密であることを示す。
  論文  参考訳（メタデータ） (2020-10-20T18:03:45Z)
• Reparametrizing gradient descent [0.0]
  本稿では,ノルム適応勾配勾配という最適化アルゴリズムを提案する。 我々のアルゴリズムは準ニュートン法と比較することもできるが、定常点ではなく根を求める。
  論文  参考訳（メタデータ） (2020-10-09T20:22:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。