論文の概要: Generalized Leverage Score Sampling for Neural Networks
- arxiv url: http://arxiv.org/abs/2009.09829v1
- Date: Mon, 21 Sep 2020 14:46:01 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-16 04:14:54.292099
- Title: Generalized Leverage Score Sampling for Neural Networks
- Title（参考訳）: ニューラルネットワークのための一般化レバレッジスコアサンプリング
- Authors: Jason D. Lee, Ruoqi Shen, Zhao Song, Mengdi Wang, Zheng Yu
- Abstract要約: レバレッジスコアサンプリング(英: Leverage score sample)は、理論計算機科学に由来する強力な技術である。
本研究では、[Avron, Kapralov, Musco, Musco, Musco, Velingker, Zandieh 17] の結果をより広範なカーネルのクラスに一般化する。
- 参考スコア（独自算出の注目度）: 82.95180314408205
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Leverage score sampling is a powerful technique that originates from
theoretical computer science, which can be used to speed up a large number of
fundamental questions, e.g. linear regression, linear programming,
semi-definite programming, cutting plane method, graph sparsification, maximum
matching and max-flow. Recently, it has been shown that leverage score sampling
helps to accelerate kernel methods [Avron, Kapralov, Musco, Musco, Velingker
and Zandieh 17].
In this work, we generalize the results in [Avron, Kapralov, Musco, Musco,
Velingker and Zandieh 17] to a broader class of kernels. We further bring the
leverage score sampling into the field of deep learning theory.
$\bullet$ We show the connection between the initialization for neural
network training and approximating the neural tangent kernel with random
features.
$\bullet$ We prove the equivalence between regularized neural network and
neural tangent kernel ridge regression under the initialization of both
classical random Gaussian and leverage score sampling.
- Abstract（参考訳）: レバレッジスコアサンプリング(英: Leverage score sample)は、線形回帰、線形プログラミング、半定値プログラミング、切削平面法、グラフスパリフィケーション、最大マッチング、最大フローなど、多くの基本的な問題を高速化するために用いられる理論計算機科学に由来する強力な手法である。
近年、レバレッジスコアサンプリングはカーネルメソッド(Avron, Kapralov, Musco, Musco, Velingker, Zandieh 17]の高速化に役立つことが示されている。
本研究では、[Avron, Kapralov, Musco, Musco, Musco, Velingker, Zandieh 17] の結果をより広範なカーネルのクラスに一般化する。
我々はさらに、レバレッジスコアサンプリングをディープラーニング理論の分野に持ち込む。
$\bullet$ ニューラルネットワークトレーニングの初期化と、ランダムな特徴を持つニューラルネットワークカーネルの近似の関連性を示す。
正規化ニューラルネットワークと神経接核リッジ回帰の等価性を、古典的ランダムガウス法とスコアサンプリング法の両方の初期化の下で証明する。
関連論文リスト
- Neural Network-Based Score Estimation in Diffusion Models: Optimization
and Generalization [12.812942188697326]
拡散モデルは、忠実さ、柔軟性、堅牢性を改善した高品質なサンプルを生成する際に、GANと競合する強力なツールとして登場した。
これらのモデルの主要な構成要素は、スコアマッチングを通じてスコア関数を学ぶことである。
様々なタスクにおいて経験的な成功にもかかわらず、勾配に基づくアルゴリズムが証明可能な精度でスコア関数を学習できるかどうかは不明である。
論文 参考訳（メタデータ） (2024-01-28T08:13:56Z) - Globally Optimal Training of Neural Networks with Threshold Activation
Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。
ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文 参考訳（メタデータ） (2023-03-06T18:59:13Z) - Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK [86.45209429863858]
ニューラル・タンジェント・カーネル(NTK)における一層ReLUネットワークのトレーニングについて検討した。
我々は、ニューラルネットワークが、テクティトビア一般化NTKと呼ばれる異なる制限カーネルを持っていることを示した。
ニューラルネットの様々な特性をこの新しいカーネルで研究する。
論文 参考訳（メタデータ） (2023-01-01T02:11:39Z) - Critical Initialization of Wide and Deep Neural Networks through Partial
Jacobians: General Theory and Applications [6.579523168465526]
ネットワークの固有ヤコビアン(enmphpartial Jacobians)を導入し、層$l$におけるプレアクティベーションの微分として定義し、層$l_0leq l$におけるプレアクティベーションについて述べる。
我々は,部分ジャコビアンのノルムに対する再帰関係を導出し,これらの関係を利用して,LayerNormおよび/または残留接続を用いたディープ・完全連結ニューラルネットワークの臨界度を解析する。
論文 参考訳（メタデータ） (2021-11-23T20:31:42Z) - Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity
on Pruned Neural Networks [79.74580058178594]
目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。
本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
論文 参考訳（メタデータ） (2021-10-12T01:11:07Z) - Random Features for the Neural Tangent Kernel [57.132634274795066]
完全接続型ReLUネットワークのニューラルタンジェントカーネル(NTK)の効率的な特徴マップ構築を提案する。
得られた特徴の次元は、理論と実践の両方で比較誤差境界を達成するために、他のベースライン特徴マップ構造よりもはるかに小さいことを示しています。
論文 参考訳（メタデータ） (2021-04-03T09:08:12Z) - Fast Adaptation with Linearized Neural Networks [35.43406281230279]
ニューラルネットワークの線形化の帰納的バイアスについて検討し,全ネットワーク関数の驚くほどよい要約であることを示した。
この発見に触発されて,これらの帰納的バイアスをネットワークのヤコビアンから設計されたカーネルを通してガウス過程に埋め込む手法を提案する。
この設定では、領域適応は不確実性推定を伴う解釈可能な後方推論の形式を取る。
論文 参考訳（メタデータ） (2021-03-02T03:23:03Z) - Classifying high-dimensional Gaussian mixtures: Where kernel methods
fail and neural networks succeed [27.38015169185521]
2層ニューラルネットワーク (2lnn) の隠れたニューロンがカーネル学習の性能を上回ることができることを理論的に示している。
ニューラルネットワークのオーバーパラメータが収束を早めるが、最終的な性能は改善しないことを示す。
論文 参考訳（メタデータ） (2021-02-23T15:10:15Z) - A Deep Conditioning Treatment of Neural Networks [37.192369308257504]
本研究では,入力データの特定のカーネル行列の条件付けを改善することにより,ニューラルネットワークのトレーニング性を向上させることを示す。
ニューラルネットワークの上位層のみのトレーニングと、ニューラルネットワークのタンジェントカーネルを通じてすべてのレイヤをトレーニングするための学習を行うためのバージョンを提供しています。
論文 参考訳（メタデータ） (2020-02-04T20:21:36Z) - MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。
グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。
確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
論文 参考訳（メタデータ） (2020-01-28T18:25:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。