論文の概要: Algorithms for Efficiently Learning Low-Rank Neural Networks
- arxiv url: http://arxiv.org/abs/2202.00834v1
- Date: Wed, 2 Feb 2022 01:08:29 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-03 13:53:57.678080
- Title: Algorithms for Efficiently Learning Low-Rank Neural Networks
- Title（参考訳）: 低ランクニューラルネットワークを効率的に学習するためのアルゴリズム
- Authors: Kiran Vodrahalli and Rakesh Shivanna and Mahesh Sathiamoorthy and
Sagar Jain and Ed Chi
- Abstract要約: 低ランクニューラルネットワークの学習アルゴリズムについて検討する。
単層ReLUネットワークに最適な低ランク近似を学習するアルゴリズムを提案する。
- 参考スコア（独自算出の注目度）: 5.974778743092435
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: We study algorithms for learning low-rank neural networks -- networks where
the weight parameters are re-parameterized by products of two low-rank
matrices. First, we present a provably efficient algorithm which learns an
optimal low-rank approximation to a single-hidden-layer ReLU network up to
additive error $\epsilon$ with probability $\ge 1 - \delta$, given access to
noiseless samples with Gaussian marginals in polynomial time and samples. Thus,
we provide the first example of an algorithm which can efficiently learn a
neural network up to additive error without assuming the ground truth is
realizable. To solve this problem, we introduce an efficient SVD-based
\textit{Nonlinear Kernel Projection} algorithm for solving a nonlinear low-rank
approximation problem over Gaussian space. Inspired by the efficiency of our
algorithm, we propose a novel low-rank initialization framework for training
low-rank \textit{deep} networks, and prove that for ReLU networks, the gap
between our method and existing schemes widens as the desired rank of the
approximating weights decreases, or as the dimension of the inputs increases
(the latter point holds when network width is superlinear in dimension).
Finally, we validate our theory by training ResNets and EfficientNets
\citep{he2016deepresidual, tan2019efficientnet} models on ImageNet
\citep{ILSVRC15}.
- Abstract（参考訳）: 2つの低ランク行列の積によって重みパラメータが再パラメータ化されるネットワークである低ランクニューラルネットワークの学習アルゴリズムについて検討する。
まず,単一階層reluネットワークに対する最適低ランク近似を,多項式時間とサンプルでガウス辺数を持つノイズのないサンプルへのアクセスを与えられた確率$\\ge 1 - \delta$で加法誤差$\epsilon$まで学習する。
そこで本研究では,基礎的真理が実現可能と仮定することなく,加算誤差までニューラルネットワークを効率的に学習できるアルゴリズムの最初の例を示す。
この問題を解決するために,ガウス空間上の非線形低ランク近似問題を解くために,効率的なsvdベースの \textit{nonlinear kernel projection}アルゴリズムを導入する。
このアルゴリズムの効率性に触発されて,低ランクの \textit{deep}ネットワークをトレーニングするための新しい低ランク初期化フレームワークを提案し,reluネットワークにおいて,近似重みの所望のランクや入力の次元が増加するにつれて,提案手法と既存スキームのギャップが拡大することを示す。
最後に、ImageNet \citep{ILSVRC15}上でResNetsおよびEfficientNets \citep{he2016deepresidual, tan2019efficientnet}モデルをトレーニングすることにより、我々の理論を検証する。
関連論文リスト
- Bayes-optimal learning of an extensive-width neural network from quadratically many samples [28.315491743569897]
本研究では,単一層ニューラルネットワークに対応する対象関数を学習する問題を考察する。
入力次元とネットワーク幅が比例的に大きい限界を考える。
論文 参考訳（メタデータ） (2024-08-07T12:41:56Z) - LinSATNet: The Positive Linear Satisfiability Neural Networks [116.65291739666303]
本稿では,ニューラルネットワークに人気の高い正の線形満足度を導入する方法について検討する。
本稿では,古典的なシンクホーンアルゴリズムを拡張し,複数の辺分布の集合を共同で符号化する,最初の微分可能満足層を提案する。
論文 参考訳（メタデータ） (2024-07-18T22:05:21Z) - Optimization Guarantees of Unfolded ISTA and ADMM Networks With Smooth
Soft-Thresholding [57.71603937699949]
我々は,学習エポックの数の増加とともに,ほぼゼロに近いトレーニング損失を達成するための最適化保証について検討した。
トレーニングサンプル数に対する閾値は,ネットワーク幅の増加とともに増加することを示す。
論文 参考訳（メタデータ） (2023-09-12T13:03:47Z) - Unfolded proximal neural networks for robust image Gaussian denoising [7.018591019975253]
本稿では,二元FBと二元Chambolle-Pockアルゴリズムの両方に基づいて,ガウス分母タスクのためのPNNを統一的に構築するフレームワークを提案する。
また、これらのアルゴリズムの高速化により、関連するNN層におけるスキップ接続が可能であることを示す。
論文 参考訳（メタデータ） (2023-08-06T15:32:16Z) - On Model Compression for Neural Networks: Framework, Algorithm, and Convergence Guarantee [21.818773423324235]
本稿では,低ランク近似と重み近似の2つのモデル圧縮手法に焦点を当てた。
本稿では,非最適化の新たな視点から,モデル圧縮のための全体論的なフレームワークを提案する。
論文 参考訳（メタデータ） (2023-03-13T02:14:42Z) - Efficient Dataset Distillation Using Random Feature Approximation [109.07737733329019]
本稿では,ニューラルネットワークガウス過程(NNGP)カーネルのランダム特徴近似(RFA)を用いた新しいアルゴリズムを提案する。
我々のアルゴリズムは、KIP上で少なくとも100倍のスピードアップを提供し、1つのGPUで実行できる。
RFA蒸留 (RFAD) と呼ばれる本手法は, 大規模データセットの精度において, KIP や他のデータセット凝縮アルゴリズムと競合して動作する。
論文 参考訳（メタデータ） (2022-10-21T15:56:13Z) - Robust Training and Verification of Implicit Neural Networks: A
Non-Euclidean Contractive Approach [64.23331120621118]
本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。
組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。
MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
論文 参考訳（メタデータ） (2022-08-08T03:13:24Z) - Efficiently Learning Any One Hidden Layer ReLU Network From Queries [27.428198343906352]
ネットワークへのブラックボックスアクセスを提供するニューラルネットワークアクティベーションを任意の1つの隠蔽層で学習するアルゴリズムを初めて提供する。
最悪のネットワークであっても、完全時間で効率を保証できるのはこれが初めてです。
論文 参考訳（メタデータ） (2021-11-08T18:59:40Z) - Unfolding Projection-free SDP Relaxation of Binary Graph Classifier via
GDPA Linearization [59.87663954467815]
アルゴリズムの展開は、モデルベースのアルゴリズムの各イテレーションをニューラルネットワーク層として実装することにより、解釈可能で類似のニューラルネットワークアーキテクチャを生成する。
本稿では、Gershgorin disc perfect alignment (GDPA)と呼ばれる最近の線形代数定理を利用して、二進グラフの半定値プログラミング緩和(SDR)のためのプロジェクションフリーアルゴリズムをアンロールする。
実験結果から,我々の未学習ネットワークは純粋モデルベースグラフ分類器よりも優れ,純粋データ駆動ネットワークに匹敵する性能を示したが,パラメータははるかに少なかった。
論文 参考訳（メタデータ） (2021-09-10T07:01:15Z) - Revisiting Recursive Least Squares for Training Deep Neural Networks [10.44340837533087]
再帰最小二乗法(RLS)アルゴリズムは、その高速収束のため、かつては小規模ニューラルネットワークのトレーニングに広く用いられていた。
従来のRSSアルゴリズムは、計算複雑性が高く、事前条件が多すぎるため、ディープニューラルネットワーク(DNN)のトレーニングには適さない。
本稿では,フィードフォワードニューラルネットワーク,畳み込みニューラルネットワーク,リカレントニューラルネットワークの3つの新しいRSS最適化アルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-09-07T17:43:51Z) - Communication-Efficient Distributed Stochastic AUC Maximization with
Deep Neural Networks [50.42141893913188]
本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。
我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。
いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
論文 参考訳（メタデータ） (2020-05-05T18:08:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。