論文の概要: Sparsity by Redundancy: Solving $L_1$ with a Simple Reparametrization
- arxiv url: http://arxiv.org/abs/2210.01212v1
- Date: Mon, 3 Oct 2022 20:07:51 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-05 13:30:14.526045
- Title: Sparsity by Redundancy: Solving $L_1$ with a Simple Reparametrization
- Title（参考訳）: 冗長性によるスパシティ:単純な再パラメータ化による$L_1$の解決
- Authors: Liu Ziyin, Zihao Wang
- Abstract要約: 冗長なパラメトリゼーションと$L$ペナルティは、ディープラーニングにおける構造化された非構造化の間隔を達成するために使用できる。
単純なアルゴリズム、textitspredは、任意の現代的なディープラーニングフレームワークに$L_$正規化をシームレスに統合する。
この結果は,深層学習や従来の統計学習に共通する冗長なパラメトリゼーションの帰納的バイアスの理解のギャップを埋めるものである。
- 参考スコア（独自算出の注目度）: 6.2255027793924285
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We identify and prove a general principle: $L_1$ sparsity can be achieved
using a redundant parametrization plus $L_2$ penalty. Our results lead to a
simple algorithm, \textit{spred}, that seamlessly integrates $L_1$
regularization into any modern deep learning framework. Practically, we
demonstrate (1) the efficiency of \textit{spred} in optimizing conventional
tasks such as lasso and sparse coding, (2) benchmark our method for nonlinear
feature selection of six gene selection tasks, and (3) illustrate the usage of
the method for achieving structured and unstructured sparsity in deep learning
in an end-to-end manner. Conceptually, our result bridges the gap in
understanding the inductive bias of the redundant parametrization common in
deep learning and conventional statistical learning.
- Abstract（参考訳）: l_1$ sparsityは冗長パラメトリゼーションと$l_2$ペナルティを使って実現できます。
この結果は、l_1$正規化を任意の最新のディープラーニングフレームワークにシームレスに統合する、単純なアルゴリズムである \textit{spred} につながります。
実際に,(1)ラッソやスパースコーディングなどの従来のタスクの最適化における \textit{spred}の効率を実証し,(2)6つの遺伝子選択タスクの非線形特徴選択法をベンチマークし,(3)ディープラーニングにおける構造的・非構造的スパース性を達成する方法の使用をエンドツーエンドで示す。
概念的には,深層学習と従来の統計学習に共通する冗長パラメトリゼーションの帰納的バイアスの理解のギャップを橋渡しする。
関連論文リスト
- Convergence Rate Analysis of LION [54.28350823319057]
LION は、勾配カルシュ=クーン=T (sqrtdK-)$で測定された $cal(sqrtdK-)$ の反復を収束する。
従来のSGDと比較して,LIONは損失が小さく,性能も高いことを示す。
論文 参考訳（メタデータ） (2024-11-12T11:30:53Z) - Matching the Statistical Query Lower Bound for k-sparse Parity Problems with Stochastic Gradient Descent [83.85536329832722]
勾配勾配降下(SGD)は,$d$次元ハイパーキューブ上の$k$パリティ問題を効率的に解くことができることを示す。
次に、SGDでトレーニングされたニューラルネットワークがどのようにして、小さな統計的エラーで$k$-parityの問題を解決するかを実証する。
論文 参考訳（メタデータ） (2024-04-18T17:57:53Z) - Retire: Robust Expectile Regression in High Dimensions [3.9391041278203978]
ペナル化量子化法と期待回帰法は、高次元データの異方性検出に有用な手段を提供する。
我々は,頑健な期待回帰(退職)を提案し,研究する。
提案手法は半平滑なニュートン座標降下アルゴリズムにより効率よく解けることを示す。
論文 参考訳（メタデータ） (2022-12-11T18:03:12Z) - Adaptive Stochastic Variance Reduction for Non-convex Finite-Sum
Minimization [52.25843977506935]
有限サム構造をもつ$L$-smooth, non-deuction関数に対して, AdaSpider と呼ばれる適応分散法を提案する。
そうすることで、$tildeOleft + st/epsilonコールで$epsilon-stationaryポイントを計算することができます。
論文 参考訳（メタデータ） (2022-11-03T14:41:46Z) - Sharper Rates and Flexible Framework for Nonconvex SGD with Client and
Data Sampling [64.31011847952006]
我々は、平均$n$スムーズでおそらくは非カラー関数のほぼ定常点を求める問題を再考する。
我々は$smallsfcolorgreen$を一般化し、事実上あらゆるサンプリングメカニズムで確実に動作するようにします。
我々は、スムーズな非カラー状態における最適境界の最も一般的な、最も正確な解析を提供する。
論文 参考訳（メタデータ） (2022-06-05T21:32:33Z) - $\ell_p$ Slack Norm Support Vector Data Description [0.0]
このモデリング形式を一般の$ell_p$-norm(pgeq1$)スラックペナルティ関数に一般化する。
$ell_p$ slack ノルムにより、提案手法はスラックスに関して非線形コスト関数を定式化することができる。
論文 参考訳（メタデータ） (2022-03-16T20:38:37Z) - Target Network and Truncation Overcome The Deadly triad in $Q$-Learning [7.532013242448151]
本稿では,ターゲットネットワークとトランケーションを用いた線形関数近似を用いた$Q$-learningの安定設計を提案する。
この結果から,関数近似誤差まで,$mathcalO(epsilon-2)$サンプルの複雑さが示唆された。
これは線形関数近似による$Q$-learningの最初の変種であり、強い仮定や問題パラメータの変更を必要とせず、確実に安定である。
論文 参考訳（メタデータ） (2022-03-05T00:54:58Z) - Provably Efficient Convergence of Primal-Dual Actor-Critic with
Nonlinear Function Approximation [15.319335698574932]
The first efficient convergence result with primal-dual actor-critic with a convergence of $mathcalOleft ascent(Nright)Nright)$ under Polyian sample。
Open GymAI連続制御タスクの結果。
論文 参考訳（メタデータ） (2022-02-28T15:16:23Z) - Breaking the Sample Complexity Barrier to Regret-Optimal Model-Free
Reinforcement Learning [52.76230802067506]
漸進的強化学習における後悔を最小限に抑えるために,新しいモデルフリーアルゴリズムを提案する。
提案アルゴリズムは、2つのQ-ラーニングシーケンスの助けを借りて、初期設定された参照更新ルールを用いる。
初期の分散還元法の設計原理は、他のRL設定とは独立した関心を持つかもしれない。
論文 参考訳（メタデータ） (2021-10-09T21:13:48Z) - An efficient projection neural network for $\ell_1$-regularized logistic
regression [10.517079029721257]
本稿では, $ell_$-regularized logistics regression のための単純な投影ニューラルネットワークを提案する。
提案したニューラルネットワークは、余分な補助変数や滑らかな近似を必要としない。
また、リアプノフ理論を用いて、提案したニューラルネットワークの収束について検討し、任意の初期値を持つ問題の解に収束することを示す。
論文 参考訳（メタデータ） (2021-05-12T06:13:44Z) - Complexity of Finding Stationary Points of Nonsmooth Nonconvex Functions [84.49087114959872]
非滑らかで非滑らかな関数の定常点を見つけるための最初の非漸近解析を提供する。
特に、アダマール半微分可能函数(おそらく非滑らか関数の最大のクラス)について研究する。
論文 参考訳（メタデータ） (2020-02-10T23:23:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。