論文の概要: An efficient projection neural network for $\ell_1$-regularized logistic regression

• arxiv url: http://arxiv.org/abs/2105.05449v1
• Date: Wed, 12 May 2021 06:13:44 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-13 12:31:33.362814
• Title: An efficient projection neural network for $\ell_1$-regularized logistic regression
• Title（参考訳）: $\ell_1$-正規化ロジスティック回帰のための効率的な投影ニューラルネットワーク
• Authors: Majid Mohammadi, Amir Ahooye Atashin, Damian A. Tamburri
• Abstract要約: 本稿では, $ell_$-regularized logistics regression のための単純な投影ニューラルネットワークを提案する。 提案したニューラルネットワークは、余分な補助変数や滑らかな近似を必要としない。 また、リアプノフ理論を用いて、提案したニューラルネットワークの収束について検討し、任意の初期値を持つ問題の解に収束することを示す。
• 参考スコア（独自算出の注目度）: 10.517079029721257
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: $\ell_1$ regularization has been used for logistic regression to circumvent the overfitting and use the estimated sparse coefficient for feature selection. However, the challenge of such a regularization is that the $\ell_1$ norm is not differentiable, making the standard algorithms for convex optimization not applicable to this problem. This paper presents a simple projection neural network for $\ell_1$-regularized logistics regression. In contrast to many available solvers in the literature, the proposed neural network does not require any extra auxiliary variable nor any smooth approximation, and its complexity is almost identical to that of the gradient descent for logistic regression without $\ell_1$ regularization, thanks to the projection operator. We also investigate the convergence of the proposed neural network by using the Lyapunov theory and show that it converges to a solution of the problem with any arbitrary initial value. The proposed neural solution significantly outperforms state-of-the-art methods with respect to the execution time and is competitive in terms of accuracy and AUROC.
• Abstract（参考訳）: $\ell_1$正規化はロジスティック回帰に使われ、過剰フィッティングを回避し、特徴選択に推定スパース係数を使用する。 しかし、そのような正規化の課題は、$\ell_1$ノルムは微分不可能であり、凸最適化の標準的なアルゴリズムがこの問題に適用できないことである。 本稿では,$\ell_1$-regularized logistics regression のための単純な投影ニューラルネットワークを提案する。 文献における多くの解法とは対照的に、提案されたニューラルネットワークは追加の補助変数や滑らかな近似を必要としないため、プロジェクション演算子のおかげで、その複雑性は$\ell_1$正規化を伴わないロジスティック回帰の勾配降下とほとんど同じである。 また、リアプノフ理論を用いて、提案したニューラルネットワークの収束について検討し、任意の初期値を持つ問題の解に収束することを示す。 提案したニューラルソリューションは、実行時間に関して最先端の手法を著しく上回り、精度とAUROCの点で競合する。

関連論文リスト

• Convergence Rate Analysis of LION [54.28350823319057]
  LION は、勾配カルシュ=クーン=T (sqrtdK-)$で測定された $cal(sqrtdK-)$ の反復を収束する。 従来のSGDと比較して,LIONは損失が小さく,性能も高いことを示す。
  論文  参考訳（メタデータ） (2024-11-12T11:30:53Z)
• Error Feedback under $(L_0,L_1)$-Smoothness: Normalization and Momentum [56.37522020675243]
  機械学習の幅広い問題にまたがる正規化誤差フィードバックアルゴリズムに対する収束の最初の証明を提供する。 提案手法では,許容可能なステップサイズが大きくなったため,新しい正規化エラーフィードバックアルゴリズムは,各種タスクにおける非正規化エラーよりも優れていた。
  論文  参考訳（メタデータ） (2024-10-22T10:19:27Z)
• Matching the Statistical Query Lower Bound for k-sparse Parity Problems with Stochastic Gradient Descent [83.85536329832722]
  勾配勾配降下(SGD)は,$d$次元ハイパーキューブ上の$k$パリティ問題を効率的に解くことができることを示す。 次に、SGDでトレーニングされたニューラルネットワークがどのようにして、小さな統計的エラーで$k$-parityの問題を解決するかを実証する。
  論文  参考訳（メタデータ） (2024-04-18T17:57:53Z)
• Decoupled Weight Decay for Any $p$ Norm [1.1510009152620668]
  トレーニング中の正規化に$L_p$のブリッジをベースとした,スパーシフィケーションに対する単純かつ効果的なアプローチを検討する。 我々は、標準の$L$重み崩壊を任意の$p$ノルムに一般化する新しい重み崩壊スキームを導入する。 標準的な$L$正規化に匹敵する性能を維持しながら、非常に疎結合なネットワークにつながることを実証的に実証した。
  論文  参考訳（メタデータ） (2024-04-16T18:02:15Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• An Optimization-based Deep Equilibrium Model for Hyperspectral Image Deconvolution with Convergence Guarantees [71.57324258813675]
  本稿では,ハイパースペクトル画像のデコンボリューション問題に対処する新しい手法を提案する。 新しい最適化問題を定式化し、学習可能な正規化器をニューラルネットワークの形で活用する。 導出した反復解法は、Deep Equilibriumフレームワーク内の不動点計算問題として表現される。
  論文  参考訳（メタデータ） (2023-06-10T08:25:16Z)
• Provable Identifiability of Two-Layer ReLU Neural Networks via LASSO Regularization [15.517787031620864]
  LASSOの領域は、ファッショナブルで強力な非線形回帰モデルである2層ReLUニューラルネットワークに拡張される。 LASSO推定器はニューラルネットワークを安定的に再構築し,サンプル数が対数的にスケールする場合に$mathcalSstar$を識別可能であることを示す。 我々の理論は、2層ReLUニューラルネットワークのための拡張Restricted Isometry Property (RIP)ベースの分析フレームワークにある。
  論文  参考訳（メタデータ） (2023-05-07T13:05:09Z)
• spred: Solving $L_1$ Penalty with SGD [6.2255027793924285]
  単純な再パラメータ化を用いて、$L_$で微分可能な目的を最小化することを提案する。 我々は、再パラメータ化のトリックが「完全に良性である」ことを証明する。
  論文  参考訳（メタデータ） (2022-10-03T20:07:51Z)
• Bounding the Width of Neural Networks via Coupled Initialization -- A Worst Case Analysis [121.9821494461427]
  2層ReLUネットワークに必要なニューロン数を著しく削減する方法を示す。 また、事前の作業を改善するための新しい下位境界を証明し、ある仮定の下では、最善を尽くすことができることを証明します。
  論文  参考訳（メタデータ） (2022-06-26T06:51:31Z)
• Generalized Quantile Loss for Deep Neural Networks [0.8594140167290096]
  このノートは、回帰ニューラルネットワークにカウント(または量子化)制約を追加する簡単な方法を示しています。トレーニングセットで$n$サンプルを与えられた場合、$mn$サンプルの予測が実際の値(ラベル)よりも大きいことを保証します。 標準分位レグレッションネットワークとは異なり、提案手法は任意の損失関数に適用できるが、標準分位レグレッション損失は必ずしも適用できず、平均絶対差を最小化することができる。
  論文  参考訳（メタデータ） (2020-12-28T16:37:02Z)
• Projection Neural Network for a Class of Sparse Regression Problems with Cardinality Penalty [9.698438188398434]
  対象関数は凸損失関数の和と基数ペナルティの和である。 濃度関数の平滑化関数を構築することにより、予測されたニューラルネットワークを提案し、この問題を解決するための補正法を設計する。 提案したニューラルネットワークの解は、ユニークな、グローバルな存在、有界な、そしてグローバルなリプシッツ連続である。
  論文  参考訳（メタデータ） (2020-04-02T08:05:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。