論文の概要: Projection Neural Network for a Class of Sparse Regression Problems with Cardinality Penalty

• arxiv url: http://arxiv.org/abs/2004.00858v4
• Date: Thu, 10 Jun 2021 09:55:41 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-17 12:38:47.626983
• Title: Projection Neural Network for a Class of Sparse Regression Problems with Cardinality Penalty
• Title（参考訳）: 濃度ペナルティをもつ疎回帰問題のクラスに対する投影ニューラルネットワーク
• Authors: Wenjing Li and Wei Bian
• Abstract要約: 対象関数は凸損失関数の和と基数ペナルティの和である。 濃度関数の平滑化関数を構築することにより、予測されたニューラルネットワークを提案し、この問題を解決するための補正法を設計する。 提案したニューラルネットワークの解は、ユニークな、グローバルな存在、有界な、そしてグローバルなリプシッツ連続である。
• 参考スコア（独自算出の注目度）: 9.698438188398434
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we consider a class of sparse regression problems, whose objective function is the summation of a convex loss function and a cardinality penalty. By constructing a smoothing function for the cardinality function, we propose a projected neural network and design a correction method for solving this problem. The solution of the proposed neural network is unique, global existent, bounded and globally Lipschitz continuous. Besides, we prove that all accumulation points of the proposed neural network have a common support set and a unified lower bound for the nonzero entries. Combining the proposed neural network with the correction method, any corrected accumulation point is a local minimizer of the considered sparse regression problem. Moreover, we analyze the equivalent relationship on the local minimizers between the considered sparse regression problem and another regression sparse problem. Finally, some numerical experiments are provided to show the efficiency of the proposed neural networks in solving some sparse regression problems in practice.
• Abstract（参考訳）: 本稿では,凸損失関数と濃度ペナルティの和を目的関数とするスパース回帰問題のクラスについて考察する。 本研究では,濃度関数の平滑化関数を構築することにより,投影型ニューラルネットワークを提案し,この問題に対する修正法を設計する。 提案したニューラルネットワークの解は、ユニークな、グローバルな存在、境界付き、グローバルなリプシッツ連続である。 さらに,提案するニューラルネットワークのすべての蓄積点が共通の支持集合を持ち,非零成分に対する一意な下界を持つことを証明した。 提案したニューラルネットワークと補正手法を組み合わせることで、任意の補正された累積点は、スパース回帰問題の局所最小化である。 さらに,検討したスパース回帰問題と他の回帰スパース問題との局所最小値の等価関係を解析した。 最後に、いくつかの数値実験を行い、実際にスパース回帰問題を解く際に提案したニューラルネットワークの効率性を示す。

関連論文リスト

• Error Feedback under $(L_0,L_1)$-Smoothness: Normalization and Momentum [56.37522020675243]
  機械学習の幅広い問題にまたがる正規化誤差フィードバックアルゴリズムに対する収束の最初の証明を提供する。 提案手法では,許容可能なステップサイズが大きくなったため,新しい正規化エラーフィードバックアルゴリズムは,各種タスクにおける非正規化エラーよりも優れていた。
  論文  参考訳（メタデータ） (2024-10-22T10:19:27Z)
• Benign Overfitting for Regression with Trained Two-Layer ReLU Networks [14.36840959836957]
  本稿では,2層完全連結ニューラルネットワークを用いた最小二乗回帰問題と,勾配流によるReLU活性化関数について検討する。 最初の結果は一般化結果であり、基礎となる回帰関数や、それらが有界であること以外のノイズを仮定する必要はない。
  論文  参考訳（メタデータ） (2024-10-08T16:54:23Z)
• A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization [90.87444114491116]
  本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。 i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。 その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
  論文  参考訳（メタデータ） (2024-04-18T16:46:08Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Semantic Strengthening of Neuro-Symbolic Learning [85.6195120593625]
  ニューロシンボリックアプローチは一般に確率論的目的のファジィ近似を利用する。 トラクタブル回路において,これを効率的に計算する方法を示す。 我々は,Warcraftにおける最小コストパスの予測,最小コスト完全マッチングの予測,スドクパズルの解法という3つの課題に対して,アプローチを検証した。
  論文  参考訳（メタデータ） (2023-02-28T00:04:22Z)
• Adaptive Self-supervision Algorithms for Physics-informed Neural Networks [59.822151945132525]
  物理情報ニューラルネットワーク(PINN)は、損失関数のソフト制約として問題領域からの物理的知識を取り入れている。 これらのモデルの訓練性に及ぼす座標点の位置の影響について検討した。 モデルがより高い誤りを犯している領域に対して、より多くのコロケーションポイントを段階的に割り当てる適応的コロケーション方式を提案する。
  論文  参考訳（メタデータ） (2022-07-08T18:17:06Z)
• Mean-field Analysis of Piecewise Linear Solutions for Wide ReLU Networks [83.58049517083138]
  勾配勾配勾配を用いた2層ReLUネットワークについて検討する。 SGDは単純な解に偏りがあることが示される。 また,データポイントと異なる場所で結び目が発生するという経験的証拠も提供する。
  論文  参考訳（メタデータ） (2021-11-03T15:14:20Z)
• A global convergence theory for deep ReLU implicit networks via over-parameterization [26.19122384935622]
  暗黙の深層学習は近年注目を集めている。 本稿では,Rectified Linear Unit (ReLU) 活性化暗黙的ニューラルネットワークの勾配流れを解析する。
  論文  参考訳（メタデータ） (2021-10-11T23:22:50Z)
• Near-Minimax Optimal Estimation With Shallow ReLU Neural Networks [19.216784367141972]
  本研究では,浅層(単層)ReLUニューラルネットワークを用いた雑音データから未知の関数を推定する問題について検討する。 我々は、データ生成関数がラドン領域における二階有界変動関数の空間に属するとき、これらのニューラルネットワーク推定器の性能を定量化する。
  論文  参考訳（メタデータ） (2021-09-18T05:56:06Z)
• Least-Squares ReLU Neural Network (LSNN) Method For Linear Advection-Reaction Equation [3.6525914200522656]
  本稿では,不連続解を用いた線形対流-反作用問題の解法として,最小二乗ReLUニューラルネットワーク法について検討する。 この方法は、ReLUニューラルネットワークの自由超平面を介して、基礎となる問題の不連続なインターフェースを自動で近似することができる。
  論文  参考訳（メタデータ） (2021-05-25T03:13:15Z)
• Eliminating Multicollinearity Issues in Neural Network Ensembles: Incremental, Negatively Correlated, Optimal Convex Blending [0.2294014185517203]
  ニューラルネットワークのアンサンブルを用いて集約回帰器を構成するインクリメンタルアルゴリズムを導入する。 集合回帰器と新たに訓練されたニューラルネットワークを凸性制約下で最適にブレンドする。 このフレームワークでは、直線性の問題はまったく発生せず、メソッドが正確かつ堅牢になるようにレンダリングします。
  論文  参考訳（メタデータ） (2021-04-30T01:32:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。