論文の概要: An Efficient Semi-smooth Newton Augmented Lagrangian Method for Elastic Net

• arxiv url: http://arxiv.org/abs/2006.03970v1
• Date: Sat, 6 Jun 2020 20:42:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-24 21:32:19.720931
• Title: An Efficient Semi-smooth Newton Augmented Lagrangian Method for Elastic Net
• Title（参考訳）: 弾性ネットのための高効率セミスムースニュートン拡張ラグランジアン法
• Authors: Tobia Boschi, Matthew Reimherr, Francesca Chiaromonte
• Abstract要約: 超高次元設定における弾性ネットの解法として, 半平滑なニュートン拡張ラグランジアン法を提案する。 我々の新しいアルゴリズムは、弾性ネットペナルティによって引き起こされる空間と、拡張ラグランジアンの第2次情報による空間の両方を利用する。
• 参考スコア（独自算出の注目度）: 5.607676459156789
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Feature selection is an important and active research area in statistics and machine learning. The Elastic Net is often used to perform selection when the features present non-negligible collinearity or practitioners wish to incorporate additional known structure. In this article, we propose a new Semi-smooth Newton Augmented Lagrangian Method to efficiently solve the Elastic Net in ultra-high dimensional settings. Our new algorithm exploits both the sparsity induced by the Elastic Net penalty and the sparsity due to the second order information of the augmented Lagrangian. This greatly reduces the computational cost of the problem. Using simulations on both synthetic and real datasets, we demonstrate that our approach outperforms its best competitors by at least an order of magnitude in terms of CPU time. We also apply our approach to a Genome Wide Association Study on childhood obesity.
• Abstract（参考訳）: 特徴選択は統計学と機械学習において重要かつ活発な研究領域である。 Elastic Netは、非無視のコリニアリティや実践者が追加の既知の構造を取り入れたい場合、選択のためにしばしば使用される。 本稿では,超高次元環境下での弾性ネットを効率的に解くための半平滑ニュートン拡張ラグランジアン法を提案する。 我々の新しいアルゴリズムは、弾性ネットペナルティによって引き起こされる空間と、拡張ラグランジアンの第2次情報による空間の両方を利用する。 これにより、問題の計算コストが大幅に削減される。 合成データセットと実データセットの両方のシミュレーションを用いて、我々のアプローチがCPU時間で少なくとも1桁の精度で最高の競争相手を上回ることを実証した。 また,このアプローチを小児肥満に関するゲノムワイドアソシエーション研究に適用する。

関連論文リスト

• Efficient Weight-Space Laplace-Gaussian Filtering and Smoothing for Sequential Deep Learning [29.328769628694484]
  連続学習のような関連するタスクのシーケンスを効果的に学習することは、ニューラルネットにとって重要な課題となる。 ベイズ推定に基づくタスクを逐次学習するための基盤的枠組みを用いてこの問題に対処する。
  論文  参考訳（メタデータ） (2024-10-09T11:54:33Z)
• Switchable Decision: Dynamic Neural Generation Networks [98.61113699324429]
  本稿では,各データインスタンスのリソースを動的に割り当てることで,推論を高速化するスイッチブルな決定を提案する。 提案手法は, 同一の精度を維持しながら, 推論時のコスト低減に有効である。
  論文  参考訳（メタデータ） (2024-05-07T17:44:54Z)
• Achieving Constraints in Neural Networks: A Stochastic Augmented Lagrangian Approach [49.1574468325115]
  DNN(Deep Neural Networks)の正規化は、一般化性の向上とオーバーフィッティングの防止に不可欠である。 制約付き最適化問題としてトレーニングプロセスのフレーミングによるDNN正規化に対する新しいアプローチを提案する。 我々はAugmented Lagrangian (SAL) 法を用いて、より柔軟で効率的な正規化機構を実現する。
  論文  参考訳（メタデータ） (2023-10-25T13:55:35Z)
• Constrained Optimization via Exact Augmented Lagrangian and Randomized Iterative Sketching [55.28394191394675]
  等式制約付き非線形非IBS最適化問題に対する適応的不正確なニュートン法を開発した。 ベンチマーク非線形問題,LVMのデータによる制約付きロジスティック回帰,PDE制約問題において,本手法の優れた性能を示す。
  論文  参考訳（メタデータ） (2023-05-28T06:33:37Z)
• Physics Informed Piecewise Linear Neural Networks for Process Optimization [0.0]
  ニューラルネットワークモデルに埋め込まれた最適化問題に対して,物理情報を用いた線形ニューラルネットワークモデルの更新が提案されている。 すべてのケースにおいて、物理インフォームドトレーニングニューラルネットワークに基づく最適結果は、大域的最適性に近い。
  論文  参考訳（メタデータ） (2023-02-02T10:14:54Z)
• Algorithmic Differentiation for Automatized Modelling of Machine Learned Force Fields [0.18416014644193063]
  機械学習モデルは、基礎となる対称性と物理の保存則を用いて、データ経済をうまく制約することができるため、データ経済に寄与する。 本稿では,MLモデリングプロセスにおいて,アルゴリズムの微分から最新の手法を用いることを提案する。 このパラダイム的アプローチは、新しい表現の汎用的な使用だけでなく、より大きなシステムの効率的な計算を可能にしている。
  論文  参考訳（メタデータ） (2022-08-25T14:08:11Z)
• FOSTER: Feature Boosting and Compression for Class-Incremental Learning [52.603520403933985]
  ディープニューラルネットワークは、新しいカテゴリーを学ぶ際に破滅的な忘れ方に悩まされる。 本稿では,新たなカテゴリを適応的に学習するためのモデルとして,新しい2段階学習パラダイムFOSTERを提案する。
  論文  参考訳（メタデータ） (2022-04-10T11:38:33Z)
• Powerpropagation: A sparsity inducing weight reparameterisation [65.85142037667065]
  我々は、本質的にスパースモデルにつながるニューラルネットワークの新しい重みパラメータ化であるPowerpropagationを紹介した。 この方法で訓練されたモデルは同様の性能を示すが、0で明らかに高い密度の分布を持ち、より多くのパラメータを安全に刈り取ることができる。 ここでは、Powerpropagationと従来のウェイトプルーニング技術と、最近の最先端スパース・トゥ・スパースアルゴリズムを組み合わせることで、ImageNetベンチマークで優れたパフォーマンスを示す。
  論文  参考訳（メタデータ） (2021-10-01T10:03:57Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• Optimal Stopping via Randomized Neural Networks [6.677219861416146]
  本稿では、標準基底関数やディープニューラルネットワークの代わりにランダム化されたニューラルネットワークを使用することの利点について述べる。 我々のアプローチは、既存のアプローチがますます非現実的になるような高次元問題に適用できる。 いずれにせよ、我々のアルゴリズムは、最先端や他の関連する機械学習アプローチよりも時間的に優れている。
  論文  参考訳（メタデータ） (2021-04-28T09:47:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。