論文の概要: Neural lasso: a unifying approach of lasso and neural networks

• arxiv url: http://arxiv.org/abs/2309.03770v1
• Date: Thu, 7 Sep 2023 15:17:10 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-08 12:27:16.307122
• Title: Neural lasso: a unifying approach of lasso and neural networks
• Title（参考訳）: neural lasso:lassoとニューラルネットワークの統一的アプローチ
• Authors: David Delgado, Ernesto Curbelo, Danae Carreras
• Abstract要約: 可変選択のための統計的手法は、ニューラルネットワークを介して表現される。 統計的アプローチとニューラルバージョンは同じ目的関数を持つが、最適化によって異なることが観察された。 重要な変数を識別する新しい最適化アルゴリズムが登場した。
• 参考スコア（独自算出の注目度）: 0.27624021966289597
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: In recent years, there is a growing interest in combining techniques attributed to the areas of Statistics and Machine Learning in order to obtain the benefits of both approaches. In this article, the statistical technique lasso for variable selection is represented through a neural network. It is observed that, although both the statistical approach and its neural version have the same objective function, they differ due to their optimization. In particular, the neural version is usually optimized in one-step using a single validation set, while the statistical counterpart uses a two-step optimization based on cross-validation. The more elaborated optimization of the statistical method results in more accurate parameter estimation, especially when the training set is small. For this reason, a modification of the standard approach for training neural networks, that mimics the statistical framework, is proposed. During the development of the above modification, a new optimization algorithm for identifying the significant variables emerged. Experimental results, using synthetic and real data sets, show that this new optimization algorithm achieves better performance than any of the three previous optimization approaches.
• Abstract（参考訳）: 近年、両方のアプローチの利点を得るために、統計学と機械学習の分野に起因した技術を組み合わせることへの関心が高まっている。 本稿では,変数選択のための統計的手法であるLassoをニューラルネットワークで表現する。 統計的アプローチとニューラルバージョンは同じ目的関数を持つが、最適化によって異なることが観察されている。 特に、神経バージョンは1つの検証セットを使用して1ステップで最適化されるのに対し、統計バージョンはクロスバリデーションに基づく2ステップの最適化を使用する。 統計的手法のより精巧な最適化は、特にトレーニングセットが小さい場合、より正確なパラメータ推定をもたらす。 このため、統計的枠組みを模倣したニューラルネットワークのトレーニングのための標準アプローチの修正が提案されている。 上記の修正の過程で、重要な変数を識別する新しい最適化アルゴリズムが登場した。 合成および実データを用いた実験の結果, この最適化アルゴリズムは, 従来の3つの最適化手法のどれよりも優れた性能を実現することがわかった。

関連論文リスト

• Enhancing CNN Classification with Lamarckian Memetic Algorithms and Local Search [0.0]
  そこで本研究では,局所探索機能を組み込んだ2段階学習手法と集団最適化アルゴリズムを併用した新しい手法を提案する。 実験の結果,提案手法は最先端の勾配に基づく手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-10-26T17:31:15Z)
• The limitation of neural nets for approximation and optimization [0.0]
  最適化問題における目的関数の近似と最小化のために,ニューラルネットワークを代理モデルとして用いることに関心がある。 本研究は、一般的な非線形最適化テスト問題の目的関数を近似する最適なアクティベーション関数を決定することから始まる。
  論文  参考訳（メタデータ） (2023-11-21T00:21:15Z)
• Transformer-Based Learned Optimization [37.84626515073609]
  ニューラルネットワークを用いて計算の更新ステップを表現できる学習最適化手法を提案する。 私たちの革新は、古典的なBFGSアルゴリズムにインスパイアされた、新しいニューラルネットワークアーキテクチャです。 最適化アルゴリズムの評価に伝統的に用いられてきた目的関数からなるベンチマークにおいて,提案手法の利点を実証する。
  論文  参考訳（メタデータ） (2022-12-02T09:47:08Z)
• Scalable computation of prediction intervals for neural networks via matrix sketching [79.44177623781043]
  既存の不確実性推定アルゴリズムでは、モデルアーキテクチャとトレーニング手順を変更する必要がある。 本研究では、与えられたトレーニングされたニューラルネットワークに適用し、近似予測間隔を生成できる新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-05-06T13:18:31Z)
• Neural Combinatorial Optimization: a New Player in the Field [69.23334811890919]
  本稿では,ニューラルネットワークに基づくアルゴリズムの古典的最適化フレームワークへの導入に関する批判的分析を行う。 性能, 転送可能性, 計算コスト, 大規模インスタンスなど, これらのアルゴリズムの基本的側面を分析するために, 総合的研究を行った。
  論文  参考訳（メタデータ） (2022-05-03T07:54:56Z)
• Acceleration techniques for optimization over trained neural network ensembles [1.0323063834827415]
  本研究では, 線形単位活性化の補正されたフィードフォワードニューラルネットワークを用いて, 目的関数をモデル化する最適化問題について検討する。 本稿では,1つのニューラルネットワークを最適化するために,既存のBig-M$の定式化をベースとした混合整数線形プログラムを提案する。
  論文  参考訳（メタデータ） (2021-12-13T20:50:54Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• Bilevel Optimization: Convergence Analysis and Enhanced Design [63.64636047748605]
  バイレベル最適化は多くの機械学習問題に対するツールである。 Stoc-BiO という新しい確率効率勾配推定器を提案する。
  論文  参考訳（メタデータ） (2020-10-15T18:09:48Z)
• Efficient and Sparse Neural Networks by Pruning Weights in a Multiobjective Learning Approach [0.0]
  本稿では、予測精度とネットワーク複雑性を2つの個別目的関数として扱うことにより、ニューラルネットワークのトレーニングに関する多目的視点を提案する。 模範的畳み込みニューラルネットワークの予備的な数値結果から、ニューラルネットワークの複雑性の大幅な低減と精度の低下が可能であることが確認された。
  論文  参考訳（メタデータ） (2020-08-31T13:28:03Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)
• Stochastic batch size for adaptive regularization in deep network optimization [63.68104397173262]
  ディープラーニングフレームワークにおける機械学習問題に適用可能な適応正規化を取り入れた一階最適化アルゴリズムを提案する。 一般的なベンチマークデータセットに適用した従来のネットワークモデルに基づく画像分類タスクを用いて,提案アルゴリズムの有効性を実証的に実証した。
  論文  参考訳（メタデータ） (2020-04-14T07:54:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。