論文の概要: Sparse Deep Learning Models with the $\ell_1$ Regularization

• arxiv url: http://arxiv.org/abs/2408.02801v1
• Date: Mon, 5 Aug 2024 19:38:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-07 15:38:41.252505
• Title: Sparse Deep Learning Models with the $\ell_1$ Regularization
• Title（参考訳）: $\ell_1$正規化によるスパースディープラーニングモデル
• Authors: Lixin Shen, Rui Wang, Yuesheng Xu, Mingsong Yan,
• Abstract要約: スパースニューラルネットワークはディープラーニングにおいて非常に望ましい。 正規化パラメータの選択が学習ニューラルネットワークのスパーシリティレベルに与える影響について検討する。
• 参考スコア（独自算出の注目度）: 6.268040192346312
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sparse neural networks are highly desirable in deep learning in reducing its complexity. The goal of this paper is to study how choices of regularization parameters influence the sparsity level of learned neural networks. We first derive the $\ell_1$-norm sparsity-promoting deep learning models including single and multiple regularization parameters models, from a statistical viewpoint. We then characterize the sparsity level of a regularized neural network in terms of the choice of the regularization parameters. Based on the characterizations, we develop iterative algorithms for selecting regularization parameters so that the weight parameters of the resulting deep neural network enjoy prescribed sparsity levels. Numerical experiments are presented to demonstrate the effectiveness of the proposed algorithms in choosing desirable regularization parameters and obtaining corresponding neural networks having both of predetermined sparsity levels and satisfactory approximation accuracy.
• Abstract（参考訳）: スパースニューラルネットワークは、複雑さを減らすためにディープラーニングに非常に望ましい。 本研究の目的は,正規化パラメータの選択が学習ニューラルネットワークのスパーシリティレベルにどのように影響するかを検討することである。 まず、統計学的観点から、単値と複数値の正規化パラメータを含む深層学習モデルである$\ell_1$-normスペーサリティを導出する。 次に、正規化パラメータの選択の観点から、正規化ニューラルネットワークのスパーシリティレベルを特徴付ける。 特徴量に基づいて、正規化パラメータを選択するための反復アルゴリズムを開発し、結果の深部ニューラルネットワークの重みパラメータが所定の間隔レベルを享受できるようにした。 数値実験により,提案アルゴリズムが望ましい正規化パラメータを選択し,所定間隔レベルと良好な近似精度の両方を有する対応するニューラルネットワークを得る場合の有効性を実証した。

関連論文リスト

• Function-Space Regularization in Neural Networks: A Probabilistic Perspective [51.133793272222874]
  所望の予測関数に関する情報をニューラルネットワークトレーニングに明示的にエンコードできる、モチベーションの高い正規化手法を導出できることが示される。 本手法の有効性を実証的に評価し,提案手法がほぼ完全なセマンティックシフト検出と高度に校正された予測不確実性推定に繋がることを示す。
  論文  参考訳（メタデータ） (2023-12-28T17:50:56Z)
• Sparse-Input Neural Network using Group Concave Regularization [10.103025766129006]
  ニューラルネットワークでは、同時特徴選択と非線形関数推定が困難である。 低次元と高次元の両方の設定における特徴選択のための群凹正規化を用いたスパースインプットニューラルネットワークの枠組みを提案する。
  論文  参考訳（メタデータ） (2023-07-01T13:47:09Z)
• Precision Machine Learning [5.15188009671301]
  様々な関数近似法を比較し,パラメータやデータの増加とともにスケールする方法について検討する。 ニューラルネットワークは、しばしば高次元の例において古典的近似法より優れていることが判明した。 我々は,ニューラルネットワークを極端に低損失に訓練する訓練手法を開発した。
  論文  参考訳（メタデータ） (2022-10-24T17:58:30Z)
• Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
  ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。 提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。 我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
  論文  参考訳（メタデータ） (2022-09-26T17:59:58Z)
• Generalization Error Bounds for Iterative Recovery Algorithms Unfolded as Neural Networks [6.173968909465726]
  線形測定の少ないスパース再構成に適したニューラルネットワークの一般クラスを導入する。 層間の重量共有を広範囲に行うことで、全く異なるニューラルネットワークタイプに対する統一的な分析を可能にします。
  論文  参考訳（メタデータ） (2021-12-08T16:17:33Z)
• Dynamic Neural Diversification: Path to Computationally Sustainable Neural Networks [68.8204255655161]
  訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。 学習過程において隠れた層内のニューロンの多様性を探索する。 ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
  論文  参考訳（メタデータ） (2021-09-20T15:12:16Z)
• Learning Regularization Parameters of Inverse Problems via Deep Neural Networks [0.0]
  ネットワークが観察データから正規化パラメータへのマッピングを近似するように訓練される、教師付き学習アプローチを検討する。 本稿では,多種多様な正規化関数,フォワードモデル,ノイズモデルについて考察する。 ネットワークが取得する正規化パラメータは、より効率的に計算でき、より正確なソリューションにもつながります。
  論文  参考訳（メタデータ） (2021-04-14T02:38:38Z)
• LocalDrop: A Hybrid Regularization for Deep Neural Networks [98.30782118441158]
  本稿では,ローカルラデマチャー複雑性を用いたニューラルネットワークの正規化のための新しい手法であるLocalDropを提案する。 フルコネクテッドネットワーク(FCN)と畳み込みニューラルネットワーク(CNN)の両方のための新しい正規化機能は、ローカルラデマチャー複雑さの上限提案に基づいて開発されました。
  論文  参考訳（メタデータ） (2021-03-01T03:10:11Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)
• Beyond Dropout: Feature Map Distortion to Regularize Deep Neural Networks [107.77595511218429]
  本稿では,ディープニューラルネットワークの中間層に関連する実験的なRademacher複雑性について検討する。 上記の問題に対処するための特徴歪み法(Disout)を提案する。 より高い試験性能を有するディープニューラルネットワークを作製するための特徴写像歪みの優位性を解析し、実証した。
  論文  参考訳（メタデータ） (2020-02-23T13:59:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。