論文の概要: Playing the Lottery With Concave Regularizers for Sparse Trainable Neural Networks

• arxiv url: http://arxiv.org/abs/2501.11135v1
• Date: Sun, 19 Jan 2025 18:05:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-22 14:24:50.167184
• Title: Playing the Lottery With Concave Regularizers for Sparse Trainable Neural Networks
• Title（参考訳）: ゆるやかな学習型ニューラルネットワークのための凹凸型正規化器によるロテリの演奏
• Authors: Giulia Fracastoro, Sophie M. Fosson, Andrea Migliorati, Giuseppe C. Calafiore,
• Abstract要約: 我々は宝くじを弾くための新しい方法のクラスを提案する。 鍵となる点は、緩和された二元マスクの空間性を促進するために凹凸正則化を使うことである。 提案手法は,最先端のアルゴリズムの性能を向上させることができることを示す。
• 参考スコア（独自算出の注目度）: 10.48836159692231
• License:
• Abstract: The design of sparse neural networks, i.e., of networks with a reduced number of parameters, has been attracting increasing research attention in the last few years. The use of sparse models may significantly reduce the computational and storage footprint in the inference phase. In this context, the lottery ticket hypothesis (LTH) constitutes a breakthrough result, that addresses not only the performance of the inference phase, but also of the training phase. It states that it is possible to extract effective sparse subnetworks, called winning tickets, that can be trained in isolation. The development of effective methods to play the lottery, i.e., to find winning tickets, is still an open problem. In this article, we propose a novel class of methods to play the lottery. The key point is the use of concave regularization to promote the sparsity of a relaxed binary mask, which represents the network topology. We theoretically analyze the effectiveness of the proposed method in the convex framework. Then, we propose extended numerical tests on various datasets and architectures, that show that the proposed method can improve the performance of state-of-the-art algorithms.
• Abstract（参考訳）: スパースニューラルネットワーク、すなわちパラメータの少ないネットワークの設計は、ここ数年で研究の注目を集めている。 スパースモデルを使用することで、推論フェーズにおける計算と記憶のフットプリントが大幅に減少する可能性がある。 この文脈では、抽選券仮説(LTH)は、推論フェーズのパフォーマンスだけでなく、トレーニングフェーズにも対処する画期的な結果を構成する。 入賞券と呼ばれる、単独で訓練できる効果的なスパースサブネットを抽出することが可能である。 宝くじを効果的に演奏する方法、すなわち当選チケットを見つける方法の開発は、まだ未解決の問題である。 本稿では,宝くじを弾く新しい手法のクラスを提案する。 キーポイントは、ネットワークトポロジを表す緩和されたバイナリマスクの空間性を促進するために凹凸正規化を使用することである。 コンベックスフレームワークにおける提案手法の有効性を理論的に解析する。 そこで本研究では,提案手法が最先端アルゴリズムの性能を向上できることを示すため,様々なデータセットやアーキテクチャに対する拡張数値試験を提案する。

関連論文リスト

• The Cascaded Forward Algorithm for Neural Network Training [61.06444586991505]
  本稿では,ニューラルネットワークのための新しい学習フレームワークであるCascaded Forward(CaFo)アルゴリズムを提案する。 FFとは異なり、我々のフレームワークは各カスケードブロックのラベル分布を直接出力する。 我々のフレームワークでは、各ブロックは独立して訓練できるので、並列加速度システムに容易に展開できる。
  論文  参考訳（メタデータ） (2023-03-17T02:01:11Z)
• LOFT: Finding Lottery Tickets through Filter-wise Training [15.06694204377327]
  本稿では,このようなチケットの出現を効果的に識別し,この観測結果を用いて,効率的な事前学習アルゴリズムの設計を行う方法を示す。 We present the emphLOttery ticket through filter-wise Training algorithm, called textscLoFT。 textscLoFT $i)$は保存され、良い宝くじを見つける。
  論文  参考訳（メタデータ） (2022-10-28T14:43:42Z)
• Why Random Pruning Is All We Need to Start Sparse [7.648170881733381]
  ランダムマスクは驚くほど効果的なスパースニューラルネットワークモデルを定義する。 スパサーネットワークは、密集したアーキテクチャや最先端の宝くじ改札アルゴリズムと競合できることを示す。
  論文  参考訳（メタデータ） (2022-10-05T17:34:04Z)
• Dual Lottery Ticket Hypothesis [71.95937879869334]
  Lottery Ticket hypothesis (LTH)は、スパースネットワークトレーニングを調査し、その能力を維持するための新しい視点を提供する。 本稿では,LTHの当選チケットをトレーニング可能なサブネットワークとして,その性能をベンチマークとして検討する。 本稿では,簡単なスパースネットワークトレーニング戦略であるランダムスパースネットワークトランスフォーメーション(RST)を提案し,DLTHを裏付ける。
  論文  参考訳（メタデータ） (2022-03-08T18:06:26Z)
• Plant 'n' Seek: Can You Find the Winning Ticket? [6.85316573653194]
  宝くじの仮説は、構造学習を行うプルーニングアルゴリズムの急速な発展を引き起こした。 我々は、非常に疎いネットワークトポロジを手作りし、それらを大きなニューラルネットワークに植え込み、最先端の宝くじ改札方法を評価する。
  論文  参考訳（メタデータ） (2021-11-22T12:32:25Z)
• Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity on Pruned Neural Networks [79.74580058178594]
  目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。 本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
  論文  参考訳（メタデータ） (2021-10-12T01:11:07Z)
• Juvenile state hypothesis: What we can learn from lottery ticket hypothesis researches? [1.701869491238765]
  オリジナルの抽選チケット仮説は、トレーニング収束後のプルーニングとウェイトリセットを実行する。 本稿では,ニューラルネットワーク構造探索とプルーニングアルゴリズムを併用してこの問題を緩和する戦略を提案する。
  論文  参考訳（メタデータ） (2021-09-08T18:22:00Z)
• FreeTickets: Accurate, Robust and Efficient Deep Ensemble by Training with Dynamic Sparsity [74.58777701536668]
  我々は、疎い畳み込みニューラルネットワークの性能を、ネットワークの高密度な部分よりも大きなマージンで向上させることができるFreeTicketsの概念を紹介した。 本研究では, ダイナミックな間隔を持つ2つの新しい効率的なアンサンブル手法を提案し, スパーストレーニング過程において, 多数の多様かつ正確なチケットを「無償」で撮影する。
  論文  参考訳（メタデータ） (2021-06-28T10:48:20Z)
• ESPN: Extremely Sparse Pruned Networks [50.436905934791035]
  簡単な反復マスク探索法により,非常に深いネットワークの最先端の圧縮を実現することができることを示す。 本アルゴリズムは,シングルショット・ネットワーク・プルーニング法とロッテ・ティケット方式のハイブリッド・アプローチを示す。
  論文  参考訳（メタデータ） (2020-06-28T23:09:27Z)
• Fitting the Search Space of Weight-sharing NAS with Graph Convolutional Networks [100.14670789581811]
  サンプルサブネットワークの性能に適合するグラフ畳み込みネットワークを訓練する。 この戦略により、選択された候補集合において、より高いランク相関係数が得られる。
  論文  参考訳（メタデータ） (2020-04-17T19:12:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。