論文の概要: ELSA: Partial Weight Freezing for Overhead-Free Sparse Network Deployment

• arxiv url: http://arxiv.org/abs/2312.06872v2
• Date: Sun, 17 Dec 2023 15:38:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-19 19:09:17.260917
• Title: ELSA: Partial Weight Freezing for Overhead-Free Sparse Network Deployment
• Title（参考訳）: ELSA: オーバーヘッドフリーのスパースネットワーク展開のための部分凍結
• Authors: Paniz Halvachi, Alexandra Peste, Dan Alistarh, Christoph H. Lampert
• Abstract要約: 本稿では,異なるレベルの空間に容易に展開可能な深層ネットワーク構築のための実用的ソリューションであるELSAを提案する。 中心となる考え方は、重みの適切なサブセットとして、1つの高密度ネットワークに1つ以上のスパースネットワークを埋め込むことである。 予測時には、任意のスパースモデルを、予め定義されたマスクに従って単純に重みをゼロにすることができる。
• 参考スコア（独自算出の注目度）: 95.04504362111314
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present ELSA, a practical solution for creating deep networks that can easily be deployed at different levels of sparsity. The core idea is to embed one or more sparse networks within a single dense network as a proper subset of the weights. At prediction time, any sparse model can be extracted effortlessly simply be zeroing out weights according to a predefined mask. ELSA is simple, powerful and highly flexible. It can use essentially any existing technique for network sparsification and network training. In particular, it does not restrict the loss function, architecture or the optimization technique. Our experiments show that ELSA's advantages of flexible deployment comes with no or just a negligible reduction in prediction quality compared to the standard way of using multiple sparse networks that are trained and stored independently.
• Abstract（参考訳）: 本稿では,異なるレベルの空間に容易に展開可能な深層ネットワーク構築のための実用的ソリューションELSAを提案する。 中心となる考え方は、1つの高密度ネットワークに1つ以上のスパースネットワークを埋め込むことである。 予測時には、任意のスパースモデルを、予め定義されたマスクに従って単純に重みをゼロにすることができる。 ELSAはシンプルで強力で柔軟です。 ネットワークのスパーシフィケーションやネットワークトレーニングに、既存のあらゆるテクニックを使用できる。 特に、損失関数、アーキテクチャ、最適化技術を制限するものではない。 私たちの実験では、elsaの柔軟なデプロイメントの利点は、独立してトレーニングされ保存される複数のスパースネットワークを使用する標準的な方法と比べて、予測品質をまったくあるいはまったく減らさないことを示しています。

関連論文リスト

• Network Fission Ensembles for Low-Cost Self-Ensembles [20.103367702014474]
  NFE(Network Fission Ensembles)と呼ばれる低コストのアンサンブル学習と推論を提案する。 まず、トレーニングの負担を軽減するために、いくつかの重みを取り除きます。 次に、残りの重みを複数の集合に分けて、各集合を用いて複数の補助経路を作成し、複数の集合を構成する。
  論文  参考訳（メタデータ） (2024-08-05T08:23:59Z)
• Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
  画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。 本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。 本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T21:06:13Z)
• Training Your Sparse Neural Network Better with Any Mask [106.134361318518]
  高品質で独立したトレーニング可能なスパースマスクを作成するために、大規模なニューラルネットワークをプルーニングすることが望ましい。 本稿では、デフォルトの高密度ネットワークトレーニングプロトコルから逸脱するためにスパーストレーニングテクニックをカスタマイズできる別の機会を示す。 我々の新しいスパーストレーニングレシピは、スクラッチから様々なスパースマスクでトレーニングを改善するために一般的に適用されます。
  論文  参考訳（メタデータ） (2022-06-26T00:37:33Z)
• Fast Conditional Network Compression Using Bayesian HyperNetworks [54.06346724244786]
  条件付き圧縮問題を導入し、それに取り組むための高速なフレームワークを提案する。 問題は、トレーニング済みの大規模ニューラルネットワークをターゲットコンテキストに応じて最適な小さなネットワークに素早く圧縮する方法である。 提案手法は, ベースライン方式よりもはるかに小型の圧縮ネットワークを高速に生成できる。
  論文  参考訳（メタデータ） (2022-05-13T00:28:35Z)
• Extracting Effective Subnetworks with Gumebel-Softmax [9.176056742068813]
  我々は、より大規模な未訓練の作業から効果的な作業作業場を抽出できる別の作業方法を提案する。 本手法は, Gumbel Softmax を用いた様々なトポロジーを探索し, 抽出する。 結果として得られた作業は、トレーニング時間を短縮し、パフォーマンスを改善する、非常に効率的な再スケーリングメカニズムを使用してさらに強化される。
  論文  参考訳（メタデータ） (2022-02-25T21:31:30Z)
• The Unreasonable Effectiveness of Random Pruning: Return of the Most Naive Baseline for Sparse Training [111.15069968583042]
  ランダムプルーニングは、ニューラルネットワークのスパーシティを実現する最も単純な方法であることは間違いないが、トレーニング後のプルーニングやスパーストレーニングでは非競争的であると見なされている。 我々は、スクラッチからランダムに切断されたネットワークをスクラッチからスクラッチ的に訓練することで、その密度の高い等価性の性能に一致することを実証的に実証した。 以上の結果から,大規模なスパーストレーニングを行う余地はより大きいことが示唆され,スポーシティのメリットは慎重に設計されたプルーニングを超えて普遍的である可能性が示唆された。
  論文  参考訳（メタデータ） (2022-02-05T21:19:41Z)
• Automatic Sparse Connectivity Learning for Neural Networks [4.875787559251317]
  十分に設計されたスパースニューラルネットワークは、FLOPや計算資源を大幅に削減する可能性がある。 本研究では,スパース接続性学習(Sparse Connectivity Learning)という新しい自動プルーニング手法を提案する。 SCLによって訓練された深層学習モデルは、SOTAの人間設計および自動プルーニング手法を、疎性、正確性、FLOPs削減で上回っている。
  論文  参考訳（メタデータ） (2022-01-13T15:12:48Z)
• Learning N:M Fine-grained Structured Sparse Neural Networks From Scratch [75.69506249886622]
  ディープニューラルネットワーク(DNN)におけるスパーシティは、資源制約された環境でモデルを圧縮し、加速するために広く研究されている。 本稿では,N:M細粒構造スパースネットワークのスクラッチからトレーニングを初めて行う。
  論文  参考訳（メタデータ） (2021-02-08T05:55:47Z)
• Sparsity-Control Ternary Weight Networks [34.00378876525579]
  我々は、乗算を回避し、メモリと要求を大幅に削減できる3次重み -1, 0, +1 ネットワークのトレーニングに重点を置いている。 既存の3次重みネットワークのトレーニングアプローチでは、3次重みの間隔を制御できない。 3次重みネットワークをトレーニングするための第一時空間制御手法(SCA)を提案する。
  論文  参考訳（メタデータ） (2020-11-01T18:06:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。