論文の概要: HyperSparse Neural Networks: Shifting Exploration to Exploitation through Adaptive Regularization

• arxiv url: http://arxiv.org/abs/2308.07163v2
• Date: Wed, 16 Aug 2023 06:52:21 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-17 10:21:15.683124
• Title: HyperSparse Neural Networks: Shifting Exploration to Exploitation through Adaptive Regularization
• Title（参考訳）: ハイパースパースニューラルネットワーク:適応正規化による探索から搾取への移行
• Authors: Patrick Glandorf and Timo Kaiser and Bodo Rosenhahn
• Abstract要約: スパースニューラルネットワークは、リソース効率のよい機械学習アプリケーションを開発する上で重要な要素である。 本稿では,高密度をスパースネットワークに圧縮する適応正規化学習(ART)を提案する。 本手法は,事前学習したモデル知識を最大級の重みに圧縮する。
• 参考スコア（独自算出の注目度）: 18.786142528591355
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sparse neural networks are a key factor in developing resource-efficient machine learning applications. We propose the novel and powerful sparse learning method Adaptive Regularized Training (ART) to compress dense into sparse networks. Instead of the commonly used binary mask during training to reduce the number of model weights, we inherently shrink weights close to zero in an iterative manner with increasing weight regularization. Our method compresses the pre-trained model knowledge into the weights of highest magnitude. Therefore, we introduce a novel regularization loss named HyperSparse that exploits the highest weights while conserving the ability of weight exploration. Extensive experiments on CIFAR and TinyImageNet show that our method leads to notable performance gains compared to other sparsification methods, especially in extremely high sparsity regimes up to 99.8 percent model sparsity. Additional investigations provide new insights into the patterns that are encoded in weights with high magnitudes.
• Abstract（参考訳）: スパースニューラルネットワークは、リソース効率のよい機械学習アプリケーションを開発する上で重要な要素である。 本稿では,分散ネットワークに密圧縮する新しい,かつ強力なスパース学習手法である適応正規化学習(art)を提案する。 モデルの重量を減らすためにトレーニング中によく使われるバイナリマスクの代わりに、私たちは、重みの正規化を増加させながら、反復的に重みをゼロに縮小する。 本手法は,事前学習したモデル知識を最大重みに圧縮する。 そこで本研究では,重みの探索能力を維持しながら最大重みを生かすハイパースパースという新しい正規化損失を導入する。 CIFARとTinyImageNetの大規模な実験により、我々の手法は他のスパーシフィケーション法と比較して顕著な性能向上をもたらすことが示されている。 さらなる調査は、大きな大きさの重みでエンコードされるパターンに対する新たな洞察を提供する。

関連論文リスト

• Accurate Neural Network Pruning Requires Rethinking Sparse Optimization [87.90654868505518]
  標準コンピュータビジョンと自然言語処理の疎度ベンチマークを用いたモデルトレーニングにおいて,高い疎度が与える影響について述べる。 本稿では,視覚モデルのスパース事前学習と言語モデルのスパース微調整の両面において,この問題を軽減するための新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-08-03T21:49:14Z)
• Weight Compander: A Simple Weight Reparameterization for Regularization [5.744133015573047]
  我々は、ディープニューラルネットワークの一般化を改善するための新しい効果的な方法であるウェイトコンパンダを導入する。 標準正規化法に加えて重みコンパンダを用いることで,ニューラルネットワークの性能が向上することを示す。
  論文  参考訳（メタデータ） (2023-06-29T14:52:04Z)
• Calibrating the Rigged Lottery: Making All Tickets Reliable [14.353428281239665]
  信頼性校正を改善したスパースモデルを生成するための新しいスパーストレーニング手法を提案する。 本手法は,計算量や記憶負荷をわずかに増加させるだけで,同時に精度を向上する。
  論文  参考訳（メタデータ） (2023-02-18T15:53:55Z)
• LCS: Learning Compressible Subspaces for Adaptive Network Compression at Inference Time [57.52251547365967]
  本稿では,ニューラルネットワークの「圧縮可能な部分空間」を訓練する手法を提案する。 構造的・非構造的空間に対する推定時間における微粒な精度・効率のトレードオフを任意に達成するための結果を示す。 我々のアルゴリズムは、可変ビット幅での量子化にまで拡張し、個別に訓練されたネットワークと同等の精度を実現する。
  論文  参考訳（メタデータ） (2021-10-08T17:03:34Z)
• Powerpropagation: A sparsity inducing weight reparameterisation [65.85142037667065]
  我々は、本質的にスパースモデルにつながるニューラルネットワークの新しい重みパラメータ化であるPowerpropagationを紹介した。 この方法で訓練されたモデルは同様の性能を示すが、0で明らかに高い密度の分布を持ち、より多くのパラメータを安全に刈り取ることができる。 ここでは、Powerpropagationと従来のウェイトプルーニング技術と、最近の最先端スパース・トゥ・スパースアルゴリズムを組み合わせることで、ImageNetベンチマークで優れたパフォーマンスを示す。
  論文  参考訳（メタデータ） (2021-10-01T10:03:57Z)
• Effective Model Sparsification by Scheduled Grow-and-Prune Methods [73.03533268740605]
  本稿では,高密度モデルの事前学習を伴わない新規なGrow-and-prune(GaP)手法を提案する。 実験により、そのようなモデルは様々なタスクにおいて80%の間隔で高度に最適化された高密度モデルの品質に適合または打ち勝つことができることが示された。
  論文  参考訳（メタデータ） (2021-06-18T01:03:13Z)
• Training Sparse Neural Networks using Compressed Sensing [13.84396596420605]
  本研究では,プレニングとトレーニングを1ステップに組み合わせた圧縮センシングに基づく新しい手法の開発と試験を行う。 具体的には、トレーニング中の重みを適応的に重み付けした$ell1$のペナルティを利用して、スパースニューラルネットワークをトレーニングするために、正規化二重平均化(RDA)アルゴリズムの一般化と組み合わせる。
  論文  参考訳（メタデータ） (2020-08-21T19:35:54Z)
• Neural networks with late-phase weights [66.72777753269658]
  学習後期に重みのサブセットを組み込むことで,SGDの解をさらに改善できることを示す。 学習の終わりに、重み空間における空間平均を取ることにより、1つのモデルを取得する。
  論文  参考訳（メタデータ） (2020-07-25T13:23:37Z)
• Distance-Based Regularisation of Deep Networks for Fine-Tuning [116.71288796019809]
  我々は,仮説クラスを,初期訓練前の重みを中心にした小さな球面に制約するアルゴリズムを開発した。 実験的な評価は、我々のアルゴリズムがうまく機能していることを示し、理論的な結果を裏付けるものである。
  論文  参考訳（メタデータ） (2020-02-19T16:00:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。