論文の概要: Always-Sparse Training by Growing Connections with Guided Stochastic Exploration

• arxiv url: http://arxiv.org/abs/2401.06898v1
• Date: Fri, 12 Jan 2024 21:32:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-17 20:57:26.709159
• Title: Always-Sparse Training by Growing Connections with Guided Stochastic Exploration
• Title（参考訳）: ガイド付き確率探索による接続成長による常時スパーストレーニング
• Authors: Mike Heddes, Narayan Srinivasa, Tony Givargis, Alexandru Nicolau
• Abstract要約: 本研究では,より大規模かつスペーサーなモデルへのスケーリングに優れる,効率的な常時スパーストレーニングアルゴリズムを提案する。 我々は,VGGモデルとVTモデルを用いて,CIFAR-10/100 と ImageNet の手法を評価し,様々なスペーサー化手法と比較した。
• 参考スコア（独自算出の注目度）: 46.4179239171213
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The excessive computational requirements of modern artificial neural networks (ANNs) are posing limitations on the machines that can run them. Sparsification of ANNs is often motivated by time, memory and energy savings only during model inference, yielding no benefits during training. A growing body of work is now focusing on providing the benefits of model sparsification also during training. While these methods greatly improve the training efficiency, the training algorithms yielding the most accurate models still materialize the dense weights, or compute dense gradients during training. We propose an efficient, always-sparse training algorithm with excellent scaling to larger and sparser models, supported by its linear time complexity with respect to the model width during training and inference. Moreover, our guided stochastic exploration algorithm improves over the accuracy of previous sparse training methods. We evaluate our method on CIFAR-10/100 and ImageNet using ResNet, VGG, and ViT models, and compare it against a range of sparsification methods.
• Abstract（参考訳）: 現代の人工ニューラルネットワーク(anns)の過剰な計算要件は、それらを実行するマシンに制限を課している。 ANNのスパーシフィケーションは、しばしば、モデル推論の間のみ時間、記憶、エネルギーの節約によって動機付けられ、トレーニング中に利益が得られない。 ますます多くの作業が、トレーニング中にモデルスパースフィケーションのメリットを提供することに集中している。 これらの手法はトレーニング効率を大幅に改善するが、最も正確なモデルを生成するトレーニングアルゴリズムは、トレーニング中に高密度な重み、または高密度な勾配を計算する。 トレーニングや推論の際のモデル幅に対する線形時間複雑性に支えられ,より大規模かつスペーサーなモデルへのスケーリングに優れた,効率的で常時スパースなトレーニングアルゴリズムを提案する。 さらに,従来のスパース学習手法の精度よりも,確率探索アルゴリズムを改良した。 resnet, vgg, vitモデルを用いてcifar-10/100およびimagenetの手法を評価し, 各種スパーシフィケーション法と比較した。

関連論文リスト

• Scaling Laws and Compute-Optimal Training Beyond Fixed Training Durations [62.132347451049455]
  スケールは強力な機械学習モデルを得る上で重要な要素となっている。 本研究では,コサインのスケジュールに依存するため,スケールとトレーニングの研究は必然的に複雑である,と論じる。 その結果,重量平均化はトレーニングの軌道に沿って,異なるスケールでのトレーニングコストを伴わずに向上することがわかった。
  論文  参考訳（メタデータ） (2024-05-28T17:33:54Z)
• Diffusion-Model-Assisted Supervised Learning of Generative Models for Density Estimation [10.793646707711442]
  本稿では,密度推定のための生成モデルを訓練するためのフレームワークを提案する。 スコアベース拡散モデルを用いてラベル付きデータを生成する。 ラベル付きデータが生成されると、シンプルな完全に接続されたニューラルネットワークをトレーニングして、教師付き方法で生成モデルを学ぶことができます。
  論文  参考訳（メタデータ） (2023-10-22T23:56:19Z)
• Accurate Neural Network Pruning Requires Rethinking Sparse Optimization [87.90654868505518]
  標準コンピュータビジョンと自然言語処理の疎度ベンチマークを用いたモデルトレーニングにおいて,高い疎度が与える影響について述べる。 本稿では,視覚モデルのスパース事前学習と言語モデルのスパース微調整の両面において,この問題を軽減するための新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-08-03T21:49:14Z)
• Balanced Training for Sparse GANs [16.045866864231417]
  本研究では, スパース発生器と判別器のバランスを研究するために, BRと呼ばれる新しい指標を提案する。 また、GANトレーニング中にBRを制御し、性能と計算コストのトレードオフを良好に達成するために、バランスド・ダイナミックスパース・トレーニング(ADAPT)と呼ばれる新しい手法を導入する。
  論文  参考訳（メタデータ） (2023-02-28T15:34:01Z)
• Effective and Efficient Training for Sequential Recommendation using Recency Sampling [91.02268704681124]
  本稿では,新しいRecency-based Smpling of Sequencesトレーニング目標を提案する。 提案手法により拡張されたモデルにより,最先端のBERT4Recに近い性能が得られることを示す。
  論文  参考訳（メタデータ） (2022-07-06T13:06:31Z)
• Online Convolutional Re-parameterization [51.97831675242173]
  2段階のパイプラインであるオンライン畳み込み再パラメータ化(OREPA)は、複雑なトレーニング時間ブロックを単一の畳み込みに絞ることで、巨大なトレーニングオーバーヘッドを低減することを目的としている。 最先端のre-paramモデルと比較して、OREPAはトレーニング時間のメモリコストを約70%削減し、トレーニング速度を約2倍向上させることができる。 また、オブジェクト検出とセマンティックセグメンテーションの実験を行い、下流タスクに一貫した改善を示す。
  論文  参考訳（メタデータ） (2022-04-02T09:50:19Z)
• Training Efficiency and Robustness in Deep Learning [2.6451769337566406]
  ディープラーニングモデルのトレーニング効率と堅牢性を改善するためのアプローチについて検討する。 より情報的なトレーニングデータに基づく学習の優先順位付けは収束速度を高め、テストデータに対する一般化性能を向上させる。 トレーニングデータのサンプリングに対する冗長性を考慮した修正により、トレーニング速度が向上し、トレーニング信号の多様性を検出する効率的な方法が開発されていることを示す。
  論文  参考訳（メタデータ） (2021-12-02T17:11:33Z)
• Effective Model Sparsification by Scheduled Grow-and-Prune Methods [73.03533268740605]
  本稿では,高密度モデルの事前学習を伴わない新規なGrow-and-prune(GaP)手法を提案する。 実験により、そのようなモデルは様々なタスクにおいて80%の間隔で高度に最適化された高密度モデルの品質に適合または打ち勝つことができることが示された。
  論文  参考訳（メタデータ） (2021-06-18T01:03:13Z)
• Procrustes: a Dataflow and Accelerator for Sparse Deep Neural Network Training [0.5219568203653523]
  我々は,まず,第1の訓練を行わず,第2の訓練を行ない,第2の訓練を行ない,第1の訓練を行ない,第1の訓練を行ない,第1の訓練を行ない,第2の訓練を行ないながら,第1の訓練を行ない,第1の訓練を行ない,第2の訓練を行ないながら、第2の訓練を行ない、第2の訓練を行ない、第2の訓練を行ない、第2の訓練を行ない、第2の訓練を行ない、第2の訓練を行なう。 最先端のDNNアクセラレーターをスパーストレーニングサポートなしで使用した同等の未使用モデルのトレーニングと比較すると、Procrustesは最大3.26$times$少ないエネルギーを消費し、様々なモデルにわたって最大4$times$のスピードアップを提供する。
  論文  参考訳（メタデータ） (2020-09-23T07:39:55Z)
• A Practical Incremental Method to Train Deep CTR Models [37.54660958085938]
  本稿では,3つの分離モジュールからなる深部CTRモデルを訓練するための実用的なインクリメンタル手法を提案する。 提案手法は従来のバッチモード学習と同等の性能を達成でき,訓練効率も向上する。
  論文  参考訳（メタデータ） (2020-09-04T12:35:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。