論文の概要: HESSO: Towards Automatic Efficient and User Friendly Any Neural Network Training and Pruning

• arxiv url: http://arxiv.org/abs/2409.09085v1
• Date: Wed, 11 Sep 2024 05:28:52 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-17 22:18:51.977778
• Title: HESSO: Towards Automatic Efficient and User Friendly Any Neural Network Training and Pruning
• Title（参考訳）: HESSO: ニューラルネットワークトレーニングとプルーニングの効率化とユーザフレンドリー化を目指す
• Authors: Tianyi Chen, Xiaoyi Qu, David Aponte, Colby Banbury, Jongwoo Ko, Tianyu Ding, Yong Ma, Vladimir Lyapunov, Ilya Zharkov, Luming Liang,
• Abstract要約: Only-Train-Once (OTO)シリーズはワークフローの合理化によって多くの問題点を解決するために最近提案されている。 各種アプリケーションにおけるHESSOとHESSO-CRICの改良版の有効性を数値的に示す。
• 参考スコア（独自算出の注目度）: 38.01465387364115
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Structured pruning is one of the most popular approaches to effectively compress the heavy deep neural networks (DNNs) into compact sub-networks while retaining performance. The existing methods suffer from multi-stage procedures along with significant engineering efforts and human expertise. The Only-Train-Once (OTO) series has been recently proposed to resolve the many pain points by streamlining the workflow by automatically conducting (i) search space generation, (ii) structured sparse optimization, and (iii) sub-network construction. However, the built-in sparse optimizers in the OTO series, i.e., the Half-Space Projected Gradient (HSPG) family, have limitations that require hyper-parameter tuning and the implicit controls of the sparsity exploration, consequently requires intervening by human expertise. To address such limitations, we propose a Hybrid Efficient Structured Sparse Optimizer (HESSO). HESSO could automatically and efficiently train a DNN to produce a high-performing subnetwork. Meanwhile, it is almost tuning-free and enjoys user-friendly integration for generic training applications. To address another common issue of irreversible performance collapse observed in pruning DNNs, we further propose a Corrective Redundant Identification Cycle (CRIC) for reliably identifying indispensable structures. We numerically demonstrate the efficacy of HESSO and its enhanced version HESSO-CRIC on a variety of applications ranging from computer vision to natural language processing, including large language model. The numerical results showcase that HESSO can achieve competitive even superior performance to varying state-of-the-arts and support most DNN architectures. Meanwhile, CRIC can effectively prevent the irreversible performance collapse and further enhance the performance of HESSO on certain applications. The code is available at https://github.com/microsoft/only_train_once.
• Abstract（参考訳）: 構造化プルーニングは、パフォーマンスを維持しながら、重いディープニューラルネットワーク(DNN)をコンパクトなサブネットワークに効果的に圧縮する最も一般的なアプローチの1つである。 既存の手法は、重要なエンジニアリングの取り組みと人間の専門知識とともに、多段階的な手順に悩まされている。 Only-Train-Once(OTO)シリーズは、ワークフローを合理化して自動的に実行することで、多くの痛点を解決するために最近提案されている。 (i)検索空間生成 (二)構造化スパース最適化、及び (iii)サブネットワーク構築。 しかし、OTOシリーズのスパースオプティマイザ、すなわちハーフスペース・プロジェクテッド・グラディエント(HSPG)ファミリーには、ハイパーパラメータチューニングと空間探索の暗黙的な制御を必要とする制限があり、そのために人間の専門知識の介入を必要とする。 このような制約に対処するため,HESSO(Hybrid Efficient Structured Sparse Optimizer)を提案する。 HESSOはDNNを自動かつ効率的に訓練し、高性能なサブネットワークを構築できる。 一方、ほぼチューニング不要で、汎用的なトレーニングアプリケーションのためのユーザフレンドリな統合を楽しみます。 刈り取られたDNNで観測される可逆的性能崩壊の別の一般的な問題に対処するために,不必要な構造を確実に識別する補正冗長同定サイクル(CRIC)を提案する。 HESSOとHESSO-CRICのコンピュータビジョンから,大規模言語モデルを含む自然言語処理まで,さまざまなアプリケーションに対する効果を数値的に示す。 数値的な結果から,HESSOは様々な最先端技術に対してさらに優れた性能を達成し,ほとんどのDNNアーキテクチャをサポートできることが示されている。 一方、CRICは、不可能な性能の崩壊を効果的に防ぎ、特定のアプリケーション上でのHESSOの性能をさらに向上させることができる。 コードはhttps://github.com/microsoft/only_train_once.comで公開されている。

関連論文リスト

• Enhancing GNNs Performance on Combinatorial Optimization by Recurrent Feature Update [0.09986418756990156]
  本稿では,組合せ最適化(CO)問題を効率よく解くために,GNNのパワーを活用して,QRF-GNNと呼ぶ新しいアルゴリズムを提案する。 QUBO緩和による損失関数の最小化による教師なし学習に依存している。 実験の結果、QRF-GNNは既存の学習ベースアプローチを大幅に上回り、最先端の手法に匹敵することがわかった。
  論文  参考訳（メタデータ） (2024-07-23T13:34:35Z)
• OTOv3: Automatic Architecture-Agnostic Neural Network Training and Compression from Structured Pruning to Erasing Operators [57.145175475579315]
  このトピックは、構造化プルーニングからニューラルアーキテクチャサーチまで、さまざまなテクニックにまたがっている。 第3世代のOTOv3(Noth-Train-Once)を導入する。 我々は,構造化プルーニングとニューラルアーキテクチャ探索におけるOTOv3の有効性を実証した。
  論文  参考訳（メタデータ） (2023-12-15T00:22:55Z)
• A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical Computation Offloading [62.34538208323411]
  共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。 MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
  論文  参考訳（メタデータ） (2023-09-02T11:01:16Z)
• PLiNIO: A User-Friendly Library of Gradient-based Methods for Complexity-aware DNN Optimization [3.460496851517031]
  PLiNIOは、最先端のDNN設計自動化技術を包括的に実装したオープンソースライブラリである。 PLiNIOは、ベースラインアーキテクチャと比較して最大94.34%のメモリ削減を実現し、1%の精度低下を実現している。
  論文  参考訳（メタデータ） (2023-07-18T07:11:14Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• An Adaptive Device-Edge Co-Inference Framework Based on Soft Actor-Critic [72.35307086274912]
  高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。 本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。 レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
  論文  参考訳（メタデータ） (2022-01-09T09:31:50Z)
• Automatic Mapping of the Best-Suited DNN Pruning Schemes for Real-Time Mobile Acceleration [71.80326738527734]
  本稿では,汎用的,きめ細かな構造化プルーニング手法とコンパイラの最適化を提案する。 提案手法は,より微細な構造化プルーニング手法とともに,最先端のDNN最適化フレームワークよりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-11-22T23:53:14Z)
• Only Train Once: A One-Shot Neural Network Training And Pruning Framework [31.959625731943675]
  構造化プルーニング(Structured pruning)は、リソース制約のあるデバイスにディープニューラルネットワーク(DNN)をデプロイする際に一般的に使用されるテクニックである。 我々は,DNNが競争性能と,OTO(Not-Train-Once)によるFLOPの大幅な削減に敏感なフレームワークを提案する。 OTOには2つのキーが含まれている: (i) DNNのパラメータをゼロ不変群に分割し、出力に影響を与えることなくゼロ群をプルークすることができる; (ii)ゼロ群をプロモートするために、構造化画像最適化アルゴリズムであるHalf-Space Projected (HSPG)を定式化する。 OTOの有効性を示すために、私たちはトレーニングとトレーニングを行います。
  論文  参考訳（メタデータ） (2021-07-15T17:15:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。