論文の概要: OTOv3: Automatic Architecture-Agnostic Neural Network Training and Compression from Structured Pruning to Erasing Operators

• arxiv url: http://arxiv.org/abs/2312.09411v1
• Date: Fri, 15 Dec 2023 00:22:55 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-18 17:37:45.640874
• Title: OTOv3: Automatic Architecture-Agnostic Neural Network Training and Compression from Structured Pruning to Erasing Operators
• Title（参考訳）: OTOv3: 自動アーキテクチャ非依存ニューラルネットワークトレーニングと構造化プルーニングから消去演算子への圧縮
• Authors: Tianyi Chen, Tianyu Ding, Zhihui Zhu, Zeyu Chen, HsiangTao Wu, Ilya Zharkov, Luming Liang
• Abstract要約: このトピックは、構造化プルーニングからニューラルアーキテクチャサーチまで、さまざまなテクニックにまたがっている。 第3世代のOTOv3(Noth-Train-Once)を導入する。 我々は,構造化プルーニングとニューラルアーキテクチャ探索におけるOTOv3の有効性を実証した。
• 参考スコア（独自算出の注目度）: 57.145175475579315
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Compressing a predefined deep neural network (DNN) into a compact sub-network with competitive performance is crucial in the efficient machine learning realm. This topic spans various techniques, from structured pruning to neural architecture search, encompassing both pruning and erasing operators perspectives. Despite advancements, existing methods suffers from complex, multi-stage processes that demand substantial engineering and domain knowledge, limiting their broader applications. We introduce the third-generation Only-Train-Once (OTOv3), which first automatically trains and compresses a general DNN through pruning and erasing operations, creating a compact and competitive sub-network without the need of fine-tuning. OTOv3 simplifies and automates the training and compression process, minimizes the engineering efforts required from users. It offers key technological advancements: (i) automatic search space construction for general DNNs based on dependency graph analysis; (ii) Dual Half-Space Projected Gradient (DHSPG) and its enhanced version with hierarchical search (H2SPG) to reliably solve (hierarchical) structured sparsity problems and ensure sub-network validity; and (iii) automated sub-network construction using solutions from DHSPG/H2SPG and dependency graphs. Our empirical results demonstrate the efficacy of OTOv3 across various benchmarks in structured pruning and neural architecture search. OTOv3 produces sub-networks that match or exceed the state-of-the-arts. The source code will be available at https://github.com/tianyic/only_train_once.
• Abstract（参考訳）: 効率的な機械学習領域において、事前に定義されたディープニューラルネットワーク(DNN)を競合性能でコンパクトなサブネットワークに圧縮することが不可欠である。 このトピックは、構造化プルーニングからニューラルネットワークの検索まで、さまざまなテクニックにまたがり、プルーニングと消去演算子の観点を包含する。 進歩にもかかわらず、既存の手法は複雑な多段階のプロセスに悩まされ、工学とドメインの知識が要求され、より広範な応用が制限される。 まず,pruning と erasing による一般的な dnn の自動訓練と圧縮を行い,微調整を必要とせず,コンパクトで競争性の高いサブネットワークを構築する。 OTOv3は、トレーニングと圧縮プロセスを単純化し、自動化し、ユーザに必要なエンジニアリング作業を最小化する。 重要な技術的進歩をもたらします (i)依存性グラフ分析に基づく一般dnnの自動検索空間の構成 二 二重半空間投影勾配(DHSPG)とその階層探索による拡張版(H2SPG)により、(階層的な)構造的疎結合問題を確実に解決し、サブネットワークの妥当性を確保する。 3) DHSPG/H2SPGと依存グラフの解を用いたサブネットワーク構築 我々は,構造化プルーニングとニューラルアーキテクチャ探索におけるOTOv3の有効性を実証した。 OTOv3は、最先端に適合または超えるサブネットワークを製造している。 ソースコードはhttps://github.com/tianyic/only_train_onceで入手できる。

関連論文リスト

• FusionLLM: A Decentralized LLM Training System on Geo-distributed GPUs with Adaptive Compression [55.992528247880685]
  分散トレーニングは、システム設計と効率に関する重要な課題に直面します。 大規模深層ニューラルネットワーク(DNN)のトレーニング用に設計・実装された分散トレーニングシステムFusionLLMを提案する。 本システムと手法は,収束性を確保しつつ,ベースライン法と比較して1.45～9.39倍の高速化を実現可能であることを示す。
  論文  参考訳（メタデータ） (2024-10-16T16:13:19Z)
• HESSO: Towards Automatic Efficient and User Friendly Any Neural Network Training and Pruning [38.01465387364115]
  Only-Train-Once (OTO)シリーズはワークフローの合理化によって多くの問題点を解決するために最近提案されている。 各種アプリケーションにおけるHESSOとHESSO-CRICの改良版の有効性を数値的に示す。
  論文  参考訳（メタデータ） (2024-09-11T05:28:52Z)
• Auto-Train-Once: Controller Network Guided Automatic Network Pruning from Scratch [72.26822499434446]
  オートトレインオース (Auto-Train-Once, ATO) は、DNNの計算コストと記憶コストを自動的に削減するために設計された、革新的なネットワークプルーニングアルゴリズムである。 総合的な収束解析と広範な実験を行い,本手法が様々なモデルアーキテクチャにおける最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2024-03-21T02:33:37Z)
• Automated Search-Space Generation Neural Architecture Search [45.902445271519596]
  ASGNASは1ショット方式で高性能サブネットワークを生成する。 ASGNASは人間の努力を最小限にするために3つの顕著な貢献をしている。 ライブラリはhttps://github.com/tianyic/tianyic/only_train_once.comでリリースされる。
  論文  参考訳（メタデータ） (2023-05-25T19:41:40Z)
• HKNAS: Classification of Hyperspectral Imagery Based on Hyper Kernel Neural Architecture Search [104.45426861115972]
  設計したハイパーカーネルを利用して,構造パラメータを直接生成することを提案する。 我々は1次元または3次元の畳み込みを伴う画素レベルの分類と画像レベルの分類を別々に行う3種類のネットワークを得る。 6つの公開データセットに関する一連の実験は、提案手法が最先端の結果を得ることを示した。
  論文  参考訳（メタデータ） (2023-04-23T17:27:40Z)
• POPNASv3: a Pareto-Optimal Neural Architecture Search Solution for Image and Time Series Classification [8.190723030003804]
  本稿では、異なるハードウェア環境と複数の分類タスクを対象とした逐次モデルベースNASアルゴリズムの第3版について述べる。 提案手法は,異なるタスクに適応するフレキシブルな構造とデータ処理パイプラインを維持しながら,大規模な検索空間内で競合するアーキテクチャを見つけることができる。 画像と時系列の分類データセットで実施された実験は、POPNASv3が多種多様な演算子を探索し、異なるシナリオで提供されるデータの種類に適した最適なアーキテクチャに収束できることを示す。
  論文  参考訳（メタデータ） (2022-12-13T17:14:14Z)
• Complexity-Driven CNN Compression for Resource-constrained Edge AI [1.6114012813668934]
  本稿では,CNNの層レベルでの複雑さを生かして,新しい,計算効率の高いプルーニングパイプラインを提案する。 パラメータ認識(PA)、FLOP認識(FA)、メモリ認識(MA)の3つのモードを定義し、CNNの汎用圧縮を導入する。
  論文  参考訳（メタデータ） (2022-08-26T16:01:23Z)
• Pruning-as-Search: Efficient Neural Architecture Search via Channel Pruning and Structural Reparameterization [50.50023451369742]
  プルーニング・アズ・サーチ(Pruning-as-Search、PaS)は、必要なサブネットワークを自動的に効率的に検索するエンドツーエンドのプルーニング手法である。 提案したアーキテクチャは,ImageNet-1000分類タスクにおいて,1.0%$ Top-1精度で先行技術より優れていた。
  論文  参考訳（メタデータ） (2022-06-02T17:58:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。