論文の概要: AutoSculpt: A Pattern-based Model Auto-pruning Framework Using Reinforcement Learning and Graph Learning

• arxiv url: http://arxiv.org/abs/2412.18091v1
• Date: Tue, 24 Dec 2024 02:05:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-25 15:55:21.348934
• Title: AutoSculpt: A Pattern-based Model Auto-pruning Framework Using Reinforcement Learning and Graph Learning
• Title（参考訳）: AutoSculpt: 強化学習とグラフ学習を用いたパターンベースモデル自動実行フレームワーク
• Authors: Lixian Jing, Jianpeng Qi, Junyu Dong, Yanwei Yu,
• Abstract要約: AutoSculptは、ディープニューラルネットワーク(DNN)のためのパターンベースの自動プルーニングフレームワーク 既存の推論エンジンで認識可能なDNNアーキテクチャ内の規則的なパターンを自動的に識別し、特定する。 最大90%の刈り取り率と約18%の改善を達成し、全てのベースラインを上回ります。
• 参考スコア（独自算出の注目度）: 32.10443611442628
• License:
• Abstract: As deep neural networks (DNNs) are increasingly deployed on edge devices, optimizing models for constrained computational resources is critical. Existing auto-pruning methods face challenges due to the diversity of DNN models, various operators (e.g., filters), and the difficulty in balancing pruning granularity with model accuracy. To address these limitations, we introduce AutoSculpt, a pattern-based automated pruning framework designed to enhance efficiency and accuracy by leveraging graph learning and deep reinforcement learning (DRL). AutoSculpt automatically identifies and prunes regular patterns within DNN architectures that can be recognized by existing inference engines, enabling runtime acceleration. Three key steps in AutoSculpt include: (1) Constructing DNNs as graphs to encode their topology and parameter dependencies, (2) embedding computationally efficient pruning patterns, and (3) utilizing DRL to iteratively refine auto-pruning strategies until the optimal balance between compression and accuracy is achieved. Experimental results demonstrate the effectiveness of AutoSculpt across various architectures, including ResNet, MobileNet, VGG, and Vision Transformer, achieving pruning rates of up to 90% and nearly 18% improvement in FLOPs reduction, outperforming all baselines. The codes can be available at https://anonymous.4open.science/r/AutoSculpt-DDA0
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)がエッジデバイスにますますデプロイされているため、制約された計算リソースのモデルを最適化することが重要である。 既存のオートプルーニング手法は、DNNモデルの多様性、様々な演算子(例えば、フィルタ)、およびプルーニング粒度とモデルの精度のバランスが難しいため、課題に直面している。 これらの制約に対処するために,グラフ学習と深部強化学習(DRL)を活用して,効率と精度を向上させるパターンベースの自動刈取フレームワークであるAutoSculptを紹介した。 AutoSculptは、既存の推論エンジンで認識可能なDNNアーキテクチャ内の通常のパターンを自動的に識別し、プーンし、ランタイムアクセラレーションを可能にする。 AutoSculptの3つの重要なステップは、(1)DNNをグラフとして構築し、そのトポロジとパラメータ依存性をエンコードし、(2)計算効率の良いプルーニングパターンを埋め込み、(3)DRLを利用して自動プルーニング戦略を反復的に洗練し、圧縮と精度の最適なバランスを達成することである。 実験により,ResNet,MobileNet,VGG,Vision Transformerなど,さまざまなアーキテクチャにおけるAutoSculptの有効性が実証された。 コードはhttps://anonymous.4open.science/r/AutoSculpt-DDA0で入手できる。

関連論文リスト

• RL-Pruner: Structured Pruning Using Reinforcement Learning for CNN Compression and Acceleration [0.0]
  RL-Prunerを提案する。このRL-Prunerは、強化学習を用いて最適プルーニング分布を学習する。 RL-Prunerは、モデル固有のプルーニング実装を必要とせずに、入力モデル内のフィルタ間の依存関係を自動的に抽出し、プルーニングを実行する。
  論文  参考訳（メタデータ） (2024-11-10T13:35:10Z)
• Auto-Train-Once: Controller Network Guided Automatic Network Pruning from Scratch [72.26822499434446]
  オートトレインオース (Auto-Train-Once, ATO) は、DNNの計算コストと記憶コストを自動的に削減するために設計された、革新的なネットワークプルーニングアルゴリズムである。 総合的な収束解析と広範な実験を行い,本手法が様々なモデルアーキテクチャにおける最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2024-03-21T02:33:37Z)
• OTOv3: Automatic Architecture-Agnostic Neural Network Training and Compression from Structured Pruning to Erasing Operators [57.145175475579315]
  このトピックは、構造化プルーニングからニューラルアーキテクチャサーチまで、さまざまなテクニックにまたがっている。 第3世代のOTOv3(Noth-Train-Once)を導入する。 我々は,構造化プルーニングとニューラルアーキテクチャ探索におけるOTOv3の有効性を実証した。
  論文  参考訳（メタデータ） (2023-12-15T00:22:55Z)
• Automatic Mapping of the Best-Suited DNN Pruning Schemes for Real-Time Mobile Acceleration [71.80326738527734]
  本稿では,汎用的,きめ細かな構造化プルーニング手法とコンパイラの最適化を提案する。 提案手法は,より微細な構造化プルーニング手法とともに,最先端のDNN最適化フレームワークよりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-11-22T23:53:14Z)
• Boosting the Convergence of Reinforcement Learning-based Auto-pruning Using Historical Data [35.36703623383735]
  強化学習(Reinforcement Learning, RL)に基づくオートプルーニング(auto-pruning, 自動プルーニング)は, 手作りの高価な作業を避けるために, プルーニングプロセスを自動化するために提案されている。 しかし、RLをベースとしたプルーナーでは、時間を要するトレーニングプロセスが伴い、各サンプルの高コストがこの問題をさらに悪化させる。 本稿では,従来のオートプルーニングプロセスの履歴データを活用することで,この問題を解消する効率的なオートプルーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-07-16T07:17:26Z)
• DAIS: Automatic Channel Pruning via Differentiable Annealing Indicator Search [55.164053971213576]
  畳み込みニューラルネットワークは,計算オーバーヘッドが大きいにもかかわらず,コンピュータビジョンタスクの実行において大きな成功を収めている。 構造的(チャネル)プルーニングは、通常、ネットワーク構造を保ちながらモデルの冗長性を低減するために適用される。 既存の構造化プルーニング法では、手作りのルールが必要であり、これは大きなプルーニング空間に繋がる可能性がある。
  論文  参考訳（メタデータ） (2020-11-04T07:43:01Z)
• Auto-PyTorch Tabular: Multi-Fidelity MetaLearning for Efficient and Robust AutoDL [53.40030379661183]
  Auto-PyTorchは、完全に自動化されたディープラーニング(AutoDL)を実現するフレームワーク ディープニューラルネットワーク(DNN)のウォームスタートとアンサンブルのためのマルチフィデリティ最適化とポートフォリオ構築を組み合わせる。 Auto-PyTorchは、いくつかの最先端の競合製品よりもパフォーマンスが良いことを示す。
  論文  参考訳（メタデータ） (2020-06-24T15:15:17Z)
• An Image Enhancing Pattern-based Sparsity for Real-time Inference on Mobile Devices [58.62801151916888]
  パターンと接続性を組み合わせた新しい空間空間,すなわちパターンベースの空間空間を導入し,高度に正確かつハードウェアに親しみやすいものにした。 新たなパターンベースの空間性に対する我々のアプローチは,モバイルプラットフォーム上での高効率DNN実行のためのコンパイラ最適化に自然に適合する。
  論文  参考訳（メタデータ） (2020-01-20T16:17:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。