論文の概要: PLiNIO: A User-Friendly Library of Gradient-based Methods for Complexity-aware DNN Optimization

• arxiv url: http://arxiv.org/abs/2307.09488v1
• Date: Tue, 18 Jul 2023 07:11:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-20 16:37:18.930917
• Title: PLiNIO: A User-Friendly Library of Gradient-based Methods for Complexity-aware DNN Optimization
• Title（参考訳）: PLiNIO: 複雑度を考慮したDNN最適化のためのグラディエントなメソッドのユーザフレンドリなライブラリ
• Authors: Daniele Jahier Pagliari, Matteo Risso, Beatrice Alessandra Motetti, Alessio Burrello
• Abstract要約: PLiNIOは、最先端のDNN設計自動化技術を包括的に実装したオープンソースライブラリである。 PLiNIOは、ベースラインアーキテクチャと比較して最大94.34%のメモリ削減を実現し、1%の精度低下を実現している。
• 参考スコア（独自算出の注目度）: 3.460496851517031
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Accurate yet efficient Deep Neural Networks (DNNs) are in high demand, especially for applications that require their execution on constrained edge devices. Finding such DNNs in a reasonable time for new applications requires automated optimization pipelines since the huge space of hyper-parameter combinations is impossible to explore extensively by hand. In this work, we propose PLiNIO, an open-source library implementing a comprehensive set of state-of-the-art DNN design automation techniques, all based on lightweight gradient-based optimization, under a unified and user-friendly interface. With experiments on several edge-relevant tasks, we show that combining the various optimizations available in PLiNIO leads to rich sets of solutions that Pareto-dominate the considered baselines in terms of accuracy vs model size. Noteworthy, PLiNIO achieves up to 94.34% memory reduction for a <1% accuracy drop compared to a baseline architecture.
• Abstract（参考訳）: DNN(Deep Neural Networks)は、特に制約のあるエッジデバイス上での実行を必要とするアプリケーションにおいて、精度が高く、かつ効率的である。 新しいアプリケーションに適したタイミングでそのようなDNNを見つけるには、ハイパーパラメータの組み合わせの膨大なスペースを手作業で探索することは不可能であるため、自動最適化パイプラインが必要である。 そこで本研究では,軽量勾配最適化に基づく最新のDNN設計自動化手法を,統一的かつユーザフレンドリなインターフェースで実装したオープンソースライブラリであるPLiNIOを提案する。 複数のエッジ関連タスクに関する実験により、plinioで利用可能な様々な最適化を組み合わせることで、考慮されるベースラインを精度とモデルサイズで優位にする、リッチなソリューションセットが得られることを示した。 注目すべき点として、PLiNIOはベースラインアーキテクチャと比較して最大94.34%のメモリ削減を実現している。

関連論文リスト

• HESSO: Towards Automatic Efficient and User Friendly Any Neural Network Training and Pruning [38.01465387364115]
  Only-Train-Once (OTO)シリーズはワークフローの合理化によって多くの問題点を解決するために最近提案されている。 各種アプリケーションにおけるHESSOとHESSO-CRICの改良版の有効性を数値的に示す。
  論文  参考訳（メタデータ） (2024-09-11T05:28:52Z)
• Towards Leveraging AutoML for Sustainable Deep Learning: A Multi-Objective HPO Approach on Deep Shift Neural Networks [16.314030132923026]
  本研究では,資源消費を最小化しつつ,DSNNの性能を最大化するためのハイパーパラメータ最適化(HPO)の影響について検討する。 実験の結果,提案手法の有効性が示され,精度が80%以上,計算コストが低いモデルが得られた。
  論文  参考訳（メタデータ） (2024-04-02T14:03:37Z)
• Sparse-DySta: Sparsity-Aware Dynamic and Static Scheduling for Sparse Multi-DNN Workloads [65.47816359465155]
  複数のディープニューラルネットワーク(DNN)を並列に実行することは、両エッジデバイスで新たなワークロードとなっている。 スパースマルチDNNスケジューリングに静的なスケジューラパターンと動的スケジューラ情報の両方を利用する新しいスケジューラDystaを提案する。 提案手法は, 遅延制約違反率を最大10%削減し, 平均正規化ターンアラウンド時間で約4倍に向上する。
  論文  参考訳（メタデータ） (2023-10-17T09:25:17Z)
• Flexible Channel Dimensions for Differentiable Architecture Search [50.33956216274694]
  本稿では,効率的な動的チャネル割当アルゴリズムを用いた新しい微分可能なニューラルアーキテクチャ探索法を提案する。 提案するフレームワークは,タスク精度と推論遅延において,従来の手法と等価なDNNアーキテクチャを見つけることができることを示す。
  論文  参考訳（メタデータ） (2023-06-13T15:21:38Z)
• Combining Multi-Objective Bayesian Optimization with Reinforcement Learning for TinyML [4.2019872499238256]
  マルチオブジェクトベイズ最適化(MOBOpt)に基づくマイクロコントローラ(TinyML)にディープニューラルネットワークをデプロイするための新しい戦略を提案する。 本手法は,DNNの予測精度,メモリ消費量,計算複雑性のトレードオフを効率的に検出することを目的としている。
  論文  参考訳（メタデータ） (2023-05-23T14:31:52Z)
• Automatic Mapping of the Best-Suited DNN Pruning Schemes for Real-Time Mobile Acceleration [71.80326738527734]
  本稿では,汎用的,きめ細かな構造化プルーニング手法とコンパイラの最適化を提案する。 提案手法は,より微細な構造化プルーニング手法とともに,最先端のDNN最適化フレームワークよりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-11-22T23:53:14Z)
• Adaptive Anomaly Detection for Internet of Things in Hierarchical Edge Computing: A Contextual-Bandit Approach [81.5261621619557]
  階層エッジコンピューティング(HEC)を用いた適応型異常検出手法を提案する。 まず,複雑性を増した複数のDNNモデルを構築し,それぞれを対応するHEC層に関連付ける。 そこで我々は、文脈帯域問題として定式化され、強化学習ポリシーネットワークを用いて解決される適応モデル選択スキームを設計する。
  論文  参考訳（メタデータ） (2021-08-09T08:45:47Z)
• A novel Deep Neural Network architecture for non-linear system identification [78.69776924618505]
  非線形システム識別のための新しいDeep Neural Network (DNN)アーキテクチャを提案する。 メモリシステムにインスパイアされたインダクティブバイアス(アーキテクチャ)と正規化(損失関数)を導入する。 このアーキテクチャは、利用可能なデータのみに基づいて、自動的な複雑性の選択を可能にする。
  論文  参考訳（メタデータ） (2021-06-06T10:06:07Z)
• Automated Design Space Exploration for optimised Deployment of DNN on Arm Cortex-A CPUs [13.628734116014819]
  組み込みデバイスにおけるディープラーニングは、ディープニューラルネットワーク(DNN)のデプロイを最適化する多くの方法の開発を促している。 テストし、グローバルに最適化されたソリューションを得るには、アプローチの空間が大きすぎるため、クロスレベル最適化に関する研究が不足している。 我々は、Arm Cortex-A CPUプラットフォーム上での最先端DNNの一連の結果を示し、最大4倍の性能向上とメモリの2倍以上の削減を実現した。
  論文  参考訳（メタデータ） (2020-06-09T11:00:06Z)
• Self-Directed Online Machine Learning for Topology Optimization [58.920693413667216]
  自己指向型オンライン学習最適化は、ディープニューラルネットワーク(DNN)と有限要素法(FEM)計算を統合している。 本アルゴリズムは, コンプライアンスの最小化, 流体構造最適化, 伝熱促進, トラス最適化の4種類の問題によって検証された。 その結果, 直接使用法と比較して計算時間を2～5桁削減し, 実験で検証した全ての最先端アルゴリズムより優れていた。
  論文  参考訳（メタデータ） (2020-02-04T20:00:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。