論文の概要: Fast Jacobian-Vector Product for Deep Networks

• arxiv url: http://arxiv.org/abs/2104.00219v1
• Date: Thu, 1 Apr 2021 03:04:40 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-03 05:36:23.770810
• Title: Fast Jacobian-Vector Product for Deep Networks
• Title（参考訳）: ディープネットワークのための高速ジャコビアンベクター製品
• Authors: Randall Balestriero, Richard Baraniuk
• Abstract要約: Jacobian-vector product (JVPs) はDeep Networks (DNs) における最近の多くの発展のバックボーンを形成する 連続Piecewise Affine(例えば、リーク-ReLU、max-pooling、maxoutなど)を使用するDNに対して、JVPを迅速に計算する新しい方法を提案する。 当社のソリューションは自動微分を必要としないため,ソフトウェアへのデプロイが容易で,DNアーキテクチャに依存しない数行のコードを変更するだけでよいのです。
• 参考スコア（独自算出の注目度）: 9.131273927745728
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Jacobian-vector products (JVPs) form the backbone of many recent developments in Deep Networks (DNs), with applications including faster constrained optimization, regularization with generalization guarantees, and adversarial example sensitivity assessments. Unfortunately, JVPs are computationally expensive for real world DN architectures and require the use of automatic differentiation to avoid manually adapting the JVP program when changing the DN architecture. We propose a novel method to quickly compute JVPs for any DN that employ Continuous Piecewise Affine (e.g., leaky-ReLU, max-pooling, maxout, etc.) nonlinearities. We show that our technique is on average $2\times$ faster than the fastest alternative over $13$ DN architectures and across various hardware. In addition, our solution does not require automatic differentiation and is thus easy to deploy in software, requiring only the modification of a few lines of codes that do not depend on the DN architecture.
• Abstract（参考訳）: ヤコビアンベクター製品(JVP)は、より高速な制約付き最適化、一般化保証付き正規化、敵のサンプル感度評価を含む、近年のディープネットワーク(DN)における多くの発展のバックボーンを形成する。 残念ながら、JVPは現実世界のDNアーキテクチャでは計算コストが高く、DNアーキテクチャを変更する際にJVPプログラムを手動で適応させるのを避けるために自動微分を使用する必要がある。 本研究では,連続的なピースワイドアフィンを用いた任意のDNに対してJVPを高速に計算する新しい手法を提案する(例えば,リーク-ReLU,最大プール,最大アウトなど)。 非線形性 当社の手法は,13ドルのDNアーキテクチャよりも高速で,さまざまなハードウェアにまたがって,平均2ドル(約2万2000円)の速度で実現されている。 さらに、当社のソリューションは自動微分を必要としないため、ソフトウェアへのデプロイが容易で、DNアーキテクチャに依存しないコード行だけを変更する必要があります。

関連論文リスト

• FusionLLM: A Decentralized LLM Training System on Geo-distributed GPUs with Adaptive Compression [55.992528247880685]
  分散トレーニングは、システム設計と効率に関する重要な課題に直面します。 大規模深層ニューラルネットワーク(DNN)のトレーニング用に設計・実装された分散トレーニングシステムFusionLLMを提案する。 本システムと手法は,収束性を確保しつつ,ベースライン法と比較して1.45～9.39倍の高速化を実現可能であることを示す。
  論文  参考訳（メタデータ） (2024-10-16T16:13:19Z)
• DiviML: A Module-based Heuristic for Mapping Neural Networks onto Heterogeneous Platforms [5.970091958678456]
  我々は、ディープニューラルネットワーク(DNN)を複数の相互接続ハードウェアデバイスに分割するコンパイラレベルのアプローチを開発する。 我々のスケジューラは、MILP(Mixed integer linear programming)の定式化とモジュラリティベースのランタイムを通じて、正確な解法と統合する。 複数の異種サーバにまたがる大規模な言語モデルをスケジュールするために、フレームワークをどのように拡張できるかを示します。
  論文  参考訳（メタデータ） (2023-07-31T19:46:49Z)
• PLiNIO: A User-Friendly Library of Gradient-based Methods for Complexity-aware DNN Optimization [3.460496851517031]
  PLiNIOは、最先端のDNN設計自動化技術を包括的に実装したオープンソースライブラリである。 PLiNIOは、ベースラインアーキテクチャと比較して最大94.34%のメモリ削減を実現し、1%の精度低下を実現している。
  論文  参考訳（メタデータ） (2023-07-18T07:11:14Z)
• Split-Et-Impera: A Framework for the Design of Distributed Deep Learning Applications [8.434224141580758]
  Split-Et-Imperaは、ディープネットワークの解釈可能性の原則に基づいて、ニューラルネットワークのベストスプリットポイントのセットを決定する。 異なるニューラルネットワーク再構成の迅速な評価のための通信認識シミュレーションを実行する。 これは、アプリケーションのサービス要件の品質と、正確性とレイテンシ時間の観点からのパフォーマンスのベストマッチを示唆している。
  論文  参考訳（メタデータ） (2023-03-22T13:00:00Z)
• Complexity-Driven CNN Compression for Resource-constrained Edge AI [1.6114012813668934]
  本稿では,CNNの層レベルでの複雑さを生かして,新しい,計算効率の高いプルーニングパイプラインを提案する。 パラメータ認識(PA)、FLOP認識(FA)、メモリ認識(MA)の3つのモードを定義し、CNNの汎用圧縮を導入する。
  論文  参考訳（メタデータ） (2022-08-26T16:01:23Z)
• An Adaptive Device-Edge Co-Inference Framework Based on Soft Actor-Critic [72.35307086274912]
  高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。 本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。 レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
  論文  参考訳（メタデータ） (2022-01-09T09:31:50Z)
• Automatic Mapping of the Best-Suited DNN Pruning Schemes for Real-Time Mobile Acceleration [71.80326738527734]
  本稿では,汎用的,きめ細かな構造化プルーニング手法とコンパイラの最適化を提案する。 提案手法は,より微細な構造化プルーニング手法とともに,最先端のDNN最適化フレームワークよりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-11-22T23:53:14Z)
• A novel Deep Neural Network architecture for non-linear system identification [78.69776924618505]
  非線形システム識別のための新しいDeep Neural Network (DNN)アーキテクチャを提案する。 メモリシステムにインスパイアされたインダクティブバイアス(アーキテクチャ)と正規化(損失関数)を導入する。 このアーキテクチャは、利用可能なデータのみに基づいて、自動的な複雑性の選択を可能にする。
  論文  参考訳（メタデータ） (2021-06-06T10:06:07Z)
• BLK-REW: A Unified Block-based DNN Pruning Framework using Reweighted Regularization Method [69.49386965992464]
  本稿では, 汎用的かつ柔軟な構造化プルーニング次元と, 強力かつ効率的な再加重正規化手法を組み合わせたブロック型プルーニングフレームワークを提案する。 我々のフレームワークは普遍的であり、CNNとRNNの両方に適用できる。 リアルタイムモバイルアクセラレーションと精度の妥協のないCNNとRNNの共通カバレッジを実現するのはこれが初めてである。
  論文  参考訳（メタデータ） (2020-01-23T03:30:56Z)
• PatDNN: Achieving Real-Time DNN Execution on Mobile Devices with Pattern-based Weight Pruning [57.20262984116752]
  粗粒構造の内部に新しい次元、きめ細かなプルーニングパターンを導入し、これまで知られていなかった設計空間の点を明らかにした。 きめ細かいプルーニングパターンによって高い精度が実現されているため、コンパイラを使ってハードウェア効率を向上し、保証することがユニークな洞察である。
  論文  参考訳（メタデータ） (2020-01-01T04:52:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。