論文の概要: L2PF -- Learning to Prune Faster

• arxiv url: http://arxiv.org/abs/2101.02663v1
• Date: Thu, 7 Jan 2021 18:13:37 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-10 13:49:32.110857
• Title: L2PF -- Learning to Prune Faster
• Title（参考訳）: L2PF -- Pruneの高速化を学ぶ
• Authors: Manoj-Rohit Vemparala, Nael Fasfous, Alexander Frickenstein, Mhd Ali Moraly, Aquib Jamal, Lukas Frickenstein, Christian Unger, Naveen-Shankar Nagaraja, Walter Stechele
• Abstract要約: 本稿では,cnnの冗長フィルタを離散的に学習するマルチタスクのtry-and-learn法と,レイヤの微調整期間の連続的動作を提案する。 ResNet20では、最小精度で圧縮比3.84xを達成しました。 最先端プルーニング法と比較して,GPU時間を1.71倍に短縮した。
• 参考スコア（独自算出の注目度）: 57.32153461504626
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Various applications in the field of autonomous driving are based on convolutional neural networks (CNNs), especially for processing camera data. The optimization of such CNNs is a major challenge in continuous development. Newly learned features must be brought into vehicles as quickly as possible, and as such, it is not feasible to spend redundant GPU hours during compression. In this context, we present Learning to Prune Faster which details a multi-task, try-and-learn method, discretely learning redundant filters of the CNN and a continuous action of how long the layers have to be fine-tuned. This allows us to significantly speed up the convergence process of learning how to find an embedded-friendly filter-wise pruned CNN. For ResNet20, we have achieved a compression ratio of 3.84 x with minimal accuracy degradation. Compared to the state-of-the-art pruning method, we reduced the GPU hours by 1.71 x.
• Abstract（参考訳）: 自律運転分野における様々な応用は、特にカメラデータを処理するための畳み込みニューラルネットワーク(CNN)に基づいている。 このようなCNNの最適化は継続的開発において大きな課題である。 新しい学習された機能は、できるだけ早く車両に導入する必要があるため、圧縮中に余分なGPU時間を費やすことは不可能である。 この文脈では,複数タスクのtry-and-learnメソッドの詳細,cnnの冗長フィルタの離散学習,レイヤの微調整が必要な継続動作など,pruneを高速に学習する方法を提案する。 これにより、組込み型フィルタワイドプルーニングCNNの探索方法を学ぶための収束過程を大幅に高速化できる。 ResNet20では、圧縮比が3.84 xで、精度は最小限である。 最先端プルーニング法と比較して,GPU時間を1.71倍に短縮した。

関連論文リスト

• SparseTem: Boosting the Efficiency of CNN-Based Video Encoders by Exploiting Temporal Continuity [15.872209884833977]
  本稿では,メモリオーバーヘッドを削減するためのメモリ効率スケジューリング手法と,精度の劣化を最小限に抑えるためのオンライン調整機構を提案する。 SparseTemは効率の良いDetでは1.79x、CRNNでは4.72xの高速化を実現している。
  論文  参考訳（メタデータ） (2024-10-28T07:13:25Z)
• Transferability of Convolutional Neural Networks in Stationary Learning Tasks [96.00428692404354]
  本稿では,大規模な空間問題に対する畳み込みニューラルネットワーク(CNN)の効率的なトレーニングのための新しいフレームワークを提案する。 このような信号の小さなウィンドウで訓練されたCNNは、再学習することなく、はるかに大きなウィンドウでほぼ性能を発揮することを示す。 以上の結果から,CNNは10人未満の訓練を受けた後,数百人のエージェントによる問題に対処できることが示唆された。
  論文  参考訳（メタデータ） (2023-07-21T13:51:45Z)
• Self Similarity Matrix based CNN Filter Pruning [1.6799377888527687]
  2次元CNNフィルタから計算した自己相似行列(SSM)の助けを借りてCNNモデルプルーニングの問題に取り組む。 出力に類似したアクティベーションマップに寄与する冗長フィルタのランク付けとプーン化のための2つの新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-11-03T13:47:44Z)
• Compressing CNN Kernels for Videos Using Tucker Decompositions: Towards Lightweight CNN Applications [2.191505742658975]
  畳み込みニューラルネットワーク(CNN)は、ビジュアルコンピューティングの分野における最先端技術である。 CNNの大きな問題は、大量の浮動小数点演算(FLOP)が大きな入力に対して畳み込みを行うのに必要なものである。 本稿では,画像のための事前学習ネットワークの畳み込みカーネルを圧縮するタッカー分解法を提案する。
  論文  参考訳（メタデータ） (2022-03-10T11:53:53Z)
• An Acceleration Method Based on Deep Learning and Multilinear Feature Space [0.0]
  本稿では,大規模CNNアーキテクチャからの学習を伝達するために,Multilinear Feature Space (MFS)法に基づく代替手法を提案する。 提案手法はCNNを用いて特徴マップを生成するが,複雑性低減手法として機能しない。 AMFCと呼ばれる本手法では,事前学習したCNNからの移動学習を用いて,新しいサンプル画像の分類時間を最小限に抑える。
  論文  参考訳（メタデータ） (2021-10-16T23:49:12Z)
• Content-Aware Convolutional Neural Networks [98.97634685964819]
  畳み込みニューラルネットワーク(CNN)は、畳み込み層の強力な特徴学習能力によって大きな成功を収めている。 本研究では,スムーズなウィンドウを自動的に検出し,元の大規模カーネルを置き換えるために1x1畳み込みカーネルを適用するContent-aware Convolution (CAC)を提案する。
  論文  参考訳（メタデータ） (2021-06-30T03:54:35Z)
• 3D CNNs with Adaptive Temporal Feature Resolutions [83.43776851586351]
  similarity Guided Sampling (SGS)モジュールは既存のCNNアーキテクチャにプラグインできる。 SGSは、時間的特徴の類似性を学び、類似した特徴をまとめることで、3D CNNに権限を与える。 評価の結果,提案モジュールは精度を保ちながら計算コスト(GFLOP)を半分に減らし,最先端化を実現していることがわかった。
  論文  参考訳（メタデータ） (2020-11-17T14:34:05Z)
• When deep learning models on GPU can be accelerated by taking advantage of unstructured sparsity [0.0]
  本稿では、グラフィック処理ユニット(GPU)上でのスパース畳み込みニューラルネットワーク(CNN)層の効率向上に焦点をあてる。 現代のCNNモデルは、大容量の係数を必要とし、畳み込みを行うために数百万のMAC操作を必要としている。 畳み込み層の計算を高速化するために,直接スパース演算を用いることの価値を示す。
  論文  参考訳（メタデータ） (2020-11-12T10:13:48Z)
• RT3D: Achieving Real-Time Execution of 3D Convolutional Neural Networks on Mobile Devices [57.877112704841366]
  本稿では3次元CNNのためのモデル圧縮およびモバイルアクセラレーションフレームワークRT3Dを提案する。 3D CNNのリアルタイム実行は、市販のモバイル上で初めて実現された。
  論文  参考訳（メタデータ） (2020-07-20T02:05:32Z)
• Curriculum By Smoothing [52.08553521577014]
  畳み込みニューラルネットワーク(CNN)は、画像分類、検出、セグメンテーションなどのコンピュータビジョンタスクにおいて顕著な性能を示している。 アンチエイリアスフィルタやローパスフィルタを用いてCNNの機能埋め込みを円滑化するエレガントなカリキュラムベースのスキームを提案する。 トレーニング中に特徴マップ内の情報量が増加するにつれて、ネットワークはデータのより優れた表現を徐々に学習することができる。
  論文  参考訳（メタデータ） (2020-03-03T07:27:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。