論文の概要: Low Rank Optimization for Efficient Deep Learning: Making A Balance between Compact Architecture and Fast Training

• arxiv url: http://arxiv.org/abs/2303.13635v1
• Date: Wed, 22 Mar 2023 03:55:16 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-27 16:51:24.527854
• Title: Low Rank Optimization for Efficient Deep Learning: Making A Balance between Compact Architecture and Fast Training
• Title（参考訳）: 効率的なディープラーニングのための低ランク最適化 - コンパクトアーキテクチャと高速トレーニングのバランスを取る
• Authors: Xinwei Ou, Zhangxin Chen, Ce Zhu, Yipeng Liu
• Abstract要約: 本稿では,効率的なディープラーニング技術のための低ランク最適化に焦点を当てる。 空間領域では、ディープニューラルネットワークは、ネットワークパラメータの低階近似によって圧縮される。 時間領域では、ネットワークパラメータをいくつかのサブスペースでトレーニングできるため、高速収束のための効率的なトレーニングが可能になる。
• 参考スコア（独自算出の注目度）: 36.85333789033387
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural networks have achieved great success in many data processing applications. However, the high computational complexity and storage cost makes deep learning hard to be used on resource-constrained devices, and it is not environmental-friendly with much power cost. In this paper, we focus on low-rank optimization for efficient deep learning techniques. In the space domain, deep neural networks are compressed by low rank approximation of the network parameters, which directly reduces the storage requirement with a smaller number of network parameters. In the time domain, the network parameters can be trained in a few subspaces, which enables efficient training for fast convergence. The model compression in the spatial domain is summarized into three categories as pre-train, pre-set, and compression-aware methods, respectively. With a series of integrable techniques discussed, such as sparse pruning, quantization, and entropy coding, we can ensemble them in an integration framework with lower computational complexity and storage. Besides of summary of recent technical advances, we have two findings for motivating future works: one is that the effective rank outperforms other sparse measures for network compression. The other is a spatial and temporal balance for tensorized neural networks.
• Abstract（参考訳）: ディープニューラルネットワークは多くのデータ処理アプリケーションで大きな成功を収めています。 しかし、計算の複雑さとストレージコストが高いため、ディープラーニングはリソース制約のあるデバイスでの使用が難しくなり、環境に優しい電力コストにはならない。 本稿では,効率的なディープラーニング手法のための低ランク最適化に注目する。 空間領域では、ディープニューラルネットワークは、ネットワークパラメータの低階近似によって圧縮され、ネットワークパラメータの少ないストレージ要求を直接削減する。 時間領域では、ネットワークパラメータをいくつかのサブスペースでトレーニングできるため、高速収束のための効率的なトレーニングが可能になる。 空間領域におけるモデル圧縮は,プレトレイン,プレセット,圧縮認識の3つのカテゴリに分類される。 スパースプルーニング、量子化、エントロピー符号化といった一連の積分可能な手法を議論することで、計算の複雑さとストレージの少ない統合フレームワークでそれらを統合することができる。 近年の技術的進歩の要約に加えて,ネットワーク圧縮において有効なランクが他の疎度尺度よりも優れているという,今後の研究を動機付ける2つの知見がある。 もう1つは、テンソル化ニューラルネットワークの空間的および時間的バランスである。

関連論文リスト

• Tiled Bit Networks: Sub-Bit Neural Network Compression Through Reuse of Learnable Binary Vectors [4.95475852994362]
  本稿では,バイナリ重み付きニューラルネットワークのサブビット圧縮を実現するために,ビット列を持つタイル型ニューラルネットワーク層に対する新しい量子化方式を提案する。 私たちは完全に接続された層と畳み込み層の両方にアプローチを採用しています。
  論文  参考訳（メタデータ） (2024-07-16T15:55:38Z)
• LCS: Learning Compressible Subspaces for Adaptive Network Compression at Inference Time [57.52251547365967]
  本稿では,ニューラルネットワークの「圧縮可能な部分空間」を訓練する手法を提案する。 構造的・非構造的空間に対する推定時間における微粒な精度・効率のトレードオフを任意に達成するための結果を示す。 我々のアルゴリズムは、可変ビット幅での量子化にまで拡張し、個別に訓練されたネットワークと同等の精度を実現する。
  論文  参考訳（メタデータ） (2021-10-08T17:03:34Z)
• Compact representations of convolutional neural networks via weight pruning and quantization [63.417651529192014]
  本稿では、音源符号化に基づく畳み込みニューラルネットワーク(CNN)の新しいストレージフォーマットを提案し、重み付けと量子化の両方を活用する。 我々は、全接続層で0.6%、ネットワーク全体で5.44%のスペース占有率を削減し、最低でもベースラインと同じくらいの競争力を発揮する。
  論文  参考訳（メタデータ） (2021-08-28T20:39:54Z)
• Semi-supervised Network Embedding with Differentiable Deep Quantisation [81.49184987430333]
  我々はネットワーク埋め込みのための微分可能な量子化法であるd-SNEQを開発した。 d-SNEQは、学習された量子化符号にリッチな高次情報を与えるためにランク損失を組み込む。 トレーニング済みの埋め込みのサイズを大幅に圧縮できるため、ストレージのフットプリントが減少し、検索速度が向上する。
  論文  参考訳（メタデータ） (2021-08-20T11:53:05Z)
• Dynamic Sparse Training for Deep Reinforcement Learning [36.66889208433228]
  我々は,ニューラルネットワークをスクラッチから切り離した深層強化学習エージェントを動的に訓練する試みを初めて提案する。 私たちのアプローチは、既存の深層強化学習アルゴリズムに簡単に統合できます。 我々は,オープンAI体育連続制御タスクに対するアプローチを評価した。
  論文  参考訳（メタデータ） (2021-06-08T09:57:20Z)
• Learning N:M Fine-grained Structured Sparse Neural Networks From Scratch [75.69506249886622]
  ディープニューラルネットワーク(DNN)におけるスパーシティは、資源制約された環境でモデルを圧縮し、加速するために広く研究されている。 本稿では,N:M細粒構造スパースネットワークのスクラッチからトレーニングを初めて行う。
  論文  参考訳（メタデータ） (2021-02-08T05:55:47Z)
• Dynamic Hard Pruning of Neural Networks at the Edge of the Internet [11.605253906375424]
  動的ハードプルーニング(DynHP)技術は、トレーニング中にネットワークを段階的にプルーニングする。 DynHPは、最終ニューラルネットワークの調整可能なサイズ削減と、トレーニング中のNNメモリ占有率の削減を可能にする。 凍結メモリは、ハードプルーニング戦略による精度劣化を相殺するために、エンファンダイナミックバッチサイズアプローチによって再利用される。
  論文  参考訳（メタデータ） (2020-11-17T10:23:28Z)
• ALF: Autoencoder-based Low-rank Filter-sharing for Efficient Convolutional Neural Networks [63.91384986073851]
  オートエンコーダを用いた低ランクフィルタ共有技術(ALF)を提案する。 ALFは、ネットワークパラメータの70%、オペレーションの61%、実行時間の41%を削減し、精度の低下を最小限にしている。
  論文  参考訳（メタデータ） (2020-07-27T09:01:22Z)
• Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
  大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。 これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。 本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
  論文  参考訳（メタデータ） (2020-02-10T16:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。