Fugu-MT 論文翻訳(概要): Green DetNet: Computation and Memory efficient DetNet using Smart Compression and Training

論文の概要: Green DetNet: Computation and Memory efficient DetNet using Smart Compression and Training

arxiv url: http://arxiv.org/abs/2003.09446v2
Date: Fri, 16 Apr 2021 16:59:03 GMT
ステータス: 処理完了
システム内更新日: 2022-12-21 23:09:12.909405
Title: Green DetNet: Computation and Memory efficient DetNet using Smart Compression and Training
Title（参考訳）: Green DetNet: スマート圧縮とトレーニングを用いた計算とメモリ効率のよいDetNet
Authors: Nancy Nayak, Thulasi Tholeti, Muralikrishnan Srinivasan, Sheetal Kalyani
Abstract要約: 本稿では,DetNet などのMIMO (Unfolded multiple-input-multiple-output) 検出アルゴリズムを用いて,一般的なDeep Neural Network (DNN) ベースのインクリメンタルトレーニングフレームワークを提案する。我々の手法は、BERのパフォーマンスを損なうことなくDetNetと比較すると、メモリ要求の980.9%の削減とFLOPの81.63%の削減につながります。
参考スコア（独自算出の注目度）: 11.779762842630836
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This paper introduces an incremental training framework for compressing popular Deep Neural Network (DNN) based unfolded multiple-input-multiple-output (MIMO) detection algorithms like DetNet. The idea of incremental training is explored to select the optimal depth while training. To reduce the computation requirements or the number of FLoating point OPerations (FLOPs) and enforce sparsity in weights, the concept of structured regularization is explored using group LASSO and sparse group LASSO. Our methods lead to an astounding $98.9\%$ reduction in memory requirement and $81.63\%$ reduction in FLOPs when compared with DetNet without compromising on BER performance.
Abstract（参考訳）: 本稿では,一般的なディープニューラルネットワーク(dnn)ベースのマルチインプットマルチプルアウトプット(mimo)検出アルゴリズムであるdetnetを圧縮するためのインクリメンタルトレーニングフレームワークを提案する。トレーニング中の最適な深さを選択するために、インクリメンタルトレーニングのアイデアを探求する。計算要求やFLoating Point OPerations (FLOPs) の数を減らし、重みの空間性を強制するために、構造化正規化の概念をグループLASSOとスパースグループLASSOを用いて検討する。提案手法は, BER 性能を損なうことなく DetNet と比較して, メモリ要件の 98.9 % の削減, FLOP の 81.63 % の削減を実現している。

関連論文リスト

Information Consistent Pruning: How to Efficiently Search for Sparse Networks? [5.524804393257921]
反復等級プルーニング法(IMP)は、ディープニューラルネットワーク(DNN)における重要なノード数を減らすことに成功している。プルーニングネットワークにおけるIMPの人気にもかかわらず、既存のIMPアルゴリズムの基本的な制限は、各プルーニング勾配に必要なトレーニング時間である。本稿では,ネットワーク層間の情報やフローをモニタし,トレーニング時間を最小化するIMPのための新しいテキストトッピング基準を提案する。
論文参考訳（メタデータ） (2025-01-26T16:40:59Z)
Fast Graph Sharpness-Aware Minimization for Enhancing and Accelerating Few-Shot Node Classification [53.727688136434345]
グラフニューラルネットワーク(GNN)はノード分類において優れた性能を示している。高速グラフシャープネス認識最小化(FGSAM)を提案する。提案アルゴリズムは,FSNCタスクにおいて,計算コストの低い標準SAMよりも優れる。
論文参考訳（メタデータ） (2024-10-22T09:33:29Z)
Fixing the NTK: From Neural Network Linearizations to Exact Convex Programs [63.768739279562105]
学習目標に依存しない特定のマスクウェイトを選択する場合、このカーネルはトレーニングデータ上のゲートReLUネットワークのNTKと等価であることを示す。この目標への依存の欠如の結果として、NTKはトレーニングセット上の最適MKLカーネルよりもパフォーマンスが良くない。
論文参考訳（メタデータ） (2023-09-26T17:42:52Z)
Optimization Guarantees of Unfolded ISTA and ADMM Networks With Smooth Soft-Thresholding [57.71603937699949]
我々は,学習エポックの数の増加とともに,ほぼゼロに近いトレーニング損失を達成するための最適化保証について検討した。トレーニングサンプル数に対する閾値は,ネットワーク幅の増加とともに増加することを示す。
論文参考訳（メタデータ） (2023-09-12T13:03:47Z)
Binarizing Sparse Convolutional Networks for Efficient Point Cloud Analysis [93.55896765176414]
我々は,効率的な点群解析のためのBSC-Netと呼ばれるバイナリスパース畳み込みネットワークを提案する。我々は,移動したスパース畳み込みにおけるサイトマッチングに最適なオプションを見つけるために,異なる検索戦略を採用している。我々のBSC-Netは、我々の厳格なベースラインを大幅に改善し、最先端のネットワーク双対化手法より優れています。
論文参考訳（メタデータ） (2023-03-27T13:47:06Z)
On Model Compression for Neural Networks: Framework, Algorithm, and Convergence Guarantee [21.818773423324235]
本稿では,低ランク近似と重み近似の2つのモデル圧縮手法に焦点を当てた。本稿では,非最適化の新たな視点から,モデル圧縮のための全体論的なフレームワークを提案する。
論文参考訳（メタデータ） (2023-03-13T02:14:42Z)
Rewarded meta-pruning: Meta Learning with Rewards for Channel Pruning [19.978542231976636]
本稿では,ディープラーニングモデルにおける計算効率向上のためのパラメータとFLOPの削減手法を提案する。本稿では,ネットワークの精度と計算効率のトレードオフを制御するために,精度と効率係数を導入する。
論文参考訳（メタデータ） (2023-01-26T12:32:01Z)
Efficient Dataset Distillation Using Random Feature Approximation [109.07737733329019]
本稿では,ニューラルネットワークガウス過程(NNGP)カーネルのランダム特徴近似(RFA)を用いた新しいアルゴリズムを提案する。我々のアルゴリズムは、KIP上で少なくとも100倍のスピードアップを提供し、1つのGPUで実行できる。 RFA蒸留 (RFAD) と呼ばれる本手法は, 大規模データセットの精度において, KIP や他のデータセット凝縮アルゴリズムと競合して動作する。
論文参考訳（メタデータ） (2022-10-21T15:56:13Z)
Dep-$L_0$: Improving $L_0$-based Network Sparsification via Dependency Modeling [6.081082481356211]
L_0$正規化によるディープニューラルネットワークのトレーニングは、ネットワークプルーニングやスパシフィケーションの顕著なアプローチのひとつだ。本稿では,ImageNet上のResNet50のような大規模学習タスクに対して一貫性のない処理を行うことを示す。本稿では,多層パーセプトロンとして効果的にモデル化できるバイナリゲートの依存性モデリングを提案する。
論文参考訳（メタデータ） (2021-06-30T19:33:35Z)
Holistic Filter Pruning for Efficient Deep Neural Networks [25.328005340524825]
HFP(Holistic Filter Pruning)は、実装が容易で正確なプルーニング率の特定が可能な、一般的なDNNトレーニングのための新しいアプローチである。各種実験において,CIFAR-10 と ImageNet のトレーニングと最先端性能について考察した。
論文参考訳（メタデータ） (2020-09-17T09:23:36Z)
MOPS-Net: A Matrix Optimization-driven Network forTask-Oriented 3D Point Cloud Downsampling [86.42733428762513]
MOPS-Netは行列最適化のための新しい解釈可能な深層学習手法である。我々はMOPS-Netが様々なタスクに対して最先端の深層学習手法に対して好適な性能が得られることを示す。
論文参考訳（メタデータ） (2020-05-01T14:01:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。