論文の概要: End-to-end Learning of Compressible Features
- arxiv url: http://arxiv.org/abs/2007.11797v1
- Date: Thu, 23 Jul 2020 05:17:33 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-07 13:07:00.307221
- Title: End-to-end Learning of Compressible Features
- Title（参考訳）: 圧縮性特徴のエンドツーエンド学習
- Authors: Saurabh Singh, Sami Abu-El-Haija, Nick Johnston, Johannes Ball\'e,
Abhinav Shrivastava, George Toderici
- Abstract要約: 事前訓練された畳み込みニューラルネットワーク(CNN)は、市販の機能ジェネレータである。
CNNは、市販の強力な機能ジェネレータであり、様々なタスクで非常によく機能することが示されている。
残念ながら、生成された機能は高次元であり、保存するのにコストがかかる。
そこで本稿では, 圧縮性とタスク目標を協調的に最適化する学習手法を提案する。
- 参考スコア（独自算出の注目度）: 35.40108701875527
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Pre-trained convolutional neural networks (CNNs) are powerful off-the-shelf
feature generators and have been shown to perform very well on a variety of
tasks. Unfortunately, the generated features are high dimensional and expensive
to store: potentially hundreds of thousands of floats per example when
processing videos. Traditional entropy based lossless compression methods are
of little help as they do not yield desired level of compression, while general
purpose lossy compression methods based on energy compaction (e.g. PCA followed
by quantization and entropy coding) are sub-optimal, as they are not tuned to
task specific objective. We propose a learned method that jointly optimizes for
compressibility along with the task objective for learning the features. The
plug-in nature of our method makes it straight-forward to integrate with any
target objective and trade-off against compressibility. We present results on
multiple benchmarks and demonstrate that our method produces features that are
an order of magnitude more compressible, while having a regularization effect
that leads to a consistent improvement in accuracy.
- Abstract（参考訳）: 事前訓練された畳み込みニューラルネットワーク(CNN)は、市販の強力な特徴発生器であり、様々なタスクで非常によく機能することが示されている。
残念なことに、生成された機能は高次元で保存に費用がかかる。
従来のエントロピーベースのロスレス圧縮法は所望の圧縮レベルを得られないためほとんど役に立たないが、エネルギー圧縮(pca、量子化とエントロピー符号化)に基づく汎用目的のロスレス圧縮法はタスク固有の目的に調整されないため、準最適である。
そこで本稿では,圧縮性に最適化された学習手法と,特徴を学習するタスク目標を提案する。
本手法のプラグイン特性は, 目標目標と直接的に統合し, 圧縮性に対するトレードオフを生じさせる。
我々は,複数のベンチマークで結果を示し,本手法が1桁の圧縮性を有する特徴を生み出すとともに,精度の一貫した改善につながる正規化効果を有することを示す。
関連論文リスト
- Learning Accurate Performance Predictors for Ultrafast Automated Model
Compression [86.22294249097203]
フレキシブルネットワーク展開のための超高速自動モデル圧縮フレームワークSeerNetを提案する。
本手法は,探索コストを大幅に削減した競合精度・複雑度トレードオフを実現する。
論文 参考訳（メタデータ） (2023-04-13T10:52:49Z) - Towards Optimal Compression: Joint Pruning and Quantization [1.191194620421783]
本稿では,FITCompressについて紹介する。FITCompressは層単位での混合精度の量子化と非構造化プルーニングを組み合わせた新しい手法である。
コンピュータビジョンと自然言語処理ベンチマークの実験により,提案手法が優れた圧縮性能のトレードオフを実現することを示す。
論文 参考訳（メタデータ） (2023-02-15T12:02:30Z) - Revisiting Offline Compression: Going Beyond Factorization-based Methods
for Transformer Language Models [7.542276054279341]
トランスフォーマー言語モデルは、多くの自然言語処理(NLP)タスクにおいて卓越した結果を達成する。
その巨大なサイズは、しばしばメモリ制限されたデバイスを非現実的にし、実践者はそれをより小さなネットワークに圧縮する必要がある。
本稿では,圧縮モデルをさらに微調整する必要のないオフライン圧縮手法について検討する。
論文 参考訳（メタデータ） (2023-02-08T13:36:06Z) - Towards Hardware-Specific Automatic Compression of Neural Networks [0.0]
プルーニングと量子化が ニューラルネットワークを圧縮する主要なアプローチです
効率的な圧縮ポリシーは、特定のハードウェアアーキテクチャが使用する圧縮方法に与える影響を考慮する。
本稿では,プレニングと量子化を利用した強化学習を用いて,Galenと呼ばれるアルゴリズムフレームワークを提案する。
論文 参考訳（メタデータ） (2022-12-15T13:34:02Z) - Selective compression learning of latent representations for
variable-rate image compression [38.077284943341105]
本稿では、ディープラーニングに基づく可変レート画像圧縮のための、潜在表現を部分的に完全に一般化した方法で符号化する選択的圧縮法を提案する。
提案手法は、個別に訓練された参照圧縮モデルと同等の圧縮効率を達成でき、選択圧縮による復号時間を削減することができる。
論文 参考訳（メタデータ） (2022-11-08T09:09:59Z) - Unrolled Compressed Blind-Deconvolution [77.88847247301682]
sparse multi channel blind deconvolution (S-MBD) はレーダー/ソナー/超音波イメージングなどの多くの工学的応用で頻繁に発生する。
そこで本研究では,受信した全信号に対して,はるかに少ない測定値からブラインドリカバリを可能にする圧縮手法を提案する。
論文 参考訳（メタデータ） (2022-09-28T15:16:58Z) - Reducing The Amortization Gap of Entropy Bottleneck In End-to-End Image
Compression [2.1485350418225244]
エンド・ツー・エンドのディープ・トレーニング可能なモデルは、ビデオや画像の従来の手作り圧縮技術の性能をほぼ上回っている。
本稿では,このアモート化ギャップを小さなコストで低減する,シンプルで効率的なインスタンスベースのパラメータ化手法を提案する。
論文 参考訳（メタデータ） (2022-09-02T11:43:45Z) - Permute, Quantize, and Fine-tune: Efficient Compression of Neural
Networks [70.0243910593064]
ベクトル量子化の成功の鍵は、どのパラメータ群を一緒に圧縮するかを決定することである。
本稿では,隣り合う2つの層の重みを同じ関数を表現しながら不変にすることができることを観察する。
次に、レート歪み理論への接続を確立し、圧縮し易いネットワークとなる置換を探索する。
論文 参考訳（メタデータ） (2020-10-29T15:47:26Z) - Unfolding Neural Networks for Compressive Multichannel Blind
Deconvolution [71.29848468762789]
圧縮性多チャネルブラインドデコンボリューション問題に対する学習構造付き展開型ニューラルネットワークを提案する。
この問題では、各チャネルの測定は共通のソース信号とスパースフィルタの畳み込みとして与えられる。
提案手法は,従来の圧縮型マルチチャネルブラインドデコンボリューション法よりも,スパースフィルタの精度と高速化の点で優れていることを示す。
論文 参考訳（メタデータ） (2020-10-22T02:34:33Z) - Structured Sparsification with Joint Optimization of Group Convolution
and Channel Shuffle [117.95823660228537]
本稿では,効率的なネットワーク圧縮のための新しい構造空間分割法を提案する。
提案手法は, 畳み込み重みに対する構造的疎度を自動的に誘導する。
また,学習可能なチャネルシャッフル機構によるグループ間通信の問題にも対処する。
論文 参考訳（メタデータ） (2020-02-19T12:03:10Z) - End-to-End Facial Deep Learning Feature Compression with Teacher-Student
Enhancement [57.18801093608717]
本稿では,ディープニューラルネットワークの表現と学習能力を活用することで,エンドツーエンドの特徴圧縮手法を提案する。
特に、抽出した特徴量を、レート歪みコストを最適化することにより、エンドツーエンドでコンパクトに符号化する。
提案モデルの有効性を顔の特徴で検証し, 圧縮性能を高いレート精度で評価した。
論文 参考訳（メタデータ） (2020-02-10T10:08:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。