論文の概要: A Fast Transformer-based General-Purpose Lossless Compressor
- arxiv url: http://arxiv.org/abs/2203.16114v1
- Date: Wed, 30 Mar 2022 07:46:19 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-31 16:57:27.198882
- Title: A Fast Transformer-based General-Purpose Lossless Compressor
- Title（参考訳）: 高速変圧器を用いた汎用損失圧縮機
- Authors: Yu Mao, Yufei Cui, Tei-Wei Kuo, Chun Jason Xue
- Abstract要約: 深層学習圧縮機にトランスフォーマーを導入し,履歴依存度を並列に構築する。
既存の変換器は計算に重すぎるため、圧縮タスクと互換性がない。
単層変圧器の容量をフル活用するために, バイトグループ化と共有フィン方式を提案する。
- 参考スコア（独自算出の注目度）: 19.5544227045828
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep-learning-based compressor has received interests recently due to much
improved compression ratio. However, modern approaches suffer from long
execution time. To ease this problem, this paper targets on cutting down the
execution time of deep-learning-based compressors. Building
history-dependencies sequentially (e.g., recurrent neural networks) is
responsible for long inference latency. Instead, we introduce transformer into
deep learning compressors to build history-dependencies in parallel. However,
existing transformer is too heavy in computation and incompatible to
compression tasks.
This paper proposes a fast general-purpose lossless compressor, TRACE, by
designing a compression-friendly structure based on a single-layer transformer.
We first design a new metric to advise the selection part of compression model
structures. Byte-grouping and Shared-ffn schemes are further proposed to fully
utilize the capacity of the single-layer transformer. These features allow
TRACE to achieve competitive compression ratio and a much faster speed. In
addition, we further accelerate the compression procedure by designing a
controller to reduce the parameter updating overhead. Experiments show that
TRACE achieves an overall $\sim$3x speedup while keeps a comparable compression
ratio to the state-of-the-art compressors. The source code for TRACE and links
to the datasets are available at
https://github.com/mynotwo/A-Fast-Transformer-based-General-Purpose-LosslessCompressor.
- Abstract（参考訳）: ディープラーニングベースの圧縮機は最近、圧縮比が大幅に改善されたため関心を集めている。
しかし、現代のアプローチは長い実行時間に苦しむ。
そこで本研究では,ディープラーニングを用いた圧縮機の実行時間を短縮することを目的とした。
時系列的な履歴依存(リカレントニューラルネットワークなど)の構築は、長い推論遅延の原因となる。
代わりに、トランスフォーマーをディープラーニング圧縮機に導入して、履歴依存を並列に構築する。
しかし、既存のトランスフォーマーは計算が重く、圧縮タスクと互換性がない。
本稿では, 単一層トランスを用いた圧縮親しみやすい構造を設計し, 高速汎用ロスレス圧縮機 TRACE を提案する。
まず,圧縮モデル構造の選択部分を助言するために,新しい指標を設計する。
バイトグループ化と共有ffnスキームは単層トランスフォーマの容量を十分に活用するためにさらに提案されている。
これらの特徴により、トレースは競争力のある圧縮比とより速い速度を達成することができる。
さらに,パラメータ更新オーバーヘッドを低減するためにコントローラを設計することで,圧縮手順をさらに高速化する。
実験の結果、TRACEは全体の$\sim$3xのスピードアップを達成する一方で、最先端圧縮機と同等の圧縮比を維持することがわかった。
TRACEのソースコードとデータセットへのリンクはhttps://github.com/mynotwo/A-Fast-Transformer-based-General-Purpose-LosslessCompressorで確認できる。
関連論文リスト
- Fast Feedforward 3D Gaussian Splatting Compression [55.149325473447384]
3D Gaussian Splatting (FCGS) は、1つのフィードフォワードパスで3DGS表現を高速に圧縮できる最適化フリーモデルである。
FCGSは圧縮比を20倍以上に向上し、高精細度を維持しながら、ほとんどのシーン毎のSOTA最適化手法を上回ります。
論文 参考訳（メタデータ） (2024-10-10T15:13:08Z) - LoRC: Low-Rank Compression for LLMs KV Cache with a Progressive Compression Strategy [59.1298692559785]
キーバリュー(KV)キャッシュは、トランスフォーマーベースの自己回帰型大言語モデル(LLM)を提供する上で重要なコンポーネントである。
この問題を緩和するためのアプローチとしては、(1) アップサイクルステージに統合された効率的な注意変動、(2) テスト時のKVキャッシュ圧縮、(3) テスト時のKVキャッシュ圧縮がある。
そこで我々は,KV重み行列の低ランク近似を提案し,モデル再学習なしに既存のトランスフォーマーベースLCMとのプラグイン統合を実現する。
本手法は,テスト段階におけるアップサイクリング段階のモデルチューニングやタスク固有のプロファイリングを伴わずに機能するように設計されている。
論文 参考訳（メタデータ） (2024-10-04T03:10:53Z) - HyCoT: A Transformer-Based Autoencoder for Hyperspectral Image Compression [6.0163252984457145]
ハイパースペクトル圧縮変換器 (Hyperspectral Compression Transformer, HyCoT) は、画素ワイドHSI圧縮のためのトランスフォーマーベースのオートエンコーダである。
HySpecNet-11kデータセットの実験結果は、HyCoTがPSNRの1dBを超える圧縮比で芸術の状態を超越していることを示している。
論文 参考訳（メタデータ） (2024-08-16T12:27:46Z) - Token Compensator: Altering Inference Cost of Vision Transformer without Re-Tuning [63.43972993473501]
視覚変換器(ViT)の訓練と推論を高速化するトークン圧縮
しかし、下流タスクに適用した場合、圧縮度はトレーニングと推論の段階で不一致となる。
本稿では,2段階間の圧縮度を分離するモデル演算フレームワークを提案する。
論文 参考訳（メタデータ） (2024-08-13T10:36:43Z) - What Operations can be Performed Directly on Compressed Arrays, and with What Error? [1.3307486544794784]
我々は、圧縮されたデータに直接、数十のかなり基本的な操作を可能にする、損失のある圧縮機を開発した。
3つの非自明なアプリケーション上で評価し、内部表現のために異なる数系を選択する。
論文 参考訳（メタデータ） (2024-06-17T05:01:09Z) - Variator: Accelerating Pre-trained Models with Plug-and-Play Compression
Modules [111.98205411431402]
Variatorは、プラグアンドプレイ圧縮プラグインによる計算効率を向上させるパラメータ効率加速法である。
Variatorはパラメータを0.9%追加するだけで計算コストを53%削減でき、性能低下は2%未満である。
論文 参考訳（メタデータ） (2023-10-24T11:00:07Z) - Ultra Dual-Path Compression For Joint Echo Cancellation And Noise
Suppression [38.09558772881095]
固定圧縮比の下では、時間と周波数の両方の手法を組み合わせたデュアルパス圧縮により、さらなる性能向上が期待できる。
提案されたモデルは、高速なFullSubNetやDeepNetFilterと比較して、競争力のある性能を示している。
論文 参考訳（メタデータ） (2023-08-21T21:36:56Z) - DiffRate : Differentiable Compression Rate for Efficient Vision
Transformers [98.33906104846386]
Token圧縮は、プルーニング(ドロップ)やトークンのマージによって、大規模な視覚変換器(ViTなど)を高速化することを目的としている。
DiffRate(ディフレート)は、先行技術にはないいくつかの魅力的な特性を持つ新しいトークン圧縮手法である。
論文 参考訳（メタデータ） (2023-05-29T10:15:19Z) - Compressing Transformer-based self-supervised models for speech
processing [45.254624876127124]
本稿では,重量刈り,頭部刈り,低ランク近似,知識蒸留など,一般的な圧縮技術について検討する。
ウォールクロック時間,パラメータ数,乗算演算数など,さまざまな圧縮速度でトレードオフを報告する。
この結果から,最近の手法とのトレードオフを改善する圧縮手法の簡単な組み合わせが導かれる。
論文 参考訳（メタデータ） (2022-11-17T23:53:52Z) - iFlow: Numerically Invertible Flows for Efficient Lossless Compression
via a Uniform Coder [38.297114268193]
iFlowは効率的なロスレス圧縮を実現するための新しい方法である。
iFlowは最先端の圧縮比を達成し、他の高性能スキームよりも5倍速くなる。
論文 参考訳（メタデータ） (2021-11-01T14:15:58Z) - Towards Compact CNNs via Collaborative Compression [166.86915086497433]
チャネルプルーニングとテンソル分解を結合してCNNモデルを圧縮する協調圧縮方式を提案する。
52.9%のFLOPを削減し、ResNet-50で48.4%のパラメータを削除しました。
論文 参考訳（メタデータ） (2021-05-24T12:07:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。