論文の概要: Compressing Transformer-based self-supervised models for speech
processing
- arxiv url: http://arxiv.org/abs/2211.09949v1
- Date: Thu, 17 Nov 2022 23:53:52 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-21 14:24:58.252096
- Title: Compressing Transformer-based self-supervised models for speech
processing
- Title(参考訳): 音声処理のためのトランスフォーマーに基づく自己教師型圧縮モデル
- Authors: Tzu-Quan Lin, Tsung-Huan Yang, Chun-Yao Chang, Kuang-Ming Chen,
Tzu-hsun Feng, Hung-yi Lee, Hao Tang
- Abstract要約: 下流タスクに適用する前に、トランスフォーマーを圧縮するためのいくつかの独立した試みがなされている。
本稿では,重量刈り,頭部刈り,低ランク近似,知識蒸留など,一般的な圧縮技術について検討する。
本稿では, 壁面時間, パラメータ数, 乗算演算回数について報告する。
- 参考スコア(独自算出の注目度): 53.14733986220669
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Despite the success of Transformers in self-supervised learning with
applications to various downstream tasks, the computational cost of training
and inference remains a major challenge for applying these models to a wide
spectrum of devices. Several isolated attempts have been made to compress
Transformers, prior to applying them to downstream tasks. In this work, we aim
to provide context for the isolated results, studying several commonly used
compression techniques, including weight pruning, head pruning, low-rank
approximation, and knowledge distillation. We report wall-clock time, the
number of parameters, and the number of multiply-accumulate operations for
these techniques, charting the landscape of compressing Transformer-based
self-supervised models.
- Abstract(参考訳): 様々な下流タスクへの応用による自己教師型学習におけるトランスフォーマーの成功にもかかわらず、トレーニングと推論の計算コストは、これらのモデルを幅広いデバイスに適用する上で大きな課題である。
下流タスクに適用する前に、トランスフォーマーを圧縮するためのいくつかの独立した試みが行われた。
本研究では, 分離された結果の文脈を提供し, 重みの刈り込み, ヘッドの刈り取り, 低ランク近似, 知識蒸留など, 広く用いられている圧縮技術について検討することを目的とした。
壁時計時間,パラメータ数,累積演算数について報告するとともに,変圧器をベースとする自己教師付きモデルについて考察した。
関連論文リスト
- A Survey on Transformer Compression [84.18094368700379]
Transformerアーキテクチャに基づく大規模モデルは、人工知能においてますます重要な役割を担っている。
モデル圧縮法はメモリと計算コストを削減し、実用的なデバイス上でトランスフォーマーモデルを実装するために必要なステップである。
このサーベイは、最近の圧縮手法の包括的なレビューを提供し、トランスフォーマーモデルへの適用に特に焦点をあてている。
論文 参考訳(メタデータ) (2024-02-05T12:16:28Z) - Activations and Gradients Compression for Model-Parallel Training [91.12425544503395]
モデル並列分散トレーニングセットアップにおけるアクティベーションと勾配の同時圧縮が収束に与える影響について検討する。
グラデーションはアクティベーションよりも軽度な圧縮速度を必要とする。
実験では、TopKでトレーニングされたモデルが、推論中に圧縮も適用された場合にのみ正常に動作することが示されている。
論文 参考訳(メタデータ) (2024-01-15T15:54:54Z) - The Cost of Compression: Investigating the Impact of Compression on
Parametric Knowledge in Language Models [11.156816338995503]
大規模言語モデル(LLM)は、より高速な推論、メモリフットプリントの縮小、ローカルデプロイメントを可能にする。
2つの標準的な圧縮手法はプルーニングと量子化であり、前者はモデル層における冗長な接続を排除し、後者はより少ないビットでモデルパラメータを表現する。
LLM圧縮に関する既存の研究は、主にパープレキシティやダウンストリームタスクの精度といった一般的な指標のパフォーマンスに焦点を当てている。
パラメトリックな知識を測定するような、よりきめ細かいメトリクスは、いまだにかなり過小評価されている。
論文 参考訳(メタデータ) (2023-12-01T22:27:12Z) - Lossy and Lossless (L$^2$) Post-training Model Size Compression [12.926354646945397]
本稿では,無損失圧縮と無損失圧縮を統一的に組み合わせた後学習モデルサイズ圧縮法を提案する。
精度を犠牲にすることなく安定な10times$圧縮比を達成でき、短時間で20times$圧縮比を小さくすることができる。
論文 参考訳(メタデータ) (2023-08-08T14:10:16Z) - DiffRate : Differentiable Compression Rate for Efficient Vision
Transformers [98.33906104846386]
Token圧縮は、プルーニング(ドロップ)やトークンのマージによって、大規模な視覚変換器(ViTなど)を高速化することを目的としている。
DiffRate(ディフレート)は、先行技術にはないいくつかの魅力的な特性を持つ新しいトークン圧縮手法である。
論文 参考訳(メタデータ) (2023-05-29T10:15:19Z) - Knowledge Distillation in Vision Transformers: A Critical Review [6.508088032296086]
ビジョントランスフォーマー(ViT)は、畳み込みニューラルネットワーク(CNN)よりも優れたパフォーマンス向上を実証した。
モデル圧縮は、最近、潜在的治療としてかなりの研究の注目を集めている。
本稿では、VTモデルの効率的な圧縮のためのKDに基づく様々なアプローチについて論じる。
論文 参考訳(メタデータ) (2023-02-04T06:30:57Z) - Differentiable Microscopy for Content and Task Aware Compressive
Fluorescence Imaging [0.0]
スループットと画質のトレードオフは、顕微鏡に固有の課題である。
ディープラーニングに基づく手法は、圧縮と画質において大きな成功を収めた。
本稿では, 可微分圧縮蛍光顕微鏡を提案する。
論文 参考訳(メタデータ) (2022-03-28T17:53:10Z) - Analyzing and Mitigating JPEG Compression Defects in Deep Learning [69.04777875711646]
本稿では,JPEG圧縮が共通タスクやデータセットに与える影響を統一的に検討する。
高圧縮の一般的なパフォーマンス指標には大きなペナルティがあることが示される。
論文 参考訳(メタデータ) (2020-11-17T20:32:57Z) - Learning End-to-End Lossy Image Compression: A Benchmark [90.35363142246806]
まず,学習した画像の圧縮方法に関する総合的な文献調査を行う。
本稿では,最先端の学習画像圧縮手法のマイルストーンについて述べるとともに,既存の幅広い作品について概観し,その歴史的開発ルートについて考察する。
エントロピー推定と信号再構成のための粗大な超高次モデルを導入することにより、速度歪み性能の向上を実現する。
論文 参考訳(メタデータ) (2020-02-10T13:13:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。