論文の概要: Compressing Transformer-based self-supervised models for speech processing

• arxiv url: http://arxiv.org/abs/2211.09949v2
• Date: Sat, 27 Jan 2024 03:40:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-31 00:51:51.642225
• Title: Compressing Transformer-based self-supervised models for speech processing
• Title（参考訳）: 音声処理のためのトランスフォーマーに基づく自己教師型圧縮モデル
• Authors: Tzu-Quan Lin, Tsung-Huan Yang, Chun-Yao Chang, Kuang-Ming Chen, Tzu-hsun Feng, Hung-yi Lee, Hao Tang
• Abstract要約: 本稿では,重量刈り,頭部刈り,低ランク近似,知識蒸留など,一般的な圧縮技術について検討する。 ウォールクロック時間,パラメータ数,乗算演算数など,さまざまな圧縮速度でトレードオフを報告する。 この結果から,最近の手法とのトレードオフを改善する圧縮手法の簡単な組み合わせが導かれる。
• 参考スコア（独自算出の注目度）: 45.254624876127124
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the success of Transformers in self- supervised learning with applications to various downstream tasks, the computational cost of training and inference remains a major challenge for applying these models to a wide spectrum of devices. Several isolated attempts have been made to compress Transformers, but the settings and metrics are different across studies. Trade-off at various compression rates are also largely missing in prior work, making it difficult to compare compression techniques. In this work, we aim to provide context for the isolated results, studying several commonly used compression techniques, including weight pruning, head pruning, low-rank approximation, and knowledge distillation. We report trade- off at various compression rate, including wall-clock time, the number of parameters, and the number of multiply-accumulate operations. Our results show that compared to recent approaches, basic compression techniques are strong baselines. We further present several applications of our results, revealing properties of Transformers, such as the significance of diagonal attention heads. In addition, our results lead to a simple combination of compression techniques that improves trade-off over recent approaches. We hope the results would promote more diverse comparisons among model compression techniques and promote the use of model compression as a tool for analyzing models. Our code of compressing speech self-supervised model is available at https://github.com/nervjack2/Speech-SSL-Compression/.
• Abstract（参考訳）: 様々な下流タスクへの応用による自己教師型学習におけるトランスフォーマーの成功にもかかわらず、トレーニングと推論の計算コストは、これらのモデルを幅広いデバイスに適用する上で大きな課題である。 トランスフォーマーを圧縮するためにいくつかの独立した試みがなされているが、設定とメトリクスは研究によって異なる。 様々な圧縮速度でのトレードオフは、以前の作業でほとんど失われており、圧縮技術の比較が困難である。 本研究では, 分離された結果の文脈を提供し, 重みの刈り込み, ヘッドの刈り取り, 低ランク近似, 知識蒸留など, 広く用いられている圧縮技術について検討することを目的とした。 壁時計時間,パラメータ数,累積演算数など,様々な圧縮速度でのトレードオフを報告する。 その結果,近年の手法に比べ,基本圧縮技術は強固なベースラインであることが判明した。 さらに,本研究の応用として,対角的アテンションヘッドの重要性などのトランスフォーマーの特性を明らかにする。 さらに,近年のアプローチに対するトレードオフを改善する圧縮手法の簡易な組み合わせも実現している。 この結果により,モデル圧縮手法の多種多様な比較が促進され,モデル解析ツールとしてのモデル圧縮が促進されることを期待する。 音声自己教師付きモデルを圧縮するコードはhttps://github.com/nervjack2/speech-ssl-compression/で閲覧できます。

関連論文リスト

• Compression via Pre-trained Transformers: A Study on Byte-Level Multimodal Data [8.475091996107741]
  本稿では,事前学習したバニラ変圧器との競合圧縮比が可能なスイートスポットが存在するかを検討する。 テキスト、画像、オーディオデータの165GBの生のバイトシーケンスでモデルのファミリーをトレーニングします。 比較的小さなモデル(つまり数百万のパラメータ)が、標準的な汎用圧縮アルゴリズムより優れていることが分かりました。
  論文  参考訳（メタデータ） (2024-10-07T14:32:03Z)
• Compress and Compare: Interactively Evaluating Efficiency and Behavior Across ML Model Compression Experiments [20.360936113552597]
  デバイス上で機械学習モデルをデプロイするには、圧縮アルゴリズムを使用して、高品質なアウトプットを維持しながらモデルを縮小および高速化する。 既存の圧縮ツールは比較を不十分にサポートし、退屈な結果となり、時には不完全な解析が非結合ツールに分散する。 実世界の比較を支援するために,Compress and Compareという対話型ビジュアルシステムを開発した。 コンプレックスとコンプレックスは、圧縮されたモデル間の前兆関係を可視化し、モデルの予測、重み、アクティベーションを比較することで圧縮誘起の挙動変化を明らかにすることで、圧縮戦略を約束する。
  論文  参考訳（メタデータ） (2024-08-06T16:17:51Z)
• A Survey on Transformer Compression [84.18094368700379]
  自然言語処理(NLP)とコンピュータビジョン(CV)の領域においてトランスフォーマーは重要な役割を果たす モデル圧縮法は、Transformerのメモリと計算コストを削減する。 この調査は、Transformerベースのモデルに適用することに焦点を当てた、最近の圧縮方法に関する包括的なレビューを提供する。
  論文  参考訳（メタデータ） (2024-02-05T12:16:28Z)
• Activations and Gradients Compression for Model-Parallel Training [85.99744701008802]
  モデル並列分散トレーニングセットアップにおけるアクティベーションと勾配の同時圧縮が収束に与える影響について検討する。 グラデーションはアクティベーションよりも軽度な圧縮速度を必要とする。 実験では、TopKでトレーニングされたモデルが、推論中に圧縮も適用された場合にのみ正常に動作することが示されている。
  論文  参考訳（メタデータ） (2024-01-15T15:54:54Z)
• The Cost of Compression: Investigating the Impact of Compression on Parametric Knowledge in Language Models [11.156816338995503]
  大規模言語モデル(LLM)は、より高速な推論、メモリフットプリントの縮小、ローカルデプロイメントを可能にする。 2つの標準的な圧縮手法はプルーニングと量子化であり、前者はモデル層における冗長な接続を排除し、後者はより少ないビットでモデルパラメータを表現する。 LLM圧縮に関する既存の研究は、主にパープレキシティやダウンストリームタスクの精度といった一般的な指標のパフォーマンスに焦点を当てている。 パラメトリックな知識を測定するような、よりきめ細かいメトリクスは、いまだにかなり過小評価されている。
  論文  参考訳（メタデータ） (2023-12-01T22:27:12Z)
• Lossy and Lossless (L$^2$) Post-training Model Size Compression [12.926354646945397]
  本稿では,無損失圧縮と無損失圧縮を統一的に組み合わせた後学習モデルサイズ圧縮法を提案する。 精度を犠牲にすることなく安定な10times$圧縮比を達成でき、短時間で20times$圧縮比を小さくすることができる。
  論文  参考訳（メタデータ） (2023-08-08T14:10:16Z)
• DiffRate : Differentiable Compression Rate for Efficient Vision Transformers [98.33906104846386]
  Token圧縮は、プルーニング(ドロップ)やトークンのマージによって、大規模な視覚変換器(ViTなど)を高速化することを目的としている。 DiffRate(ディフレート)は、先行技術にはないいくつかの魅力的な特性を持つ新しいトークン圧縮手法である。
  論文  参考訳（メタデータ） (2023-05-29T10:15:19Z)
• Differentiable Microscopy for Content and Task Aware Compressive Fluorescence Imaging [0.0]
  スループットと画質のトレードオフは、顕微鏡に固有の課題である。 ディープラーニングに基づく手法は、圧縮と画質において大きな成功を収めた。 本稿では, 可微分圧縮蛍光顕微鏡を提案する。
  論文  参考訳（メタデータ） (2022-03-28T17:53:10Z)
• Analyzing and Mitigating JPEG Compression Defects in Deep Learning [69.04777875711646]
  本稿では,JPEG圧縮が共通タスクやデータセットに与える影響を統一的に検討する。 高圧縮の一般的なパフォーマンス指標には大きなペナルティがあることが示される。
  論文  参考訳（メタデータ） (2020-11-17T20:32:57Z)
• Learning End-to-End Lossy Image Compression: A Benchmark [90.35363142246806]
  まず,学習した画像の圧縮方法に関する総合的な文献調査を行う。 本稿では,最先端の学習画像圧縮手法のマイルストーンについて述べるとともに,既存の幅広い作品について概観し,その歴史的開発ルートについて考察する。 エントロピー推定と信号再構成のための粗大な超高次モデルを導入することにより、速度歪み性能の向上を実現する。
  論文  参考訳（メタデータ） (2020-02-10T13:13:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。