論文の概要: Compression via Pre-trained Transformers: A Study on Byte-Level Multimodal Data

• arxiv url: http://arxiv.org/abs/2410.05078v2
• Date: Fri, 23 May 2025 10:55:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-26 18:08:33.442517
• Title: Compression via Pre-trained Transformers: A Study on Byte-Level Multimodal Data
• Title（参考訳）: 事前学習型変換器による圧縮:バイトレベルマルチモーダルデータの検討
• Authors: David Heurtel-Depeiges, Anian Ruoss, Joel Veness, Tim Genewein,
• Abstract要約: 我々は、事前学習したトランスフォーマーが競合圧縮比を達成できるスイートスポットを見つけるために、大規模な研究を行う。 比較的小さなパラメータは、標準的な汎用圧縮アルゴリズムより優れていることが判明した。 たとえ小さなモデルであっても、複数のモダリティでうまく機能するように訓練できるが、大規模な基礎モデルとは異なり、目に見えないモダリティへの移動は一般的に弱い。
• 参考スコア（独自算出の注目度）: 8.475091996107741
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Foundation models are strong data compressors, but when accounting for their parameter size, their compression ratios are inferior to standard compression algorithms. Naively reducing the parameter count does not necessarily help as it deteriorates predictions and, accordingly, compression. We conduct a large-scale empirical study to find a sweet spot where pre-trained vanilla transformers can achieve competitive compression ratios. To this end, we train models on 165GB of raw byte sequences of either text, image, or audio data (and all possible combinations of the three) and then compress 1GB of out-of-distribution (OOD) data from each modality. We find that relatively small models (millions of parameters) can outperform standard general-purpose compression algorithms (gzip, LZMA2) and even domain-specific compressors (PNG, JPEG-XL, FLAC) $\unicode{x2013}$ even when accounting for parameter size. We achieve, e.g., the lowest compression ratio of 0.49 on OOD audio data (vs. 0.54 for FLAC). We conduct extensive ablations and hyperparameter sweeps to study the impact of model- and dataset scale, and we investigate the effect of unimodal versus multimodal training. We find that even small models can be trained to perform well on multiple modalities, but unlike large-scale foundation models, transfer to unseen modalities is generally weak.
• Abstract（参考訳）: 基礎モデルは強力なデータ圧縮機であるが、パラメータサイズを考慮すると、圧縮比は標準圧縮アルゴリズムより劣る。 パラメータ数をネイティブに削減することは、予測が劣化し、したがって圧縮されるため、必ずしも役に立たない。 我々は,事前学習したバニラ変圧器が競合圧縮比を達成できるスイートスポットを見つけるために,大規模な実証的研究を行った。 この目的のために、テキスト、画像、オーディオデータの165GBの生のバイトシーケンス(および3つの可能な組み合わせ)でモデルをトレーニングし、各モードから1GBのアウト・オブ・ディストリビューション(OOD)データを圧縮する。 比較的小さなモデル(数百万のパラメータ)は、標準汎用圧縮アルゴリズム(gzip, LZMA2)やドメイン固有圧縮器(PNG, JPEG-XL, FLAC)さえも、パラメータサイズを考慮に入れた場合でも、性能を上回ります。 我々は,OOD音声データ(FLACは0.54)の最低圧縮比0.49を達成する。 我々は,モデルスケールとデータセットスケールの影響を調べるため,広範囲なアブレーションとハイパーパラメータスイープを行い,非モーダルとマルチモーダルトレーニングの効果について検討する。 たとえ小さなモデルであっても、複数のモダリティでうまく機能するように訓練できるが、大規模な基礎モデルとは異なり、目に見えないモダリティへの移動は一般的に弱い。

関連論文リスト

• LoRC: Low-Rank Compression for LLMs KV Cache with a Progressive Compression Strategy [59.1298692559785]
  キーバリュー(KV)キャッシュは、トランスフォーマーベースの自己回帰型大言語モデル(LLM)を提供する上で重要なコンポーネントである。 この問題を緩和するためのアプローチとしては、(1) アップサイクルステージに統合された効率的な注意変動、(2) テスト時のKVキャッシュ圧縮、(3) テスト時のKVキャッシュ圧縮がある。 そこで我々は,KV重み行列の低ランク近似を提案し,モデル再学習なしに既存のトランスフォーマーベースLCMとのプラグイン統合を実現する。 本手法は,テスト段階におけるアップサイクリング段階のモデルチューニングやタスク固有のプロファイリングを伴わずに機能するように設計されている。
  論文  参考訳（メタデータ） (2024-10-04T03:10:53Z)
• Token Compensator: Altering Inference Cost of Vision Transformer without Re-Tuning [63.43972993473501]
  視覚変換器(ViT)の訓練と推論を高速化するトークン圧縮 しかし、下流タスクに適用した場合、圧縮度はトレーニングと推論の段階で不一致となる。 本稿では,2段階間の圧縮度を分離するモデル演算フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-13T10:36:43Z)
• What Operations can be Performed Directly on Compressed Arrays, and with What Error? [1.3307486544794784]
  我々は、圧縮されたデータに直接、数十のかなり基本的な操作を可能にする、損失のある圧縮機を開発した。 3つの非自明なアプリケーション上で評価し、内部表現のために異なる数系を選択する。
  論文  参考訳（メタデータ） (2024-06-17T05:01:09Z)
• Everything You Always Wanted to Know About Storage Compressibility of Pre-Trained ML Models but Were Afraid to Ask [19.612260423937744]
  既存のデータ削減技術は、事前訓練されたモデル(PTM)データセットファイルのために特別に設計されていない。 本稿では,ストレージ圧縮性に関するPTMデータセットの現在までの総括的解析について述べる。 我々は、他のいくつかのデータ削減手法とともにELFを統合する圧縮フレームワークであるElvesを開発した。
  論文  参考訳（メタデータ） (2024-02-20T23:45:37Z)
• A Survey on Transformer Compression [84.18094368700379]
  自然言語処理(NLP)とコンピュータビジョン(CV)の領域においてトランスフォーマーは重要な役割を果たす モデル圧縮法は、Transformerのメモリと計算コストを削減する。 この調査は、Transformerベースのモデルに適用することに焦点を当てた、最近の圧縮方法に関する包括的なレビューを提供する。
  論文  参考訳（メタデータ） (2024-02-05T12:16:28Z)
• Activations and Gradients Compression for Model-Parallel Training [85.99744701008802]
  モデル並列分散トレーニングセットアップにおけるアクティベーションと勾配の同時圧縮が収束に与える影響について検討する。 グラデーションはアクティベーションよりも軽度な圧縮速度を必要とする。 実験では、TopKでトレーニングされたモデルが、推論中に圧縮も適用された場合にのみ正常に動作することが示されている。
  論文  参考訳（メタデータ） (2024-01-15T15:54:54Z)
• GraVAC: Adaptive Compression for Communication-Efficient Distributed DL Training [0.0]
  分散データ並列(DDP)トレーニングは、複数のデバイスがデータのサブセットをトレーニングし、アップデートを集約してグローバルに共有するモデルを生成することにより、アプリケーション全体のスループットを向上させる。 GraVACは、モデル進捗を評価し、圧縮に関連する情報損失を評価することで、トレーニング全体を通して圧縮係数を動的に調整するフレームワークである。 静的圧縮係数を使用するのとは対照的に、GraVACはResNet101、VGG16、LSTMのエンドツーエンドのトレーニング時間をそれぞれ4.32x、1.95x、6.67x削減する。
  論文  参考訳（メタデータ） (2023-05-20T14:25:17Z)
• Compressing Transformer-based self-supervised models for speech processing [45.254624876127124]
  本稿では,重量刈り,頭部刈り,低ランク近似,知識蒸留など,一般的な圧縮技術について検討する。 ウォールクロック時間,パラメータ数,乗算演算数など,さまざまな圧縮速度でトレードオフを報告する。 この結果から,最近の手法とのトレードオフを改善する圧縮手法の簡単な組み合わせが導かれる。
  論文  参考訳（メタデータ） (2022-11-17T23:53:52Z)
• CrAM: A Compression-Aware Minimizer [103.29159003723815]
  本稿では、CrAMと呼ばれる新しい圧縮対応最小化器を提案し、最適化ステップを原則的に修正する。 CrAMは、標準のSGD/アダムベースベースラインよりも精度が高い密度のモデルを生成するが、重量計算では安定である。 CrAMは、転送学習のためにうまく機能するスパースモデルを生成することができ、GPUハードウェアでサポートされている半構造化の2:4プルーニングパターンでも機能する。
  論文  参考訳（メタデータ） (2022-07-28T16:13:28Z)
• Exploring Autoencoder-based Error-bounded Compression for Scientific Data [14.724393511470225]
  我々は,SZモデルの観点から,エラーバウンドオートエンコーダベースのフレームワークを開発する。 設計したAEベースエラーバウンド圧縮フレームワークの主段の圧縮品質を最適化する。
  論文  参考訳（メタデータ） (2021-05-25T07:53:32Z)
• Towards Compact CNNs via Collaborative Compression [166.86915086497433]
  チャネルプルーニングとテンソル分解を結合してCNNモデルを圧縮する協調圧縮方式を提案する。 52.9%のFLOPを削減し、ResNet-50で48.4%のパラメータを削除しました。
  論文  参考訳（メタデータ） (2021-05-24T12:07:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。