論文の概要: L3TC: Leveraging RWKV for Learned Lossless Low-Complexity Text Compression

• arxiv url: http://arxiv.org/abs/2412.16642v1
• Date: Sat, 21 Dec 2024 14:24:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 15:52:56.574615
• Title: L3TC: Leveraging RWKV for Learned Lossless Low-Complexity Text Compression
• Title（参考訳）: L3TC:学習した低複雑さテキスト圧縮のためのRWKVの活用
• Authors: Junxuan Zhang, Zhengxue Cheng, Yan Zhao, Shihao Wang, Dajiang Zhou, Guo Lu, Li Song,
• Abstract要約: 我々はLearned Lossless Low-complexity Text Compression Method (L3TC)を紹介する。 我々は、RWKVモデルが適度な圧縮比で高速な復号速度を達成することを示す広範な実験を行った。 また、限られた語彙を用いて頻繁なトークンをカバーし、予測やエンコーディングを回避できる外れ値認識型トークン化器を提案する。
• 参考スコア（独自算出の注目度）: 23.179381396167084
• License:
• Abstract: Learning-based probabilistic models can be combined with an entropy coder for data compression. However, due to the high complexity of learning-based models, their practical application as text compressors has been largely overlooked. To address this issue, our work focuses on a low-complexity design while maintaining compression performance. We introduce a novel Learned Lossless Low-complexity Text Compression method (L3TC). Specifically, we conduct extensive experiments demonstrating that RWKV models achieve the fastest decoding speed with a moderate compression ratio, making it the most suitable backbone for our method. Second, we propose an outlier-aware tokenizer that uses a limited vocabulary to cover frequent tokens while allowing outliers to bypass the prediction and encoding. Third, we propose a novel high-rank reparameterization strategy that enhances the learning capability during training without increasing complexity during inference. Experimental results validate that our method achieves 48\% bit saving compared to gzip compressor. Besides, \emph{L3TC} offers compression performance comparable to other learned compressors, with a $50\times$ reduction in model parameters. More importantly, \emph{L3TC} is the fastest among all learned compressors, providing real-time decoding speeds up to megabytes per second.
• Abstract（参考訳）: 学習ベースの確率モデルは、データ圧縮のためのエントロピーコーダと組み合わせることができる。 しかし、学習ベースモデルの複雑さが高いため、テキスト圧縮機としての実用的応用は概ね見過ごされている。 本研究は,圧縮性能を維持しつつ,低複雑さ設計に重点を置いている。 本稿では,Learned Lossless Low-complexity Text Compression method (L3TC)を紹介する。 具体的には、RWKVモデルが適度な圧縮比で高速復号化速度を達成することを実証し、本手法のバックボーンとして最適であることを示す。 第二に、限られた語彙を用いて頻繁なトークンをカバーし、予測やエンコーディングを回避できる外れ値対応トークン化器を提案する。 第3に,推論中の複雑性を増大させることなく,学習能力を高める新しい高階再パラメータ化戦略を提案する。 実験により, Gzip 圧縮機に比べて48倍のビット節約が得られた。 さらに、 \emph{L3TC} は他の学習した圧縮機に匹敵する圧縮性能を提供し、モデルパラメータを50\times$で削減する。 さらに重要なのは、‘emph{L3TC} はすべての学習された圧縮機の中で最速であり、リアルタイムデコード速度は毎秒最大メガバイトである。

関連論文リスト

• Fast Feedforward 3D Gaussian Splatting Compression [55.149325473447384]
  3D Gaussian Splatting (FCGS) は、1つのフィードフォワードパスで3DGS表現を高速に圧縮できる最適化フリーモデルである。 FCGSは圧縮比を20倍以上に向上し、高精細度を維持しながら、ほとんどのシーン毎のSOTA最適化手法を上回ります。
  論文  参考訳（メタデータ） (2024-10-10T15:13:08Z)
• Training LLMs over Neurally Compressed Text [55.11828645767342]
  本稿では,高度に圧縮されたテキスト上での大規模言語モデル(LLM)の訓練について検討する。 テキストをブロックに分割し,それぞれが同じビット長に圧縮する新しい圧縮手法であるEqual-Info Windowsを提案する。 提案手法は, 大規模化により向上し, パープレキシティと推論速度のベンチマークにおいて, バイトレベルのベースラインをはるかに上回る, ニューラルネットワークによる効果的な学習を実演する。
  論文  参考訳（メタデータ） (2024-04-04T17:48:28Z)
• Activations and Gradients Compression for Model-Parallel Training [85.99744701008802]
  モデル並列分散トレーニングセットアップにおけるアクティベーションと勾配の同時圧縮が収束に与える影響について検討する。 グラデーションはアクティベーションよりも軽度な圧縮速度を必要とする。 実験では、TopKでトレーニングされたモデルが、推論中に圧縮も適用された場合にのみ正常に動作することが示されている。
  論文  参考訳（メタデータ） (2024-01-15T15:54:54Z)
• Long Context Compression with Activation Beacon [22.054232261437186]
  Activation Beaconは、トランスフォーマーベースのLLM用のプラグインモジュールである。 長いコンテキストの効率的な、効率的、柔軟な圧縮をターゲットとしている。 推論時間の2倍の高速化と、KVキャッシュのメモリコストの8倍の削減を実現している。
  論文  参考訳（メタデータ） (2024-01-07T11:57:40Z)
• LeCo: Lightweight Compression via Learning Serial Correlations [9.108815508920882]
  軽量データ圧縮は、カラムストアが分析クエリのパフォーマンスを向上する鍵となる技術である。 本稿では,機械学習を用いて値列内のシリアル冗長性を自動的に除去するフレームワークであるLeCo(Learned Compression)を提案する。 我々は、Arrow列実行エンジンのデータ解析クエリで最大5.2倍のスピードで、RocksDBのスループットが16%向上するのを観察した。
  論文  参考訳（メタデータ） (2023-06-27T10:46:36Z)
• Context-Based Trit-Plane Coding for Progressive Image Compression [31.396712329965005]
  トリトプレーン符号化は、深いプログレッシブな画像圧縮を可能にするが、自己回帰的文脈モデルを使用することはできない。 我々は,潜在要素のトライト確率を正確に推定するために,文脈に基づくレート低減モジュールを開発した。 第2に、三面体から部分潜時テンソルを精製する文脈に基づく歪み低減モジュールを開発する。 第三に、デコーダがより優れたレート歪みトレードオフを達成するための再訓練方式を提案する。
  論文  参考訳（メタデータ） (2023-03-10T05:46:25Z)
• Unrolled Compressed Blind-Deconvolution [77.88847247301682]
  sparse multi channel blind deconvolution (S-MBD) はレーダー/ソナー/超音波イメージングなどの多くの工学的応用で頻繁に発生する。 そこで本研究では,受信した全信号に対して,はるかに少ない測定値からブラインドリカバリを可能にする圧縮手法を提案する。
  論文  参考訳（メタデータ） (2022-09-28T15:16:58Z)
• Deep Lossy Plus Residual Coding for Lossless and Near-lossless Image Compression [85.93207826513192]
  本稿では、損失のない画像圧縮とほぼロスレス画像圧縮の両面において、統合された強力な深い損失+残差(DLPR)符号化フレームワークを提案する。 VAEのアプローチにおける連立損失と残留圧縮の問題を解く。 ほぼロスレスモードでは、元の残差を量子化し、与えられた$ell_infty$エラー境界を満たす。
  論文  参考訳（メタデータ） (2022-09-11T12:11:56Z)
• A Fast Transformer-based General-Purpose Lossless Compressor [19.5544227045828]
  深層学習圧縮機にトランスフォーマーを導入し,履歴依存度を並列に構築する。 既存の変換器は計算に重すぎるため、圧縮タスクと互換性がない。 単層変圧器の容量をフル活用するために, バイトグループ化と共有フィン方式を提案する。
  論文  参考訳（メタデータ） (2022-03-30T07:46:19Z)
• Exploring Autoencoder-based Error-bounded Compression for Scientific Data [14.724393511470225]
  我々は,SZモデルの観点から,エラーバウンドオートエンコーダベースのフレームワークを開発する。 設計したAEベースエラーバウンド圧縮フレームワークの主段の圧縮品質を最適化する。
  論文  参考訳（メタデータ） (2021-05-25T07:53:32Z)
• Towards Compact CNNs via Collaborative Compression [166.86915086497433]
  チャネルプルーニングとテンソル分解を結合してCNNモデルを圧縮する協調圧縮方式を提案する。 52.9%のFLOPを削減し、ResNet-50で48.4%のパラメータを削除しました。
  論文  参考訳（メタデータ） (2021-05-24T12:07:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。