論文の概要: Understanding is Compression

• arxiv url: http://arxiv.org/abs/2407.07723v1
• Date: Mon, 24 Jun 2024 03:58:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-22 13:58:01.808696
• Title: Understanding is Compression
• Title（参考訳）: 理解は圧縮である
• Authors: Ziguang Li, Chao Huang, Xuliang Wang, Haibo Hu, Cole Wyeth, Dongbo Bu, Quan Yu, Wen Gao, Xingwu Liu, Ming Li,
• Abstract要約: LMCompressは大規模モデルを用いたデータの理解に基づいている。 大きなモデルがデータを理解するほど、LMCompressは圧縮する。
• 参考スコア（独自算出の注目度）: 18.747845226548456
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We have previously shown all understanding or learning are compression, under reasonable assumptions. In principle, better understanding of data should improve data compression. Traditional compression methodologies focus on encoding frequencies or some other computable properties of data. Large language models approximate the uncomputable Solomonoff distribution, opening up a whole new avenue to justify our theory. Under the new uncomputable paradigm, we present LMCompress based on the understanding of data using large models. LMCompress has significantly better lossless compression ratios than all other lossless data compression methods, doubling the compression ratios of JPEG-XL for images, FLAC for audios and H264 for videos, and tripling or quadrupling the compression ratio of bz2 for texts. The better a large model understands the data, the better LMCompress compresses.
• Abstract（参考訳）: 我々は以前、合理的な仮定の下で、すべての理解または学習が圧縮であることを示した。 原則として、データに対するより良い理解はデータ圧縮を改善するべきである。 従来の圧縮手法は、周波数やその他の計算可能なデータの特性の符号化に重点を置いている。 大規模言語モデルは計算不能なソロモノフ分布を近似し、我々の理論を正当化するために全く新しい道を開く。 計算不能な新たなパラダイムとして,大規模モデルを用いたデータの理解に基づくLMCompressを提案する。 LMCompressは、他のすべてのロスレスデータ圧縮方法よりもロスレス圧縮比が大幅に向上し、画像のJPEG-XLの圧縮比が倍増し、オーディオのFLACとビデオのH264が倍増し、テキストのbz2の圧縮比が3倍または4倍になった。 大きなモデルがデータを理解するほど、LMCompressは圧縮する。

関連論文リスト

• Large Language Models for Lossless Image Compression: Next-Pixel Prediction in Language Space is All You Need [53.584140947828004]
  前例のないインテリジェンスを持つ言語大モデル(LLM)は、様々なデータモダリティのための汎用ロスレス圧縮機である。 P$2$-LLMは,様々な入念な洞察と方法論を統合した次世代の予測型LLMである。 ベンチマークデータセットの実験では、P$2$-LLMがSOTAの古典的および学習的コーデックに勝ることを示した。
  論文  参考訳（メタデータ） (2024-11-19T12:15:40Z)
• FineZip : Pushing the Limits of Large Language Models for Practical Lossless Text Compression [1.9699843876565526]
  FineZipは、オンライン記憶と動的コンテキストのアイデアを組み合わせて圧縮時間を劇的に短縮する新しいテキスト圧縮システムである。 FineZipは上記のコーパスを9.5日と比較すると約4時間で圧縮できる。
  論文  参考訳（メタデータ） (2024-09-25T17:58:35Z)
• AlphaZip: Neural Network-Enhanced Lossless Text Compression [0.0]
  本稿では,Large Language Model (LLM) を用いたロスレステキスト圧縮手法を提案する。 第一に、トランスフォーマーブロックのような高密度ニューラルネットワークアーキテクチャを使用した予測、第二に、予測ランクをAdaptive Huffman、LZ77、Gzipといった標準的な圧縮アルゴリズムで圧縮する。
  論文  参考訳（メタデータ） (2024-09-23T14:21:06Z)
• LLMLingua-2: Data Distillation for Efficient and Faithful Task-Agnostic Prompt Compression [43.048684907893104]
  本稿では, タスク非依存のプロンプト圧縮に着目し, 一般化性と効率性の向上を図る。 我々は,プロンプト圧縮をトークン分類問題として定式化し,圧縮されたプロンプトが元のプロンプトに忠実であることを保証する。 提案手法は, XLM-RoBERTa-large や mBERT などの小型モデルを用いて圧縮目標を明示的に学習することにより,低レイテンシを実現する。
  論文  参考訳（メタデータ） (2024-03-19T17:59:56Z)
• MISC: Ultra-low Bitrate Image Semantic Compression Driven by Large Multimodal Model [78.4051835615796]
  本稿では,マルチモーダル画像セマンティック圧縮法を提案する。 画像の意味情報を抽出するLMMエンコーダと、その意味に対応する領域を特定するマップエンコーダと、非常に圧縮されたビットストリームを生成する画像エンコーダと、前記情報に基づいて画像を再構成するデコーダとからなる。 知覚50%を節約しながら最適な一貫性と知覚結果を達成することができ、これは次世代のストレージと通信において強力な可能性を持つ。
  論文  参考訳（メタデータ） (2024-02-26T17:11:11Z)
• Lossy and Lossless (L$^2$) Post-training Model Size Compression [12.926354646945397]
  本稿では,無損失圧縮と無損失圧縮を統一的に組み合わせた後学習モデルサイズ圧縮法を提案する。 精度を犠牲にすることなく安定な10times$圧縮比を達成でき、短時間で20times$圧縮比を小さくすることができる。
  論文  参考訳（メタデータ） (2023-08-08T14:10:16Z)
• Deep Lossy Plus Residual Coding for Lossless and Near-lossless Image Compression [85.93207826513192]
  本稿では、損失のない画像圧縮とほぼロスレス画像圧縮の両面において、統合された強力な深い損失+残差(DLPR)符号化フレームワークを提案する。 VAEのアプローチにおける連立損失と残留圧縮の問題を解く。 ほぼロスレスモードでは、元の残差を量子化し、与えられた$ell_infty$エラー境界を満たす。
  論文  参考訳（メタデータ） (2022-09-11T12:11:56Z)
• Cross Modal Compression: Towards Human-comprehensible Semantic Compression [73.89616626853913]
  クロスモーダル圧縮は、視覚データのためのセマンティック圧縮フレームワークである。 提案したCMCは,超高圧縮比で再現性の向上が期待できることを示す。
  論文  参考訳（メタデータ） (2022-09-06T15:31:11Z)
• PILC: Practical Image Lossless Compression with an End-to-end GPU Oriented Neural Framework [88.18310777246735]
  本稿では,1台のNVIDIA Tesla V100 GPUを用いて,圧縮と圧縮の両面で200MB/sを実現するエンドツーエンド画像圧縮フレームワークを提案する。 実験により、我々のフレームワークは、複数のデータセットで30%のマージンで、PNGよりも圧縮が優れていることが示された。
  論文  参考訳（メタデータ） (2022-06-10T03:00:10Z)
• Towards Robust Data Hiding Against (JPEG) Compression: A Pseudo-Differentiable Deep Learning Approach [78.05383266222285]
  これらの圧縮に対抗できるデータ隠蔽の目標を達成することは、依然としてオープンな課題である。 ディープラーニングはデータの隠蔽に大きな成功を収めていますが、JPEGの非差別化性は、損失のある圧縮に対する堅牢性を改善するための深いパイプラインのトレーニングを困難にしています。 本稿では,上記の制約をすべて一度に解決するための,単純かつ効果的なアプローチを提案する。
  論文  参考訳（メタデータ） (2020-12-30T12:30:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。