論文の概要: HyperZip: Efficient Data Compression through Personalized Diffusion LLMs with Hypernetworks
- arxiv url: http://arxiv.org/abs/2609.36357v1
- Date: Mon, 28 Sep 2026 22:44:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-30 21:28:47.046494
- Title: HyperZip: Efficient Data Compression through Personalized Diffusion LLMs with Hypernetworks
- Title（参考訳）: HyperZip: Hypernetworksによるパーソナライズされた拡散LDMによる効率的なデータ圧縮
- Abstract要約: HyperZipは、効率よくスケーラブルなLLMベースの圧縮フレームワークである。
我々は,HyperZipが最先端のベースラインに比べて圧縮速度と速度のトレードオフが優れていることを示す。
- 参考スコア（独自算出の注目度）: 2.8080432900497616
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) have shown strong potential for lossless data compression, but existing approaches are constrained by the high computational cost and low throughput of autoregressive decoding. We propose HyperZip, an efficient and scalable LLM-based compression framework that leverages diffusion-based LLMs (dLLMs) with Multi-Token Prediction (MTP) to accelerate LLM-based data compression processes. We identify a trade-off in diffusion-based compression, where increasing decoding throughput degrades the compression rate. To mitigate this trade-off, HyperZip employs a hypernetwork to generate data-specific updates from a context representation, adapting the dLLM to the target data without costly fine-tuning, resulting in a low compression rate and high throughput. Extensive experiments show that HyperZip achieves a superior trade-off between compression rate and speed compared with state-of-the-art baselines.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、ロスレスデータ圧縮の強い可能性を示しているが、既存のアプローチは、高い計算コストと自己回帰復号のスループットに制約されている。
拡散型LLM(dLLM)とMulti-Token Prediction(MTP)を併用してLLMベースのデータ圧縮プロセスを高速化する,効率よくスケーラブルなLLMベースの圧縮フレームワークであるHyperZipを提案する。
拡散に基づく圧縮におけるトレードオフを特定し、デコードスループットの増大は圧縮率を低下させる。
このトレードオフを緩和するため、HyperZipはハイパーネットワークを使用してコンテキスト表現からデータ固有の更新を生成し、dLLMをコストのかかる微調整なしでターゲットデータに適応させる。
大規模な実験により、HyperZipは最先端のベースラインに比べて圧縮速度と速度のトレードオフが優れていることが示された。
関連論文リスト
- Diffuse to Compress: Leveraging Diffusion LMs for Lossless Compression [1.133608012542551]
本稿では,デジタルテキストデータの収集・保存の急激な増加を背景として,ロスレステキスト圧縮の問題点を考察する。
自己回帰型LLM手法の代替的推論パラダイムとして拡散言語モデル(DLM)を導入する。
論文 参考訳（メタデータ） (2026-08-04T08:19:31Z) - Efficient Learned Image Compression without Entropy Coding [62.01837001379442]
エントロピー符号化自由学習画像圧縮(EF-LIC)を提案する。
EF-LICは、符号化レイテンシの低い統計的および相関的冗長性を排除し、コンパクトな表現を生成するマルチレートフレームワークである。
実験の結果、EF-LIC はコダックの MS-ILLM を LPIPS で67.86% 削減できることがわかった。
論文 参考訳（メタデータ） (2026-05-22T07:37:30Z) - Lossless Compression of Large Language Model-Generated Text via Next-Token Prediction [9.302754209202607]
大規模言語モデル(LLM)は、ドメインにまたがってデプロイされ、利用され続けている。
LLM生成データの圧縮は、従来の人間や機械生成のコンテンツと比較して、独特な課題を示す。
また,LLMに基づく予測手法は,Gzipで達成した3倍の圧縮速度をはるかに上回る20倍の圧縮速度を達成することを示す。
論文 参考訳（メタデータ） (2025-05-07T17:42:35Z) - Large Language Models for Lossless Image Compression: Next-Pixel Prediction in Language Space is All You Need [53.584140947828004]
前例のないインテリジェンスを持つ言語大モデル(LLM)は、様々なデータモダリティのための汎用ロスレス圧縮機である。
P$2$-LLMは,様々な入念な洞察と方法論を統合した次世代の予測型LLMである。
ベンチマークデータセットの実験では、P$2$-LLMがSOTAの古典的および学習的コーデックに勝ることを示した。
論文 参考訳（メタデータ） (2024-11-19T12:15:40Z) - EvoPress: Accurate Dynamic Model Compression via Evolutionary Search [33.86918407429272]
EvoPressは、大規模言語モデルの動的圧縮のための進化的フレームワークである。
最適な圧縮プロファイルを高い効率で識別する。
我々は,動的ビット幅の量子化,非構造的空間性,構造的プルーニング(ブロック/層降下),非構造的空間性,新しいベンチマークを設定した。
論文 参考訳（メタデータ） (2024-10-18T17:46:37Z) - Lightweight Correlation-Aware Table Compression [58.50312417249682]
$texttVirtual$は、既存のオープンフォーマットとシームレスに統合されるフレームワークである。
data-govデータセットの実験によると、$texttVirtual$はApache Parquetと比較してファイルサイズを最大40%削減する。
論文 参考訳（メタデータ） (2024-10-17T22:28:07Z) - LLMLingua-2: Data Distillation for Efficient and Faithful Task-Agnostic Prompt Compression [43.048684907893104]
本稿では, タスク非依存のプロンプト圧縮に着目し, 一般化性と効率性の向上を図る。
我々は,プロンプト圧縮をトークン分類問題として定式化し,圧縮されたプロンプトが元のプロンプトに忠実であることを保証する。
提案手法は, XLM-RoBERTa-large や mBERT などの小型モデルを用いて圧縮目標を明示的に学習することにより,低レイテンシを実現する。
論文 参考訳（メタデータ） (2024-03-19T17:59:56Z) - ZipLM: Inference-Aware Structured Pruning of Language Models [56.52030193434863]
ZipLMと呼ばれる大規模言語モデル(LLM)に対する新しい構造化圧縮手法を提案する。
ZipLMは、所望のランタイムスピードアップのセットをマッチングしながら、最先端の精度-vs-スピードアップを実現する。
ZipLMはすべての設定で最先端の圧縮モデルを生成する。
論文 参考訳（メタデータ） (2023-02-07T18:55:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。