論文の概要: The Lossy Horizon: Error-Bounded Predictive Coding for Lossy Text Compression (Episode I)
- arxiv url: http://arxiv.org/abs/2510.22207v1
- Date: Sat, 25 Oct 2025 08:18:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-28 15:28:14.913785
- Title: The Lossy Horizon: Error-Bounded Predictive Coding for Lossy Text Compression (Episode I)
- Title（参考訳）: The Lossy Horizon: The Lossy Text Compression (Episode I)
- Authors: Nnamdi Aghanya, Jun Li, Kewei Wang,
- Abstract要約: 本稿では,誤り境界予測符号化(EPC, Error-Bounded Predictive Coding)を提案する。
オリジナルのトークンのサブセットを格納する代わりに、EPCはモデルがマスク付きコンテンツを予測し、モデルのトップ予測が正しくない場合のみ、最小限のランクベースの修正を格納することを可能にする。
EPCが予測的マスキングを一貫して支配し、モデル固有の知識をより効率的に活用することにより、より優れた忠実度を著しく低いビットレートで提供することを示した。
- 参考スコア（独自算出の注目度）: 6.453417258264177
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Models (LLMs) can achieve near-optimal lossless compression by acting as powerful probability models. We investigate their use in the lossy domain, where reconstruction fidelity is traded for higher compression ratios. This paper introduces Error-Bounded Predictive Coding (EPC), a lossy text codec that leverages a Masked Language Model (MLM) as a decompressor. Instead of storing a subset of original tokens, EPC allows the model to predict masked content and stores minimal, rank-based corrections only when the model's top prediction is incorrect. This creates a residual channel that offers continuous rate-distortion control. We compare EPC to a simpler Predictive Masking (PM) baseline and a transform-based Vector Quantisation with a Residual Patch (VQ+RE) approach. Through an evaluation that includes precise bit accounting and rate-distortion analysis, we demonstrate that EPC consistently dominates PM, offering superior fidelity at a significantly lower bit rate by more efficiently utilising the model's intrinsic knowledge.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、強力な確率モデルとして機能することで、ほぼ最適のロスレス圧縮を実現することができる。
本研究は, 高圧縮比のために, 復元忠実度を交換する損失領域におけるそれらの利用について検討する。
本稿では,MLM(Masked Language Model)を圧縮器として利用する誤り境界予測符号化(EPC)について述べる。
オリジナルのトークンのサブセットを格納する代わりに、EPCはモデルがマスク付きコンテンツを予測し、モデルのトップ予測が正しくない場合のみ、最小限のランクベースの修正を格納することを可能にする。
これにより、連続的なレート歪み制御を提供する残留チャネルが生成される。
EPCを、より単純な予測的マスキング(PM)ベースラインと、Residual Patch(VQ+RE)アプローチによる変換ベースのベクトル量子化と比較する。
正確なビット会計とレート歪み解析を含む評価により、EPCはPMを一貫して支配し、モデルの本質的な知識をより効率的に活用することにより、より優れた忠実度を著しく低いビットレートで提供することを示した。
関連論文リスト
- Knowledge-Informed Neural Network for Complex-Valued SAR Image Recognition [51.03674130115878]
本稿では,新しい「圧縮集約圧縮」アーキテクチャ上に構築された軽量なフレームワークであるKnowledge-Informed Neural Network(KINN)を紹介する。
KINNはパラメータ効率の認識における最先端を確立し、データスカースとアウト・オブ・ディストリビューションのシナリオにおいて例外的な一般化を提供する。
論文 参考訳（メタデータ） (2025-10-23T07:12:26Z) - Activation-Informed Pareto-Guided Low-Rank Compression for Efficient LLM/VLM [11.762499172999886]
大規模言語モデル (LLM) と視覚言語モデル (VLM) は最先端のパフォーマンスを達成しているが、それらは展開において重要なメモリとコンピューティングの課題を課している。
この課題に対処する新しい低ランク圧縮フレームワークを提案する。
論文 参考訳（メタデータ） (2025-10-07T03:07:47Z) - Accelerating Diffusion LLMs via Adaptive Parallel Decoding [50.9948753314669]
並列にサンプリングされたトークンの数を動的に調整する新しい手法であるアダプティブ並列復号法(APD)を導入する。
APDは、ダウンストリームベンチマークで最小限の品質劣化を伴って、非常に高いスループットを提供する。
論文 参考訳（メタデータ） (2025-05-31T06:10:10Z) - Bridging Predictive Coding and MDL: A Two-Part Code Framework for Deep Learning [1.749935196721634]
階層的にPCが最小記述長目標に対してブロック座標降下を行うことを示す。
また、各PCスイープが経験的2部分符号長を単調に減少させ、より厳密な高確率リスク境界が得られることを証明した。
これはPC訓練深層モデルの形式的一般化と収束保証を提供する最初の結果である。
論文 参考訳（メタデータ） (2025-05-20T17:25:16Z) - Denoising Diffusion Probabilistic Model for Point Cloud Compression at Low Bit-Rates [22.076896401919683]
本稿では,ポイントクラウド圧縮のためのデノイング拡散確率モデル(Denoising Diffusion Probabilistic Model)アーキテクチャを提案する。
PointNetエンコーダは生成条件ベクトルを生成し、学習可能なベクトル量子化器を介して量子化する。
ShapeNetとModelNet40の実験では、標準化と最先端のアプローチと比較して、低速度での速度歪みが改善された。
論文 参考訳（メタデータ） (2025-05-19T16:29:12Z) - CALLIC: Content Adaptive Learning for Lossless Image Compression [64.47244912937204]
CALLICは、学習したロスレス画像圧縮のための新しい最先端(SOTA)を設定する。
本稿では,畳み込みゲーティング操作を利用したコンテンツ認識型自己回帰自己保持機構を提案する。
エンコーディング中、低ランク行列を用いて深度の畳み込みを含む事前学習層を分解し、レート誘導プログレッシブファインタニング(RPFT)による画像検査にインクリメンタルウェイトを適応させる。
推定エントロピーにより下位順にソートされたパッチを徐々に増加させたRPFTファインチューン,学習過程の最適化,適応時間の短縮を実現した。
論文 参考訳（メタデータ） (2024-12-23T10:41:18Z) - Autoregressive Speech Synthesis without Vector Quantization [135.4776759536272]
We present MELLE, a novel continuous-valued token based language modeling approach for text-to-speech synthesis (TTS)。
MELLEはテキスト条件から直接連続メル-スペクトログラムフレームを自動回帰生成する。
MELLEは、サンプリングベクトル量子化符号の固有の欠陥を回避し、ロバスト性問題を緩和する。
論文 参考訳（メタデータ） (2024-07-11T14:36:53Z) - Lightweight Attribute Localizing Models for Pedestrian Attribute Recognition [13.480231032159834]
本稿では,圧縮モデルの勾配方向が元のモデルと密接に一致していることを保証するため,低ランク層の最適ランクを決定する新しい手法を提案する。
これは、圧縮されたモデルはフルモデルの更新方向を効果的に保存し、歩行者属性認識タスクのより効率的な圧縮を可能にすることを意味する。
論文 参考訳（メタデータ） (2023-06-16T13:07:13Z) - CrAM: A Compression-Aware Minimizer [103.29159003723815]
本稿では、CrAMと呼ばれる新しい圧縮対応最小化器を提案し、最適化ステップを原則的に修正する。
CrAMは、標準のSGD/アダムベースベースラインよりも精度が高い密度のモデルを生成するが、重量計算では安定である。
CrAMは、転送学習のためにうまく機能するスパースモデルを生成することができ、GPUハードウェアでサポートされている半構造化の2:4プルーニングパターンでも機能する。
論文 参考訳（メタデータ） (2022-07-28T16:13:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。