論文の概要: OpenZL: A Graph-Based Model for Compression

• arxiv url: http://arxiv.org/abs/2510.03203v1
• Date: Fri, 03 Oct 2025 17:40:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-06 16:35:52.515626
• Title: OpenZL: A Graph-Based Model for Compression
• Title（参考訳）: OpenZL: 圧縮のためのグラフベースのモデル
• Authors: Yann Collet, Nick Terrell, W. Felix Handte, Danielle Rozenblit, Victor Zhang, Kevin Zhang, Yaelle Goldschlag, Jennifer Lee, Daniel Riegel, Stan Angelov, Nadav Rotem,
• Abstract要約: モジュラーコーデックの有向非巡回グラフとして圧縮を表現するための新しい理論的枠組みを提案する。 これは、データを自己記述型のワイヤフォーマットに圧縮する、このモデルの実装であるOpenZLを動機付けている。 OpenZLは最先端の汎用圧縮機に比べて圧縮率と速度が優れている。
• 参考スコア（独自算出の注目度）: 2.043259170549106
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Research in general-purpose lossless compression over the last decade has largely found improvements in compression ratio that come at great cost to resource utilization and processing throughput. However, most production workloads require high throughput and low resource utilization, so most research systems have seen little adoption. Instead, real world improvements in compression are increasingly often realized by building application-specific compressors which can exploit knowledge about the structure and semantics of the data being compressed. These systems easily outperform even the best generic compressors, but application-specific compression schemes are not without drawbacks. They are inherently limited in applicability and are difficult to maintain and deploy. We show that these challenges can be overcome with a new way of thinking about compression. We propose the ``graph model'' of compression, a new theoretical framework for representing compression as a directed acyclic graph of modular codecs. This motivates OpenZL, an implementation of this model that compresses data into a self-describing wire format, any configuration of which can be decompressed by a universal decoder. OpenZL's design enables rapid development of tailored compressors with minimal code, its universal decoder eliminates deployment lag, and its investment in a well-vetted standard component library minimizes security risks. Experimental results demonstrate that OpenZL achieves superior compression ratios and speeds compared to state-of-the-art general-purpose compressors on a variety of real-world datasets. Internal deployments at Meta have also shown consistent improvements in size and/or speed, with development timelines reduced from months to days. OpenZL thus represents an advance in practical, scalable, and maintainable data compression for modern data-intensive applications.
• Abstract（参考訳）: 過去10年間の汎用的なロスレス圧縮の研究は、資源利用と処理のスループットに大きなコストがかかる圧縮率の改善を大いに見出している。 しかし、ほとんどの運用ワークロードは高いスループットと低いリソース利用を必要とするため、ほとんどの研究システムはほとんど採用されていない。 代わりに、圧縮されるデータの構造とセマンティクスに関する知識を活用できるアプリケーション固有の圧縮機を構築することで、圧縮の現実的な改善がますます実現される。 これらのシステムは、最高の汎用圧縮機でも容易に性能が向上するが、アプリケーション固有の圧縮スキームには欠点がない。 適用性には本質的に制限があり、メンテナンスやデプロイが難しい。 圧縮に関する新たな考え方によって,これらの課題を克服できることが示される。 モジュラーコーデックの有向非巡回グラフとして圧縮を表現するための新しい理論フレームワークである圧縮の「グラフモデル」を提案する。 これは、データを自己記述型のワイヤフォーマットに圧縮するOpenZLの実装であり、任意の構成はユニバーサルデコーダによって圧縮される。 OpenZLの設計は、最小限のコードで調整された圧縮機を迅速に開発することを可能にし、ユニバーサルデコーダはデプロイメント遅延を排除し、十分に検証された標準コンポーネントライブラリへの投資は、セキュリティリスクを最小限にする。 実験により,OpenZLは様々な実世界のデータセット上の最先端汎用圧縮機と比較して,圧縮率と速度が優れていることが示された。 Metaの社内展開ではサイズや速度が一貫した改善が見られ、開発タイムラインは数ヶ月から数日に短縮された。 したがって、OpenZLは、現代のデータ集約型アプリケーションのための実用的でスケーラブルで保守可能なデータ圧縮の進歩を表している。

関連論文リスト

• UniPCGC: Towards Practical Point Cloud Geometry Compression via an Efficient Unified Approach [4.754973569457509]
  我々は,UniPCGCと呼ばれる効率的な統合ポイントクラウド幾何圧縮フレームワークを提案する。 可逆圧縮、無損失圧縮、可変レート、可変複雑性をサポートする。 損失圧縮ではCR比が8.1%、損失圧縮ではBjontegaard Delta Rate(BD-Rate)が14.02%向上した。
  論文  参考訳（メタデータ） (2025-03-24T10:51:28Z)
• L3TC: Leveraging RWKV for Learned Lossless Low-Complexity Text Compression [23.179381396167084]
  我々はLearned Lossless Low-complexity Text Compression Method (L3TC)を紹介する。 RWKVモデルは、適度な圧縮比で高速な復号速度を達成する。 本稿では,頻繁なトークンをカバーするために,限定語彙を用いた外部認識トークン化手法を提案する。
  論文  参考訳（メタデータ） (2024-12-21T14:24:32Z)
• Large Language Models for Lossless Image Compression: Next-Pixel Prediction in Language Space is All You Need [53.584140947828004]
  前例のないインテリジェンスを持つ言語大モデル(LLM)は、様々なデータモダリティのための汎用ロスレス圧縮機である。 P$2$-LLMは,様々な入念な洞察と方法論を統合した次世代の予測型LLMである。 ベンチマークデータセットの実験では、P$2$-LLMがSOTAの古典的および学習的コーデックに勝ることを示した。
  論文  参考訳（メタデータ） (2024-11-19T12:15:40Z)
• Fast Feedforward 3D Gaussian Splatting Compression [55.149325473447384]
  3D Gaussian Splatting (FCGS) は、1つのフィードフォワードパスで3DGS表現を高速に圧縮できる最適化フリーモデルである。 FCGSは圧縮比を20倍以上に向上し、高精細度を維持しながら、ほとんどのシーン毎のSOTA最適化手法を上回ります。
  論文  参考訳（メタデータ） (2024-10-10T15:13:08Z)
• UniCompress: Enhancing Multi-Data Medical Image Compression with Knowledge Distillation [59.3877309501938]
  Inlicit Neural Representation (INR) ネットワークは、その柔軟な圧縮比のため、顕著な汎用性を示している。 周波数領域情報を含むコードブックをINRネットワークへの事前入力として導入する。 これにより、INRの表現力が向上し、異なる画像ブロックに対して特異な条件付けが提供される。
  論文  参考訳（メタデータ） (2024-05-27T05:52:13Z)
• Deep Lossy Plus Residual Coding for Lossless and Near-lossless Image Compression [85.93207826513192]
  本稿では、損失のない画像圧縮とほぼロスレス画像圧縮の両面において、統合された強力な深い損失+残差(DLPR)符号化フレームワークを提案する。 VAEのアプローチにおける連立損失と残留圧縮の問題を解く。 ほぼロスレスモードでは、元の残差を量子化し、与えられた$ell_infty$エラー境界を満たす。
  論文  参考訳（メタデータ） (2022-09-11T12:11:56Z)
• A Fast Transformer-based General-Purpose Lossless Compressor [19.5544227045828]
  深層学習圧縮機にトランスフォーマーを導入し,履歴依存度を並列に構築する。 既存の変換器は計算に重すぎるため、圧縮タスクと互換性がない。 単層変圧器の容量をフル活用するために, バイトグループ化と共有フィン方式を提案する。
  論文  参考訳（メタデータ） (2022-03-30T07:46:19Z)
• Exploring Autoencoder-based Error-bounded Compression for Scientific Data [14.724393511470225]
  我々は,SZモデルの観点から,エラーバウンドオートエンコーダベースのフレームワークを開発する。 設計したAEベースエラーバウンド圧縮フレームワークの主段の圧縮品質を最適化する。
  論文  参考訳（メタデータ） (2021-05-25T07:53:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。