論文の概要: OpenZL: A Graph-Based Model for Compression

• arxiv url: http://arxiv.org/abs/2510.03203v2
• Date: Thu, 30 Oct 2025 19:30:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-03 19:57:09.714289
• Title: OpenZL: A Graph-Based Model for Compression
• Title（参考訳）: OpenZL: 圧縮のためのグラフベースのモデル
• Authors: Yann Collet, Nick Terrell, W. Felix Handte, Danielle Rozenblit, Victor Zhang, Kevin Zhang, Yaelle Goldschlag, Jennifer Lee, Elliot Gorokhovsky, Yonatan Komornik, Daniel Riegel, Stan Angelov, Nadav Rotem,
• Abstract要約: アプリケーション固有の圧縮機システムは、最高の汎用圧縮機よりも優れている。 これらの課題は,新たな圧縮戦略によって克服可能であることを示す。 OpenZLはデータを自己記述型のワイヤフォーマットに圧縮し、任意の構成はユニバーサルデコーダによって圧縮される。
• 参考スコア（独自算出の注目度）: 1.9508265730898475
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Research techniques in the last decade have improved lossless compression ratios by significantly increasing processing time. These techniques have remained obscure because production systems require high throughput and low resource utilization. In practice, application-specific compression algorithms that leverage knowledge of the data structure and semantics are more popular. Application-specific compressor systems outperform even the best generic compressors, but these techniques have some drawbacks. Application-specific compressors are inherently limited in applicability, have high development costs, and are difficult to maintain and deploy. In this work, we show that these challenges can be overcome with a new compression strategy. We propose the "graph model" of compression, a new theoretical framework for representing compression as a directed acyclic graph of modular codecs. OpenZL compresses data into a self-describing wire format, any configuration of which can be decompressed by a universal decoder. OpenZL's design enables rapid development of tailored compressors with minimal code; its universal decoder eliminates deployment lag; and its investment in a well-vetted standard component library minimizes security risks. Experimental results demonstrate that OpenZL achieves superior compression ratios and speeds compared to state-of-the-art general-purpose compressors on a variety of real-world datasets. Internal deployments at Meta have also shown consistent improvements in size and/or speed, with development timelines reduced from months to days. OpenZL thus represents a significant advance in practical, scalable, and maintainable data compression for modern data-intensive applications.
• Abstract（参考訳）: 過去10年間の研究技術は、処理時間を大幅に増加させ、ロスレス圧縮比を改善してきた。 生産システムは高いスループットと低い資源利用を必要とするため、これらの技術はいまだに不明である。 実際には、データ構造とセマンティクスの知識を活用するアプリケーション固有の圧縮アルゴリズムが一般的である。 アプリケーション固有の圧縮機システムは、最高の汎用圧縮機よりも優れているが、これらの技術にはいくつかの欠点がある。 アプリケーション固有の圧縮機は、本質的には適用性に制限があり、開発コストが高く、メンテナンスやデプロイが困難である。 本研究では,新しい圧縮戦略により,これらの課題を克服できることを示す。 モジュラーコーデックの有向非巡回グラフとして圧縮を表現するための新しい理論フレームワークである圧縮の「グラフモデル」を提案する。 OpenZLはデータを自己記述型のワイヤフォーマットに圧縮し、任意の構成はユニバーサルデコーダによって圧縮される。 OpenZLの設計は、最小限のコードで調整された圧縮機を迅速に開発することを可能にし、ユニバーサルデコーダはデプロイメントの遅延をなくし、十分に検証された標準コンポーネントライブラリへの投資は、セキュリティリスクを最小限に抑える。 実験により,OpenZLは様々な実世界のデータセット上の最先端汎用圧縮機と比較して,圧縮率と速度が優れていることが示された。 Metaの社内展開ではサイズや速度が一貫した改善が見られ、開発タイムラインは数ヶ月から数日に短縮された。 したがって、OpenZLは、現代的なデータ集約型アプリケーションのための実用的でスケーラブルで保守性のあるデータ圧縮において、大きな進歩を見せている。

関連論文リスト

• UniPCGC: Towards Practical Point Cloud Geometry Compression via an Efficient Unified Approach [4.754973569457509]
  我々は,UniPCGCと呼ばれる効率的な統合ポイントクラウド幾何圧縮フレームワークを提案する。 可逆圧縮、無損失圧縮、可変レート、可変複雑性をサポートする。 損失圧縮ではCR比が8.1%、損失圧縮ではBjontegaard Delta Rate(BD-Rate)が14.02%向上した。
  論文  参考訳（メタデータ） (2025-03-24T10:51:28Z)
• L3TC: Leveraging RWKV for Learned Lossless Low-Complexity Text Compression [23.179381396167084]
  我々はLearned Lossless Low-complexity Text Compression Method (L3TC)を紹介する。 RWKVモデルは、適度な圧縮比で高速な復号速度を達成する。 本稿では,頻繁なトークンをカバーするために,限定語彙を用いた外部認識トークン化手法を提案する。
  論文  参考訳（メタデータ） (2024-12-21T14:24:32Z)
• Large Language Models for Lossless Image Compression: Next-Pixel Prediction in Language Space is All You Need [53.584140947828004]
  前例のないインテリジェンスを持つ言語大モデル(LLM)は、様々なデータモダリティのための汎用ロスレス圧縮機である。 P$2$-LLMは,様々な入念な洞察と方法論を統合した次世代の予測型LLMである。 ベンチマークデータセットの実験では、P$2$-LLMがSOTAの古典的および学習的コーデックに勝ることを示した。
  論文  参考訳（メタデータ） (2024-11-19T12:15:40Z)
• Fast Feedforward 3D Gaussian Splatting Compression [55.149325473447384]
  3D Gaussian Splatting (FCGS) は、1つのフィードフォワードパスで3DGS表現を高速に圧縮できる最適化フリーモデルである。 FCGSは圧縮比を20倍以上に向上し、高精細度を維持しながら、ほとんどのシーン毎のSOTA最適化手法を上回ります。
  論文  参考訳（メタデータ） (2024-10-10T15:13:08Z)
• UniCompress: Enhancing Multi-Data Medical Image Compression with Knowledge Distillation [59.3877309501938]
  Inlicit Neural Representation (INR) ネットワークは、その柔軟な圧縮比のため、顕著な汎用性を示している。 周波数領域情報を含むコードブックをINRネットワークへの事前入力として導入する。 これにより、INRの表現力が向上し、異なる画像ブロックに対して特異な条件付けが提供される。
  論文  参考訳（メタデータ） (2024-05-27T05:52:13Z)
• Deep Lossy Plus Residual Coding for Lossless and Near-lossless Image Compression [85.93207826513192]
  本稿では、損失のない画像圧縮とほぼロスレス画像圧縮の両面において、統合された強力な深い損失+残差(DLPR)符号化フレームワークを提案する。 VAEのアプローチにおける連立損失と残留圧縮の問題を解く。 ほぼロスレスモードでは、元の残差を量子化し、与えられた$ell_infty$エラー境界を満たす。
  論文  参考訳（メタデータ） (2022-09-11T12:11:56Z)
• A Fast Transformer-based General-Purpose Lossless Compressor [19.5544227045828]
  深層学習圧縮機にトランスフォーマーを導入し,履歴依存度を並列に構築する。 既存の変換器は計算に重すぎるため、圧縮タスクと互換性がない。 単層変圧器の容量をフル活用するために, バイトグループ化と共有フィン方式を提案する。
  論文  参考訳（メタデータ） (2022-03-30T07:46:19Z)
• Exploring Autoencoder-based Error-bounded Compression for Scientific Data [14.724393511470225]
  我々は,SZモデルの観点から,エラーバウンドオートエンコーダベースのフレームワークを開発する。 設計したAEベースエラーバウンド圧縮フレームワークの主段の圧縮品質を最適化する。
  論文  参考訳（メタデータ） (2021-05-25T07:53:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。