論文の概要: OpenZL: Using Graphs to Compress Smaller and Faster

• arxiv url: http://arxiv.org/abs/2605.09928v1
• Date: Mon, 11 May 2026 03:28:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:50.493463
• Title: OpenZL: Using Graphs to Compress Smaller and Faster
• Title（参考訳）: OpenZL: グラフを使ってより小さく高速に圧縮する
• Authors: Yann Collet, Nick Terrell, W. Felix Handte, Danielle Rozenblit, Victor Zhang, Kevin Zhang, Yaelle Goldschlag, Jennifer Lee, Elliot Gorokhovsky, Yonatan Komornik, Daniel Riegel, Stan Angelov, Nadav Rotem,
• Abstract要約: データ集約型アプリケーションのための新しい圧縮戦略であるOpenZLを提案する。 OpenZLは、圧縮をモジュラーコーデックの有向非巡回グラフとして表現するための新しい理論フレームワークを実装している。 現状の汎用圧縮機と比較して,OpenZLは圧縮率と速度が優れていることを示す。
• 参考スコア（独自算出の注目度）: 1.9508265730898475
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In the last few decades, research techniques have improved lossless compression ratios by significantly increasing processing time. However, these techniques have not gained popularity in industry because production systems require high throughput and low resource utilization. Instead, real world improvements in compression are increasingly realized by building application-specific compressors which can exploit knowledge about the structure and semantics of the data being compressed. Application-specific compressor systems outperform even the best generic compressors, but these techniques have severe drawbacks -- they are inherently limited in applicability, are hard to develop, and are difficult to maintain and deploy. In this work, we show that these challenges can be overcome with a new compression strategy. We propose the "graph model" of compression, a new theoretical framework for representing compression as a directed acyclic graph of modular codecs. OpenZL implements this framework and compresses data into a self-describing wire format, any configuration of which can be decompressed by a universal decoder. OpenZL's design enables rapid development of application-specific compressors with minimal code. Experimental results demonstrate that OpenZL achieves superior compression ratios and speeds compared to state-of-the-art general-purpose compressors on a variety of real-world datasets. Compared to ratio-focused deep-learning compressors, OpenZL is competitive on ratio while being many orders of magnitude faster. Internal deployments at Meta have also shown consistent improvements in size and/or speed, with development timelines reduced from months to days. OpenZL thus represents a significant advance in practical, scalable, and maintainable data compression for modern data-intensive applications.
• Abstract（参考訳）: 過去数十年間、研究技術は処理時間を大幅に増加させ、ロスレス圧縮比を改善してきた。 しかし、生産システムには高いスループットと低い資源利用が必要であるため、これらの技術は産業では普及していない。 代わりに、圧縮されるデータの構造とセマンティクスに関する知識を活用できるアプリケーション固有の圧縮機を構築することで、圧縮の現実的な改善がますます実現されている。 アプリケーション固有の圧縮機システムは、最高の汎用圧縮機よりも優れていますが、これらの技術には深刻な欠点があります。 本研究では,新しい圧縮戦略により,これらの課題を克服できることを示す。 モジュラーコーデックの有向非巡回グラフとして圧縮を表現するための新しい理論フレームワークである圧縮の「グラフモデル」を提案する。 OpenZLはこのフレームワークを実装し、データを自己記述型のワイヤフォーマットに圧縮する。 OpenZLの設計により、最小限のコードでアプリケーション固有の圧縮機を迅速に開発できる。 実験により,OpenZLは様々な実世界のデータセット上の最先端汎用圧縮機と比較して,圧縮率と速度が優れていることが示された。 比重中心のディープラーニング圧縮機と比較して、OpenZLは比で競争力があり、桁違いに高速である。 Metaの社内展開ではサイズや速度が一貫した改善が見られ、開発タイムラインは数ヶ月から数日に短縮された。 したがって、OpenZLは、現代的なデータ集約型アプリケーションのための実用的でスケーラブルで保守性のあるデータ圧縮において、大きな進歩を見せている。

関連論文リスト

• Arbitrary Ratio Feature Compression via Next Token Prediction [52.10426317889982]
  Arbitrary Ratio Feature Compression (ARFC)フレームワークは、任意の圧縮比を単一のモデルでサポートする。 ARCは、次の回帰予測によって圧縮を行う自動回帰モデルである。 MoSモジュールは複数の圧縮結果を利用して圧縮トークンを洗練する。 ERGCは、圧縮中の意味的および構造的関係を維持するために、トレーニングプロセスに統合される。
  論文  参考訳（メタデータ） (2026-02-12T02:38:57Z)
• Test-Time Steering for Lossless Text Compression via Weighted Product of Experts [27.679089540901007]
  We propose a novel framework that performing Test-Time Steering through a Weighted Product of Experts (wPoE)。 提案手法は, 予測において, 普遍圧縮モデルと事前学習されたニューラルネットワークモデルとを適応的に組み合わせ, 圧縮速度が最良個々人のモデルと同程度であることを保証する。 自動回帰言語モデルとシームレスに統合され、多様なデータ分散をまたいだテキスト圧縮を強化するための実用的なソリューションを提供する。
  論文  参考訳（メタデータ） (2025-11-04T16:37:56Z)
• OpenZL: A Graph-Based Model for Compression [1.9508265730898475]
  アプリケーション固有の圧縮機システムは、最高の汎用圧縮機よりも優れている。 これらの課題は,新たな圧縮戦略によって克服可能であることを示す。 OpenZLはデータを自己記述型のワイヤフォーマットに圧縮し、任意の構成はユニバーサルデコーダによって圧縮される。
  論文  参考訳（メタデータ） (2025-10-03T17:40:29Z)
• Large Language Models for Lossless Image Compression: Next-Pixel Prediction in Language Space is All You Need [53.584140947828004]
  前例のないインテリジェンスを持つ言語大モデル(LLM)は、様々なデータモダリティのための汎用ロスレス圧縮機である。 P$2$-LLMは,様々な入念な洞察と方法論を統合した次世代の予測型LLMである。 ベンチマークデータセットの実験では、P$2$-LLMがSOTAの古典的および学習的コーデックに勝ることを示した。
  論文  参考訳（メタデータ） (2024-11-19T12:15:40Z)
• Fast Feedforward 3D Gaussian Splatting Compression [55.149325473447384]
  3D Gaussian Splatting (FCGS) は、1つのフィードフォワードパスで3DGS表現を高速に圧縮できる最適化フリーモデルである。 FCGSは圧縮比を20倍以上に向上し、高精細度を維持しながら、ほとんどのシーン毎のSOTA最適化手法を上回ります。
  論文  参考訳（メタデータ） (2024-10-10T15:13:08Z)
• UniCompress: Enhancing Multi-Data Medical Image Compression with Knowledge Distillation [59.3877309501938]
  Inlicit Neural Representation (INR) ネットワークは、その柔軟な圧縮比のため、顕著な汎用性を示している。 周波数領域情報を含むコードブックをINRネットワークへの事前入力として導入する。 これにより、INRの表現力が向上し、異なる画像ブロックに対して特異な条件付けが提供される。
  論文  参考訳（メタデータ） (2024-05-27T05:52:13Z)
• A Fast Transformer-based General-Purpose Lossless Compressor [19.5544227045828]
  深層学習圧縮機にトランスフォーマーを導入し,履歴依存度を並列に構築する。 既存の変換器は計算に重すぎるため、圧縮タスクと互換性がない。 単層変圧器の容量をフル活用するために, バイトグループ化と共有フィン方式を提案する。
  論文  参考訳（メタデータ） (2022-03-30T07:46:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。