論文の概要: OpenZL: A Graph-Based Model for Compression

• arxiv url: http://arxiv.org/abs/2510.03203v2
• Date: Thu, 30 Oct 2025 19:30:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-03 19:57:09.714289
• Title: OpenZL: A Graph-Based Model for Compression
• Title（参考訳）: OpenZL: 圧縮のためのグラフベースのモデル
• Authors: Yann Collet, Nick Terrell, W. Felix Handte, Danielle Rozenblit, Victor Zhang, Kevin Zhang, Yaelle Goldschlag, Jennifer Lee, Elliot Gorokhovsky, Yonatan Komornik, Daniel Riegel, Stan Angelov, Nadav Rotem,
• Abstract要約: アプリケーション固有の圧縮機システムは、最高の汎用圧縮機よりも優れている。 これらの課題は,新たな圧縮戦略によって克服可能であることを示す。 OpenZLはデータを自己記述型のワイヤフォーマットに圧縮し、任意の構成はユニバーサルデコーダによって圧縮される。
• 参考スコア（独自算出の注目度）: 1.9508265730898475
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Research techniques in the last decade have improved lossless compression ratios by significantly increasing processing time. These techniques have remained obscure because production systems require high throughput and low resource utilization. In practice, application-specific compression algorithms that leverage knowledge of the data structure and semantics are more popular. Application-specific compressor systems outperform even the best generic compressors, but these techniques have some drawbacks. Application-specific compressors are inherently limited in applicability, have high development costs, and are difficult to maintain and deploy. In this work, we show that these challenges can be overcome with a new compression strategy. We propose the "graph model" of compression, a new theoretical framework for representing compression as a directed acyclic graph of modular codecs. OpenZL compresses data into a self-describing wire format, any configuration of which can be decompressed by a universal decoder. OpenZL's design enables rapid development of tailored compressors with minimal code; its universal decoder eliminates deployment lag; and its investment in a well-vetted standard component library minimizes security risks. Experimental results demonstrate that OpenZL achieves superior compression ratios and speeds compared to state-of-the-art general-purpose compressors on a variety of real-world datasets. Internal deployments at Meta have also shown consistent improvements in size and/or speed, with development timelines reduced from months to days. OpenZL thus represents a significant advance in practical, scalable, and maintainable data compression for modern data-intensive applications.
• Abstract（参考訳）: 過去10年間の研究技術は、処理時間を大幅に増加させ、ロスレス圧縮比を改善してきた。 生産システムは高いスループットと低い資源利用を必要とするため、これらの技術はいまだに不明である。 実際には、データ構造とセマンティクスの知識を活用するアプリケーション固有の圧縮アルゴリズムが一般的である。 アプリケーション固有の圧縮機システムは、最高の汎用圧縮機よりも優れているが、これらの技術にはいくつかの欠点がある。 アプリケーション固有の圧縮機は、本質的には適用性に制限があり、開発コストが高く、メンテナンスやデプロイが困難である。 本研究では,新しい圧縮戦略により,これらの課題を克服できることを示す。 モジュラーコーデックの有向非巡回グラフとして圧縮を表現するための新しい理論フレームワークである圧縮の「グラフモデル」を提案する。 OpenZLはデータを自己記述型のワイヤフォーマットに圧縮し、任意の構成はユニバーサルデコーダによって圧縮される。 OpenZLの設計は、最小限のコードで調整された圧縮機を迅速に開発することを可能にし、ユニバーサルデコーダはデプロイメントの遅延をなくし、十分に検証された標準コンポーネントライブラリへの投資は、セキュリティリスクを最小限に抑える。 実験により,OpenZLは様々な実世界のデータセット上の最先端汎用圧縮機と比較して,圧縮率と速度が優れていることが示された。 Metaの社内展開ではサイズや速度が一貫した改善が見られ、開発タイムラインは数ヶ月から数日に短縮された。 したがって、OpenZLは、現代的なデータ集約型アプリケーションのための実用的でスケーラブルで保守性のあるデータ圧縮において、大きな進歩を見せている。

関連論文リスト

• Arbitrary Ratio Feature Compression via Next Token Prediction [52.10426317889982]
  Arbitrary Ratio Feature Compression (ARFC)フレームワークは、任意の圧縮比を単一のモデルでサポートする。 ARCは、次の回帰予測によって圧縮を行う自動回帰モデルである。 MoSモジュールは複数の圧縮結果を利用して圧縮トークンを洗練する。 ERGCは、圧縮中の意味的および構造的関係を維持するために、トレーニングプロセスに統合される。
  論文  参考訳（メタデータ） (2026-02-12T02:38:57Z)
• Test-Time Steering for Lossless Text Compression via Weighted Product of Experts [27.679089540901007]
  We propose a novel framework that performing Test-Time Steering through a Weighted Product of Experts (wPoE)。 提案手法は, 予測において, 普遍圧縮モデルと事前学習されたニューラルネットワークモデルとを適応的に組み合わせ, 圧縮速度が最良個々人のモデルと同程度であることを保証する。 自動回帰言語モデルとシームレスに統合され、多様なデータ分散をまたいだテキスト圧縮を強化するための実用的なソリューションを提供する。
  論文  参考訳（メタデータ） (2025-11-04T16:37:56Z)
• Simple Context Compression: Mean-Pooling and Multi-Ratio Training [12.049015994907629]
  我々は、広く使われている圧縮トークンアーキテクチャを一貫して上回る軽量でシンプルな平均プール手法を開発した。 ドメイン内およびドメイン外QAデータセット、モデルファミリ、スケール、圧縮比にわたって、広範な実験を行います。 全体としては,複数の圧縮比のトレーニングを行う場合,比較的少ない低下率で,本手法は最強性能を達成する。
  論文  参考訳（メタデータ） (2025-10-23T17:57:23Z)
• FCA2: Frame Compression-Aware Autoencoder for Modular and Fast Compressed Video Super-Resolution [68.77813885751308]
  最先端(SOTA)圧縮ビデオ超解像(CVSR)モデルは、長期の推論時間、複雑なトレーニングパイプライン、補助情報への依存など、永続的な課題に直面している。 ハイパースペクトル画像(HSI)とビデオデータの構造的および統計的類似性から着想を得た,効率的でスケーラブルなソリューションを提案する。 提案手法では,計算複雑性を低減し,推論を高速化し,フレーム間の時間情報の抽出を促進する圧縮駆動型次元減少戦略を導入する。
  論文  参考訳（メタデータ） (2025-06-13T07:59:52Z)
• UniPCGC: Towards Practical Point Cloud Geometry Compression via an Efficient Unified Approach [4.754973569457509]
  我々は,UniPCGCと呼ばれる効率的な統合ポイントクラウド幾何圧縮フレームワークを提案する。 可逆圧縮、無損失圧縮、可変レート、可変複雑性をサポートする。 損失圧縮ではCR比が8.1%、損失圧縮ではBjontegaard Delta Rate(BD-Rate)が14.02%向上した。
  論文  参考訳（メタデータ） (2025-03-24T10:51:28Z)
• L3TC: Leveraging RWKV for Learned Lossless Low-Complexity Text Compression [23.179381396167084]
  我々はLearned Lossless Low-complexity Text Compression Method (L3TC)を紹介する。 RWKVモデルは、適度な圧縮比で高速な復号速度を達成する。 本稿では,頻繁なトークンをカバーするために,限定語彙を用いた外部認識トークン化手法を提案する。
  論文  参考訳（メタデータ） (2024-12-21T14:24:32Z)
• Large Language Models for Lossless Image Compression: Next-Pixel Prediction in Language Space is All You Need [53.584140947828004]
  前例のないインテリジェンスを持つ言語大モデル(LLM)は、様々なデータモダリティのための汎用ロスレス圧縮機である。 P$2$-LLMは,様々な入念な洞察と方法論を統合した次世代の予測型LLMである。 ベンチマークデータセットの実験では、P$2$-LLMがSOTAの古典的および学習的コーデックに勝ることを示した。
  論文  参考訳（メタデータ） (2024-11-19T12:15:40Z)
• Fast Feedforward 3D Gaussian Splatting Compression [55.149325473447384]
  3D Gaussian Splatting (FCGS) は、1つのフィードフォワードパスで3DGS表現を高速に圧縮できる最適化フリーモデルである。 FCGSは圧縮比を20倍以上に向上し、高精細度を維持しながら、ほとんどのシーン毎のSOTA最適化手法を上回ります。
  論文  参考訳（メタデータ） (2024-10-10T15:13:08Z)
• UniCompress: Enhancing Multi-Data Medical Image Compression with Knowledge Distillation [59.3877309501938]
  Inlicit Neural Representation (INR) ネットワークは、その柔軟な圧縮比のため、顕著な汎用性を示している。 周波数領域情報を含むコードブックをINRネットワークへの事前入力として導入する。 これにより、INRの表現力が向上し、異なる画像ブロックに対して特異な条件付けが提供される。
  論文  参考訳（メタデータ） (2024-05-27T05:52:13Z)
• Deep Lossy Plus Residual Coding for Lossless and Near-lossless Image Compression [85.93207826513192]
  本稿では、損失のない画像圧縮とほぼロスレス画像圧縮の両面において、統合された強力な深い損失+残差(DLPR)符号化フレームワークを提案する。 VAEのアプローチにおける連立損失と残留圧縮の問題を解く。 ほぼロスレスモードでは、元の残差を量子化し、与えられた$ell_infty$エラー境界を満たす。
  論文  参考訳（メタデータ） (2022-09-11T12:11:56Z)
• A Fast Transformer-based General-Purpose Lossless Compressor [19.5544227045828]
  深層学習圧縮機にトランスフォーマーを導入し,履歴依存度を並列に構築する。 既存の変換器は計算に重すぎるため、圧縮タスクと互換性がない。 単層変圧器の容量をフル活用するために, バイトグループ化と共有フィン方式を提案する。
  論文  参考訳（メタデータ） (2022-03-30T07:46:19Z)
• Exploring Autoencoder-based Error-bounded Compression for Scientific Data [14.724393511470225]
  我々は,SZモデルの観点から,エラーバウンドオートエンコーダベースのフレームワークを開発する。 設計したAEベースエラーバウンド圧縮フレームワークの主段の圧縮品質を最適化する。
  論文  参考訳（メタデータ） (2021-05-25T07:53:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。