論文の概要: A Model-Driven Lossless Compression Algorithm Resistant to Mismatch

• arxiv url: http://arxiv.org/abs/2601.17684v1
• Date: Sun, 25 Jan 2026 04:07:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-27 15:23:08.209037
• Title: A Model-Driven Lossless Compression Algorithm Resistant to Mismatch
• Title（参考訳）: ミスマッチに抵抗するモデル駆動ロスレス圧縮アルゴリズム
• Authors: Cordelia Hu, Jennifer Tang,
• Abstract要約: 任意の大きさの予測ミスマッチに対して頑健な次点予測に基づく新しい圧縮アルゴリズムを提案する。 本研究は,一般的な圧縮法よりも高い圧縮比を達成しつつ,認証ミスマッチ方式における信頼性の高い動作を示すものである。
• 参考スコア（独自算出の注目度）: 2.7930955543692817
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Due to the fundamental connection between next-symbol prediction and compression, modern predictive models, such as large language models (LLMs), can be combined with entropy coding to achieve compression rates that surpass those of standard compression algorithms. However, this approach relies on the assumption that the predictive model produces identical output distributions at both the encoder and decoder, since even small mismatches can cause the decoding to fail. This assumption often fails with complex predictive models, particularly those based on neural networks, a phenomenon referred to as non-determinism. In this work, we propose a new compression algorithm based on next-token prediction that is robust to arbitrarily large, but structured, prediction mismatches. We prove the correctness of the proposed scheme under a formal mismatch certification, characterize its theoretical performance, and validate it experimentally on real datasets. Our results demonstrate reliable operation within the certified mismatch regime while achieving compression ratios that exceed those of commonly used compression methods.
• Abstract（参考訳）: 次世代のシンボル予測と圧縮の基本的な関係から、大規模言語モデル(LLM)のような現代の予測モデルはエントロピー符号化と組み合わせて、標準的な圧縮アルゴリズムを超える圧縮率を達成することができる。 しかし、このアプローチは、予測モデルがエンコーダとデコーダの両方で同一の出力分布を生成するという仮定に依存している。 この仮定は複雑な予測モデル、特に非決定論(non-determinism)と呼ばれるニューラルネットワークに基づくモデルで失敗することが多い。 本研究では,任意の大きさの予測ミスマッチに対して頑健な次点予測に基づく新しい圧縮アルゴリズムを提案する。 提案手法の正しさを形式的ミスマッチ証明の下で証明し,その理論的性能を特徴付けるとともに,実データセット上で実験的に検証する。 本研究は,一般的な圧縮法よりも高い圧縮比を達成しつつ,認証ミスマッチ方式における信頼性の高い動作を示すものである。

関連論文リスト

• Unified Scaling Laws for Compressed Representations [69.72517034565467]
  各種圧縮表現上でのトレーニングにおいて,統合スケーリングフレームワークがモデル性能を正確に予測できるかどうかを検討する。 我々の主な発見は、単純な「容量」計量が存在するという理論と経験の両方を実証することである。 我々は、圧縮されたフォーマットの精度を直接比較し、スパース量子化されたフォーマットのトレーニングのためのより良いアルゴリズムを導出するために、定式化を拡張した。
  論文  参考訳（メタデータ） (2025-06-02T16:52:51Z)
• Structured Radial Basis Function Network: Modelling Diversity for Multiple Hypotheses Prediction [51.82628081279621]
  多重モード回帰は非定常過程の予測や分布の複雑な混合において重要である。 構造的放射基底関数ネットワークは回帰問題に対する複数の仮説予測器のアンサンブルとして提示される。 この構造モデルにより, このテッセルレーションを効率よく補間し, 複数の仮説対象分布を近似することが可能であることが証明された。
  論文  参考訳（メタデータ） (2023-09-02T01:27:53Z)
• Learning Accurate Performance Predictors for Ultrafast Automated Model Compression [86.22294249097203]
  フレキシブルネットワーク展開のための超高速自動モデル圧縮フレームワークSeerNetを提案する。 本手法は,探索コストを大幅に削減した競合精度・複雑度トレードオフを実現する。
  論文  参考訳（メタデータ） (2023-04-13T10:52:49Z)
• Post-Training Quantization for Cross-Platform Learned Image Compression [15.67527732099067]
  学習した画像圧縮が従来の画像符号化技術より優れていることが確認されている。 考慮すべき最も重要な問題の1つは、非決定論的計算である。 本稿では,学習後量子化の導入によってこの問題を解決することを提案する。
  論文  参考訳（メタデータ） (2022-02-15T15:41:12Z)
• Optimal Rate Adaption in Federated Learning with Compressed Communications [28.16239232265479]
  フェデレートラーニングは高い通信オーバーヘッドを引き起こし、モデル更新の圧縮によって大幅に軽減される。 ネットワーク環境における 圧縮とモデルの精度のトレードオフは 未だ不明です 各繰り返しの圧縮を戦略的に調整することで最終モデルの精度を最大化する枠組みを提案する。
  論文  参考訳（メタデータ） (2021-12-13T14:26:15Z)
• What do Compressed Large Language Models Forget? Robustness Challenges in Model Compression [68.82486784654817]
  本稿では,知識蒸留とプルーニングを含む2つの一般的なモデル圧縮手法について検討する。 本研究では, 圧縮モデルが, 対向テストセット上のPLMモデルよりもはるかに頑健であることを示す。 サンプル不確実性に基づくモデル圧縮の正規化戦略を開発する。
  論文  参考訳（メタデータ） (2021-10-16T00:20:04Z)
• Model Compression for Dynamic Forecast Combination [9.281199058905017]
  動的予測アンサンブルを個々のモデルに圧縮すると、同様の予測性能が得られることを示す。 また,平均ランクが最も高い圧縮個々モデルは規則に基づく回帰モデルであることを示した。
  論文  参考訳（メタデータ） (2021-04-05T09:55:35Z)
• Unfolding Neural Networks for Compressive Multichannel Blind Deconvolution [71.29848468762789]
  圧縮性多チャネルブラインドデコンボリューション問題に対する学習構造付き展開型ニューラルネットワークを提案する。 この問題では、各チャネルの測定は共通のソース信号とスパースフィルタの畳み込みとして与えられる。 提案手法は,従来の圧縮型マルチチャネルブラインドデコンボリューション法よりも,スパースフィルタの精度と高速化の点で優れていることを示す。
  論文  参考訳（メタデータ） (2020-10-22T02:34:33Z)
• On Compression Principle and Bayesian Optimization for Neural Networks [0.0]
  本稿では,全てのデータとモデル定義の合計圧縮メッセージ長を最小化しつつ,デオードビリティを保証しながら,最適な予測モデルを提案する圧縮原理を提案する。 圧縮原理によって要求される最適ネットワーク次元を求めることができる連続的な次元削減にドロップアウトが利用できることを示す。
  論文  参考訳（メタデータ） (2020-06-23T03:23:47Z)
• Structured Sparsification with Joint Optimization of Group Convolution and Channel Shuffle [117.95823660228537]
  本稿では,効率的なネットワーク圧縮のための新しい構造空間分割法を提案する。 提案手法は, 畳み込み重みに対する構造的疎度を自動的に誘導する。 また,学習可能なチャネルシャッフル機構によるグループ間通信の問題にも対処する。
  論文  参考訳（メタデータ） (2020-02-19T12:03:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。