論文の概要: Proxy Compression for Language Modeling

• arxiv url: http://arxiv.org/abs/2602.04289v1
• Date: Wed, 04 Feb 2026 07:36:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-05 19:45:11.423215
• Title: Proxy Compression for Language Modeling
• Title（参考訳）: 言語モデリングのためのプロキシ圧縮
• Authors: Lin Zheng, Xinyu Li, Qian Liu, Xiachong Feng, Lingpeng Kong,
• Abstract要約: プロキシ圧縮は、圧縮された入力の効率性を維持する代替のトレーニングスキームである。 コード言語モデリングの実験では、プロキシ圧縮がトレーニング効率を大幅に向上することを示した。 モデルスケールが大きくなるにつれて、プロキシトレーニングされたモデルは最終的に一致するか、あるいは競合するトークン化アルゴリズムのアプローチになる。
• 参考スコア（独自算出の注目度）: 58.904023114033954
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern language models are trained almost exclusively on token sequences produced by a fixed tokenizer, an external lossless compressor often over UTF-8 byte sequences, thereby coupling the model to that compressor. This work introduces proxy compression, an alternative training scheme that preserves the efficiency benefits of compressed inputs while providing an end-to-end, raw-byte interface at inference time. During training, one language model is jointly trained on raw byte sequences and compressed views generated by external compressors; through the process, the model learns to internally align compressed sequences and raw bytes. This alignment enables strong transfer between the two formats, even when training predominantly on compressed inputs which are discarded at inference. Extensive experiments on code language modeling demonstrate that proxy compression substantially improves training efficiency and significantly outperforms pure byte-level baselines given fixed compute budgets. As model scale increases, these gains become more pronounced, and proxy-trained models eventually match or rival tokenizer approaches, all while operating solely on raw bytes and retaining the inherent robustness of byte-level modeling.
• Abstract（参考訳）: 現代の言語モデルは、固定トークン化器(英語版)によって生成されるトークンシーケンス(UTF-8バイトのシーケンスでしばしば損失のない外部圧縮機)にのみ訓練され、それによってモデルをその圧縮機に結合する。 プロキシ圧縮は、圧縮された入力の効率性を維持しつつ、エンドツーエンドの生バイトインターフェースを推論時に提供する代替のトレーニングスキームである。 トレーニング中、1つの言語モデルは、生のバイトシーケンスと外部圧縮機によって生成された圧縮されたビューで共同で訓練され、そのプロセスを通じて、圧縮されたシーケンスと生のバイトを内部的に調整することを学ぶ。 このアライメントは、2つのフォーマット間の強力な転送を可能にする。 コード言語モデリングに関する大規模な実験は、プロキシ圧縮がトレーニング効率を大幅に改善し、固定された計算予算に対して純粋なバイトレベルのベースラインを大幅に上回ることを示した。 モデルスケールが大きくなるにつれて、これらの利得はより顕著になり、プロキシトレーニングされたモデルは最終的に、生のバイトのみを運用し、バイトレベルのモデリングの本質的な堅牢性を維持する一方で、競合するトークン化アプローチと一致する。

関連論文リスト

• Test-Time Steering for Lossless Text Compression via Weighted Product of Experts [27.679089540901007]
  We propose a novel framework that performing Test-Time Steering through a Weighted Product of Experts (wPoE)。 提案手法は, 予測において, 普遍圧縮モデルと事前学習されたニューラルネットワークモデルとを適応的に組み合わせ, 圧縮速度が最良個々人のモデルと同程度であることを保証する。 自動回帰言語モデルとシームレスに統合され、多様なデータ分散をまたいだテキスト圧縮を強化するための実用的なソリューションを提供する。
  論文  参考訳（メタデータ） (2025-11-04T16:37:56Z)
• Compressing Many-Shots in In-Context Learning [61.231471139896506]
  マルチショットプロンプトを圧縮することにより,ICL推論のメモリと計算効率を向上させる手法を提案する。 まず,既存のプロンプト圧縮手法がマルチショット圧縮には有効でないことを示す。 本稿では,レイヤワイド圧縮手法であるMemComを提案する。
  論文  参考訳（メタデータ） (2025-10-17T16:57:42Z)
• LaCo: Efficient Layer-wise Compression of Visual Tokens for Multimodal Large Language Models [62.240460476785934]
  視覚エンコーダの中間層内で効果的なトークン圧縮を実現する新しいフレームワークであるLaCo(Layer-wise Visual Token Compression)を提案する。 LaCoは,1)空間-チャネル変換によって隣接するトークンを体系的にマージするレイヤワイドピクセルシャッフル機構,2)非パラメトリックショートカットを用いた残差学習アーキテクチャ,の2つのコアコンポーネントを導入している。
  論文  参考訳（メタデータ） (2025-07-03T03:42:54Z)
• Token Compensator: Altering Inference Cost of Vision Transformer without Re-Tuning [63.43972993473501]
  視覚変換器(ViT)の訓練と推論を高速化するトークン圧縮 しかし、下流タスクに適用した場合、圧縮度はトレーニングと推論の段階で不一致となる。 本稿では,2段階間の圧縮度を分離するモデル演算フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-13T10:36:43Z)
• Fundamental Limits of Prompt Compression: A Rate-Distortion Framework for Black-Box Language Models [21.025001473355996]
  大規模言語モデル(LLM)の即時圧縮問題について定式化する。 ブラックボックスモデルのハードプロンプトを生成するトークンレベルのプロンプト圧縮手法を統合するためのフレームワークを提案する。 本稿では,現在の高速圧縮法の性能と最適戦略との間に大きなギャップがあることを述べる。
  論文  参考訳（メタデータ） (2024-07-22T09:40:13Z)
• Ranking LLMs by compression [13.801767671391604]
  圧縮の先駆けとして5つの大きな言語モデルを使用し、課題のある自然言語処理タスクのパフォーマンスを比較します。 実験の結果,圧縮比とモデル性能は正の相関関係にあることが明らかとなった。
  論文  参考訳（メタデータ） (2024-06-20T10:23:38Z)
• Activations and Gradients Compression for Model-Parallel Training [85.99744701008802]
  モデル並列分散トレーニングセットアップにおけるアクティベーションと勾配の同時圧縮が収束に与える影響について検討する。 グラデーションはアクティベーションよりも軽度な圧縮速度を必要とする。 実験では、TopKでトレーニングされたモデルが、推論中に圧縮も適用された場合にのみ正常に動作することが示されている。
  論文  参考訳（メタデータ） (2024-01-15T15:54:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。