Fugu-MT 論文翻訳(概要): DeCAL Tokenwise Compression

論文の概要: DeCAL Tokenwise Compression

arxiv url: http://arxiv.org/abs/2508.08514v1
Date: Mon, 11 Aug 2025 22:49:54 GMT
ステータス: 翻訳完了
システム内更新日: 2025-08-13 21:07:34.250026
Title: DeCAL Tokenwise Compression
Title（参考訳）: DeCALTokenwise Compression
Authors: Sameer Panwar,
Abstract要約: DeCALはトークンワイド圧縮のための新しい方法である。エンコーダ・デコーダ言語モデルを用いて、高品質で汎用的な圧縮表現を生成する。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: This paper introduces DeCAL, a new method for tokenwise compression. DeCAL uses an encoder-decoder language model pretrained with denoising to learn to produce high-quality, general-purpose compressed representations by the encoder. DeCAL applies small modifications to the encoder, with the emphasis on maximizing compression quality, even at the expense of compute. We show that DeCAL at 2x compression can match uncompressed on many downstream tasks, with usually only minor dropoff in metrics up to 8x compression, among question-answering, summarization, and multi-vector retrieval tasks. DeCAL offers significant savings where pre-computed dense representations can be utilized, and we believe the approach can be further developed to be more broadly applicable.
Abstract（参考訳）: 本稿ではトークンワイド圧縮の新しい手法であるDeCALを紹介する。 DeCALは、デノケーションで事前訓練されたエンコーダ-デコーダ言語モデルを使用して、エンコーダによって高品質で汎用的な圧縮表現を生成することを学ぶ。 DeCALはエンコーダに小さな修正を加え、圧縮品質を最大化することに重点を置いている。 2倍圧縮におけるDeCALは、通常、質問応答、要約、マルチベクター検索タスクのうち、最大8倍圧縮までのメトリクスをわずかに減らすだけで、多くのダウンストリームタスクにおいて非圧縮にマッチすることを示す。 DeCALは、事前計算された高密度表現を利用でき、より広範に適用可能なアプローチをさらに発展させることができると信じている。

関連論文リスト

Unified Scaling Laws for Compressed Representations [69.72517034565467]
各種圧縮表現上でのトレーニングにおいて,統合スケーリングフレームワークがモデル性能を正確に予測できるかどうかを検討する。我々の主な発見は、単純な「容量」計量が存在するという理論と経験の両方を実証することである。我々は、圧縮されたフォーマットの精度を直接比較し、スパース量子化されたフォーマットのトレーニングのためのより良いアルゴリズムを導出するために、定式化を拡張した。
論文参考訳（メタデータ） (2025-06-02T16:52:51Z)
ReCalKV: Low-Rank KV Cache Compression via Head Reordering and Offline Calibration [81.81027217759433]
大きな言語モデル(LLM)はキーバリュー(KV)キャッシュを保存するのに必要な過剰なメモリによって制約されることが多い。近年,KVキャッシュの隠蔽次元の低減について検討されている。本稿では,KVキャッシュの隠れ次元を削減した後学習KVキャッシュ圧縮手法ReCalKVを提案する。
論文参考訳（メタデータ） (2025-05-30T08:49:27Z)
Embedding Compression Distortion in Video Coding for Machines [67.97469042910855]
現在、ビデオ伝送は人間の視覚システム(HVS)だけでなく、分析のための機械認識にも役立っている。本稿では,機械知覚関連歪み表現を抽出し,下流モデルに埋め込む圧縮歪埋め込み(CDRE)フレームワークを提案する。我々のフレームワークは,実行時間,パラメータ数といったオーバーヘッドを最小限に抑えて,既存のコーデックのレートタスク性能を効果的に向上させることができる。
論文参考訳（メタデータ） (2025-03-27T13:01:53Z)
Large Language Models for Lossless Image Compression: Next-Pixel Prediction in Language Space is All You Need [53.584140947828004]
前例のないインテリジェンスを持つ言語大モデル(LLM)は、様々なデータモダリティのための汎用ロスレス圧縮機である。 P$2$-LLMは,様々な入念な洞察と方法論を統合した次世代の予測型LLMである。ベンチマークデータセットの実験では、P$2$-LLMがSOTAの古典的および学習的コーデックに勝ることを示した。
論文参考訳（メタデータ） (2024-11-19T12:15:40Z)
LLMLingua-2: Data Distillation for Efficient and Faithful Task-Agnostic Prompt Compression [43.048684907893104]
本稿では, タスク非依存のプロンプト圧縮に着目し, 一般化性と効率性の向上を図る。我々は,プロンプト圧縮をトークン分類問題として定式化し,圧縮されたプロンプトが元のプロンプトに忠実であることを保証する。提案手法は, XLM-RoBERTa-large や mBERT などの小型モデルを用いて圧縮目標を明示的に学習することにより,低レイテンシを実現する。
論文参考訳（メタデータ） (2024-03-19T17:59:56Z)
Extreme Image Compression using Fine-tuned VQGANs [43.43014096929809]
本稿ではベクトル量子化(VQ)に基づく生成モデルを画像圧縮領域に導入する。 VQGANモデルによって学習されたコードブックは、強い表現能力をもたらす。提案したフレームワークは、知覚的品質指向のメトリクスで最先端のコーデックより優れている。
論文参考訳（メタデータ） (2023-07-17T06:14:19Z)
Selective compression learning of latent representations for variable-rate image compression [38.077284943341105]
本稿では、ディープラーニングに基づく可変レート画像圧縮のための、潜在表現を部分的に完全に一般化した方法で符号化する選択的圧縮法を提案する。提案手法は、個別に訓練された参照圧縮モデルと同等の圧縮効率を達成でき、選択圧縮による復号時間を削減することができる。
論文参考訳（メタデータ） (2022-11-08T09:09:59Z)
Towards Compact CNNs via Collaborative Compression [166.86915086497433]
チャネルプルーニングとテンソル分解を結合してCNNモデルを圧縮する協調圧縮方式を提案する。 52.9%のFLOPを削減し、ResNet-50で48.4%のパラメータを削除しました。
論文参考訳（メタデータ） (2021-05-24T12:07:38Z)
Uncertainty Principle for Communication Compression in Distributed and Federated Learning and the Search for an Optimal Compressor [5.09755285351264]
我々は,ベクトルのカシン表現にインスパイアされた非バイアス圧縮法を考察し,これをエムカシン圧縮(KC)と呼ぶ。 KC は、各ベクトルエントリごとに数ビットしか通信する必要のない状態であっても、明示的な公式を導出するエム次元独立分散境界を享受する。
論文参考訳（メタデータ） (2020-02-20T17:20:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。