Fugu-MT 論文翻訳(概要): More Effective LLM Compressed Tokens with Uniformly Spread Position Identifiers and Compression Loss

論文の概要: More Effective LLM Compressed Tokens with Uniformly Spread Position Identifiers and Compression Loss

arxiv url: http://arxiv.org/abs/2409.14364v1
Date: Fri, 27 Sep 2024 09:13:19 GMT
ステータス: 処理完了
システム内更新日: 2024-11-06 23:04:03.898279
Title: More Effective LLM Compressed Tokens with Uniformly Spread Position Identifiers and Compression Loss
Title（参考訳）: 均一な位置同定と圧縮損失を有するLLM圧縮トークンの高効率化
Authors: Runsong Zhao, Pengcheng Huang, Xinyu Liu, Chunyang Xiao, Tong Xiao, Jingbo Zhu,
Abstract要約: 圧縮トークンの位置識別子の選択について検討し,新しい圧縮損失を提案する。提案手法は, ICAEの4倍に比べて, 圧縮比が有意に高いことを実証的に実証した。
参考スコア（独自算出の注目度）: 51.05017281146084
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Compressing Transformer inputs into compressd tokens allows running LLMs with improved speed and cost efficiency. Based on the compression method ICAE, we carefully examine the position identifier choices for compressed tokens and also propose a new compression loss. We demonstrate empirically that our proposed methods achieve significantly higher compression ratios (15x compared to 4x for ICAE), while being able to attain comparable reconstruction performance.
Abstract（参考訳）: Transformer の入力を圧縮トークンに圧縮することで、高速でコスト効率のよい LLM を実行することができる。 ICAEの圧縮手法に基づいて,圧縮トークンの位置識別選択を慎重に検討し,新しい圧縮損失を提案する。提案手法は, ICAEの4倍の圧縮率 (4倍の圧縮比) を達成すると同時に, 同等の再構成性能が得られることを示す。

関連論文リスト

EoRA: Training-free Compensation for Compressed LLM with Eigenspace Low-Rank Approximation [79.56709262189953]
EoRAは、圧縮されたLLaMA2/3モデルの様々なタスクにおけるエラーを補償する従来の手法より一貫して優れている。 EoRAは、圧縮エラーを補うスケーラブルでトレーニング不要なソリューションを提供する。
論文参考訳（メタデータ） (2024-10-28T17:59:03Z)
Perception Compressor:A training-free prompt compression method in long context scenarios [17.720102137585503]
パーセプション(Perception)は、大規模言語モデルのトレーニング不要なプロンプト圧縮手法である。既存のメソッドのマージンを大きく上回り、最先端のパフォーマンスを達成する。
論文参考訳（メタデータ） (2024-09-28T07:13:33Z)
Progressive Learning with Visual Prompt Tuning for Variable-Rate Image Compression [60.689646881479064]
本稿では,変圧器を用いた可変レート画像圧縮のためのプログレッシブラーニングパラダイムを提案する。視覚的プロンプトチューニングにインスパイアされた私たちは,エンコーダ側とデコーダ側でそれぞれ入力画像と隠蔽特徴のプロンプトを抽出するためにLPMを使用する。提案モデルでは, 速度歪み特性の観点から現行の可変画像法よりも優れ, スクラッチから訓練した最先端の固定画像圧縮法にアプローチする。
論文参考訳（メタデータ） (2023-11-23T08:29:32Z)
Lossy and Lossless (L$^2$) Post-training Model Size Compression [12.926354646945397]
本稿では,無損失圧縮と無損失圧縮を統一的に組み合わせた後学習モデルサイズ圧縮法を提案する。精度を犠牲にすることなく安定な10times$圧縮比を達成でき、短時間で20times$圧縮比を小さくすることができる。
論文参考訳（メタデータ） (2023-08-08T14:10:16Z)
Quick Dense Retrievers Consume KALE: Post Training Kullback Leibler Alignment of Embeddings for Asymmetrical dual encoders [89.29256833403169]
我々は,高密度検索手法の推論効率を高めるための効率的かつ正確な手法であるKulback Leibler Alignment of Embeddings (KALE)を紹介した。 KALEは、バイエンコーダトレーニング後の従来の知識蒸留を拡張し、完全なリトレーニングやインデックス生成なしに効率的なクエリエンコーダ圧縮を可能にする。 KALEと非対称トレーニングを用いることで、3倍高速な推論を持つにもかかわらず、DistilBERTの性能を超えるモデルを生成することができる。
論文参考訳（メタデータ） (2023-03-31T15:44:13Z)
Deep Lossy Plus Residual Coding for Lossless and Near-lossless Image Compression [85.93207826513192]
本稿では、損失のない画像圧縮とほぼロスレス画像圧縮の両面において、統合された強力な深い損失+残差(DLPR)符号化フレームワークを提案する。 VAEのアプローチにおける連立損失と残留圧縮の問題を解く。ほぼロスレスモードでは、元の残差を量子化し、与えられた$ell_infty$エラー境界を満たす。
論文参考訳（メタデータ） (2022-09-11T12:11:56Z)
Modeling Image Quantization Tradeoffs for Optimal Compression [0.0]
ロスシー圧縮アルゴリズムは、圧縮率を上げるために高周波データを定量化することでトレードオフを狙う。本稿では,Deep Learningとminimax損失関数を用いた量子化テーブルの最適化手法を提案する。
論文参考訳（メタデータ） (2021-12-14T07:35:22Z)
Towards Compact CNNs via Collaborative Compression [166.86915086497433]
チャネルプルーニングとテンソル分解を結合してCNNモデルを圧縮する協調圧縮方式を提案する。 52.9%のFLOPを削減し、ResNet-50で48.4%のパラメータを削除しました。
論文参考訳（メタデータ） (2021-05-24T12:07:38Z)
Compressing Images by Encoding Their Latent Representations with Relative Entropy Coding [5.687243501594734]
可変オートエンコーダ(VAE)は学習画像圧縮に広く利用されている。本稿では,単一の画像に対して相対エントロピーに近い符号長で遅延表現を直接エンコードできる新しい手法であるRelative Entropy Coding (REC)を提案する。
論文参考訳（メタデータ） (2020-10-02T20:23:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。