Fugu-MT 論文翻訳(概要): Sentence-Anchored Gist Compression for Long-Context LLMs

論文の概要: Sentence-Anchored Gist Compression for Long-Context LLMs

arxiv url: http://arxiv.org/abs/2511.08128v1
Date: Wed, 12 Nov 2025 01:41:29 GMT
ステータス: 翻訳完了
システム内更新日: 2025-11-12 20:17:03.656588
Title: Sentence-Anchored Gist Compression for Long-Context LLMs
Title（参考訳）: 長期LLMにおける文アンコレッドギスト圧縮
Authors: Dmitrii Tarasov, Elizaveta Goncharova, Kuznetsov Andrey,
Abstract要約: 事前学習した大規模言語モデルは,性能劣化の少ない2倍から8倍の因子で文脈を圧縮するように微調整できることを示す。提案手法は, 圧縮比を高くしながら, 代替圧縮技術と同等の結果を得る。
参考スコア（独自算出の注目度）: 3.4406991639518307
License: http://creativecommons.org/licenses/by/4.0/
Abstract: This work investigates context compression for Large Language Models (LLMs) using learned compression tokens to reduce the memory and computational demands of processing long sequences. We demonstrate that pre-trained LLMs can be fine-tuned to compress their context by factors of 2x to 8x without significant performance degradation, as evaluated on both short-context and long-context benchmarks. Furthermore, in experiments on a 3-billion-parameter LLaMA model, our method achieves results on par with alternative compression techniques while attaining higher compression ratios.
Abstract（参考訳）: 本研究では,Large Language Models (LLM) の文脈圧縮を学習された圧縮トークンを用いて検討し,長いシーケンスを処理する際のメモリと計算要求を低減させる。本研究では,2倍から8倍の要因で事前学習したLLMを微調整して文脈を圧縮できることを,ショートコンテクストとロングコンテクストのベンチマークで評価した。さらに, 3ビリオンパラメータLLaMAモデルを用いた実験では, 圧縮比を高くしながら, 代替圧縮技術と同等な結果が得られる。

関連論文リスト

Compressing Many-Shots in In-Context Learning [61.231471139896506]
マルチショットプロンプトを圧縮することにより,ICL推論のメモリと計算効率を向上させる手法を提案する。まず,既存のプロンプト圧縮手法がマルチショット圧縮には有効でないことを示す。本稿では,レイヤワイド圧縮手法であるMemComを提案する。
論文参考訳（メタデータ） (2025-10-17T16:57:42Z)
Compression Laws for Large Language Models [20.62274005080048]
言語モデル(LLM)の圧縮法則を導入する。我々は、1000ドル以上の実験により、構造化モデル圧縮がLLMに与える影響を実証的に検討した。以上の結果から, クロスエントロピー損失は圧縮比に比例して2次的に増加することが示唆された。
論文参考訳（メタデータ） (2025-04-06T03:39:34Z)
Efficient Long Context Language Model Retrieval with Compression [57.09163579304332]
情報検索のための新しいパラダイムとしてLong Context Language Models (LCLM)が登場した。本稿では,LCLM検索に適した新しい圧縮手法を提案する。また,CoLoRはテキスト内サイズを1.91倍に圧縮し,検索性能を6%向上することを示した。
論文参考訳（メタデータ） (2024-12-24T07:30:55Z)
LoRC: Low-Rank Compression for LLMs KV Cache with a Progressive Compression Strategy [59.1298692559785]
キーバリュー(KV)キャッシュは、トランスフォーマーベースの自己回帰型大言語モデル(LLM)を提供する上で重要なコンポーネントである。この問題を緩和するためのアプローチとしては、(1) アップサイクルステージに統合された効率的な注意変動、(2) テスト時のKVキャッシュ圧縮、(3) テスト時のKVキャッシュ圧縮がある。そこで我々は,KV重み行列の低ランク近似を提案し,モデル再学習なしに既存のトランスフォーマーベースLCMとのプラグイン統合を実現する。本手法は,テスト段階におけるアップサイクリング段階のモデルチューニングやタスク固有のプロファイリングを伴わずに機能するように設計されている。
論文参考訳（メタデータ） (2024-10-04T03:10:53Z)
LanguaShrink: Reducing Token Overhead with Psycholinguistics [8.123272461141815]
LanguaShrinkは、大規模言語モデルの即時圧縮フレームワークである。本質的な情報を保持しながら、即時長を短縮する。既存のプロンプト圧縮手法と比較して、LanguaShrinkはエンドツーエンドのレイテンシを1.43倍改善している。
論文参考訳（メタデータ） (2024-09-01T22:09:20Z)
In-Context Former: Lightning-fast Compressing Context for Large Language Model [48.831304302467004]
本稿では,Transformer-based large language model (LLM) の長期入力コンテキストを圧縮する手法を提案する。我々は,単語の埋め込みから情報を集めるために,クロスアテンション機構と少数の学習可能なダイジェストトークンを使用する。実験の結果, 圧縮時のベースライン浮動小数点演算の1/32しか必要とせず, 処理速度を68倍から112倍に向上することがわかった。
論文参考訳（メタデータ） (2024-06-19T15:14:55Z)
Evaluating Zero-Shot Long-Context LLM Compression [22.14193187475446]
本稿では,長期文脈下での大規模言語モデル(LLM)に対するゼロショット圧縮手法の有効性について検討する。計算資源が限られているため,LLaMA-2-7B-32Kでのみ実験を行った。
論文参考訳（メタデータ） (2024-06-10T20:19:55Z)
Training LLMs over Neurally Compressed Text [55.11828645767342]
本稿では,高度に圧縮されたテキスト上での大規模言語モデル(LLM)の訓練について検討する。テキストをブロックに分割し,それぞれが同じビット長に圧縮する新しい圧縮手法であるEqual-Info Windowsを提案する。提案手法は, 大規模化により向上し, パープレキシティと推論速度のベンチマークにおいて, バイトレベルのベースラインをはるかに上回る, ニューラルネットワークによる効果的な学習を実演する。
論文参考訳（メタデータ） (2024-04-04T17:48:28Z)
Compressing LLMs: The Truth is Rarely Pure and Never Simple [90.05366363633568]
Knowledge-Intensive Compressed LLM BenchmarKは、圧縮された大言語モデルの評価プロトコルを再定義することを目的としている。 LLM-KICKは、現在のSoTA圧縮方式の多くの有利な利点と不運な点を明らかにしている。 LLM-KICKは、言語理解、推論、生成、テキスト内検索、テキスト内要約などのための圧縮LLMの能力に一様にアクセスできるように設計されている。
論文参考訳（メタデータ） (2023-10-02T17:42:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。