論文の概要: Sentence-Anchored Gist Compression for Long-Context LLMs
- arxiv url: http://arxiv.org/abs/2511.08128v1
- Date: Wed, 12 Nov 2025 01:41:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-12 20:17:03.656588
- Title: Sentence-Anchored Gist Compression for Long-Context LLMs
- Title（参考訳）: 長期LLMにおける文アンコレッドギスト圧縮
- Authors: Dmitrii Tarasov, Elizaveta Goncharova, Kuznetsov Andrey,
- Abstract要約: 事前学習した大規模言語モデルは,性能劣化の少ない2倍から8倍の因子で文脈を圧縮するように微調整できることを示す。
提案手法は, 圧縮比を高くしながら, 代替圧縮技術と同等の結果を得る。
- 参考スコア（独自算出の注目度）: 3.4406991639518307
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This work investigates context compression for Large Language Models (LLMs) using learned compression tokens to reduce the memory and computational demands of processing long sequences. We demonstrate that pre-trained LLMs can be fine-tuned to compress their context by factors of 2x to 8x without significant performance degradation, as evaluated on both short-context and long-context benchmarks. Furthermore, in experiments on a 3-billion-parameter LLaMA model, our method achieves results on par with alternative compression techniques while attaining higher compression ratios.
- Abstract（参考訳）: 本研究では,Large Language Models (LLM) の文脈圧縮を学習された圧縮トークンを用いて検討し,長いシーケンスを処理する際のメモリと計算要求を低減させる。
本研究では,2倍から8倍の要因で事前学習したLLMを微調整して文脈を圧縮できることを,ショートコンテクストとロングコンテクストのベンチマークで評価した。
さらに, 3ビリオンパラメータLLaMAモデルを用いた実験では, 圧縮比を高くしながら, 代替圧縮技術と同等な結果が得られる。
関連論文リスト
- Compression Laws for Large Language Models [20.62274005080048]
言語モデル(LLM)の圧縮法則を導入する。
我々は、1000ドル以上の実験により、構造化モデル圧縮がLLMに与える影響を実証的に検討した。
以上の結果から, クロスエントロピー損失は圧縮比に比例して2次的に増加することが示唆された。
論文 参考訳（メタデータ） (2025-04-06T03:39:34Z) - Efficient Long Context Language Model Retrieval with Compression [57.09163579304332]
情報検索のための新しいパラダイムとしてLong Context Language Models (LCLM)が登場した。
本稿では,LCLM検索に適した新しい圧縮手法を提案する。
また,CoLoRはテキスト内サイズを1.91倍に圧縮し,検索性能を6%向上することを示した。
論文 参考訳（メタデータ） (2024-12-24T07:30:55Z) - In-Context Former: Lightning-fast Compressing Context for Large Language Model [48.831304302467004]
本稿では,Transformer-based large language model (LLM) の長期入力コンテキストを圧縮する手法を提案する。
我々は,単語の埋め込みから情報を集めるために,クロスアテンション機構と少数の学習可能なダイジェストトークンを使用する。
実験の結果, 圧縮時のベースライン浮動小数点演算の1/32しか必要とせず, 処理速度を68倍から112倍に向上することがわかった。
論文 参考訳（メタデータ） (2024-06-19T15:14:55Z) - Evaluating Zero-Shot Long-Context LLM Compression [22.14193187475446]
本稿では,長期文脈下での大規模言語モデル(LLM)に対するゼロショット圧縮手法の有効性について検討する。
計算資源が限られているため,LLaMA-2-7B-32Kでのみ実験を行った。
論文 参考訳（メタデータ） (2024-06-10T20:19:55Z) - Compressing LLMs: The Truth is Rarely Pure and Never Simple [90.05366363633568]
Knowledge-Intensive Compressed LLM BenchmarKは、圧縮された大言語モデルの評価プロトコルを再定義することを目的としている。
LLM-KICKは、現在のSoTA圧縮方式の多くの有利な利点と不運な点を明らかにしている。
LLM-KICKは、言語理解、推論、生成、テキスト内検索、テキスト内要約などのための圧縮LLMの能力に一様にアクセスできるように設計されている。
論文 参考訳（メタデータ） (2023-10-02T17:42:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。