論文の概要: Recurrent Context Compression: Efficiently Expanding the Context Window of LLM

• arxiv url: http://arxiv.org/abs/2406.06110v1
• Date: Mon, 10 Jun 2024 08:50:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-11 14:37:02.488190
• Title: Recurrent Context Compression: Efficiently Expanding the Context Window of LLM
• Title（参考訳）: リカレントコンテキスト圧縮: LLMのコンテキストウィンドウを効率的に拡張する
• Authors: Chensen Huang, Guibo Zhu, Xuepeng Wang, Yifei Luo, Guojing Ge, Haoran Chen, Dong Yi, Jinqiao Wang,
• Abstract要約: この研究はRecurrent Context Compression (RCC)と呼ばれる手法を導入し、Transformerベースの大規模言語モデル(LLM)のコンテキストウィンドウ長を効率的に拡張する。 我々は,複数のタスクに対するアプローチを検証し,BLEU4スコアが0.95に近いテキスト再構成タスクで最大32倍の圧縮率を実現し,シーケンス長1Mのパスキー検索タスクで約100%の精度を実現した。
• 参考スコア（独自算出の注目度）: 22.595457889113668
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: To extend the context length of Transformer-based large language models (LLMs) and improve comprehension capabilities, we often face limitations due to computational resources and bounded memory storage capacity. This work introduces a method called Recurrent Context Compression (RCC), designed to efficiently expand the context window length of LLMs within constrained storage space. We also investigate the issue of poor model responses when both instructions and context are compressed in downstream tasks, and propose an instruction reconstruction method to mitigate this problem. We validated the effectiveness of our approach on multiple tasks, achieving a compression rate of up to 32x on text reconstruction tasks with a BLEU4 score close to 0.95, and nearly 100\% accuracy on a passkey retrieval task with a sequence length of 1M. Finally, our method demonstrated competitive performance in long-text question-answering tasks compared to non-compressed methods, while significantly saving storage resources in long-text inference tasks. Our code, models, and demo are available at https://github.com/WUHU-G/RCC_Transformer
• Abstract（参考訳）: Transformer-based large language model (LLMs) のコンテキスト長を拡張し、理解能力を向上させるために、計算資源とメモリ容量の制限に直面していることが多い。 この研究は、制約された記憶空間内のLLMのコンテキストウィンドウ長を効率的に拡張するために、Recurrent Context Compression (RCC) と呼ばれる手法を導入する。 また、下流タスクにおいて、命令と文脈の両方が圧縮された場合のモデル応答不良の問題についても検討し、この問題を緩和するための命令再構成手法を提案する。 我々は,複数のタスクに対するアプローチの有効性を検証し,BLEU4スコアが0.95に近いテキスト再構成タスクにおいて最大32倍の圧縮率を達成し,シーケンス長1Mのパスキー検索タスクにおいて100倍近い精度を達成した。 最後に,提案手法は,非圧縮手法と比較して長文問合せタスクにおける競合性能を示し,長文推論タスクにおける記憶資源の大幅な削減を図った。 私たちのコード、モデル、デモはhttps://github.com/WUHU-G/RCC_Transformerで公開されています。

関連論文リスト

• Context Embeddings for Efficient Answer Generation in RAG [10.702520553261756]
  提案するCOCOMは,コンテキストの長いコンテキストを少数のコンテキスト埋め込みに短縮する,効果的なコンテキスト圧縮手法である。 提案手法では,最大5.69ドルの高速化を実現しつつ,既存の効率的な文脈圧縮手法と比較して高い性能を実現している。
  論文  参考訳（メタデータ） (2024-07-12T13:30:44Z)
• KV Cache Compression, But What Must We Give in Return? A Comprehensive Benchmark of Long Context Capable Approaches [52.02764371205856]
  長期の文脈能力は、大規模言語モデル(LLM)にとって重要な能力である この研究は、現在の手法の分類を提供し、長いコンテキストタスクの7つのカテゴリにまたがる10以上の最先端のアプローチを評価する。
  論文  参考訳（メタデータ） (2024-07-01T17:59:47Z)
• Training-Free Exponential Context Extension via Cascading KV Cache [49.608367376911694]
  カスケードサブキャッシュバッファを利用して,最も関連性の高いトークンを選択的に保持する機構を導入する。 本手法は,1Mトークンのフラッシュアテンションと比較して,プリフィルステージ遅延を6.8倍削減する。
  論文  参考訳（メタデータ） (2024-06-24T03:59:17Z)
• In-Context Former: Lightning-fast Compressing Context for Large Language Model [48.831304302467004]
  本稿では,Transformer-based large language model (LLM) の長期入力コンテキストを圧縮する手法を提案する。 我々は,単語の埋め込みから情報を集めるために,クロスアテンション機構と少数の学習可能なダイジェストトークンを使用する。 実験の結果, 圧縮時のベースライン浮動小数点演算の1/32しか必要とせず, 処理速度を68倍から112倍に向上することがわかった。
  論文  参考訳（メタデータ） (2024-06-19T15:14:55Z)
• Hierarchical Context Merging: Better Long Context Understanding for Pre-trained LLMs [61.40047491337793]
  本稿では,大規模言語モデルの制約を克服する新しいトレーニングフリースキームである階層型cOntext MERging(HOMER)を提案する。 HomeRは、長いインプットを管理可能なチャンクに分割する、分別/対数アルゴリズムを使用する。 トークン削減技術がマージ毎に先行し、メモリ使用効率が保証される。
  論文  参考訳（メタデータ） (2024-04-16T06:34:08Z)
• LLoCO: Learning Long Contexts Offline [63.3458260335454]
  長いコンテキストを処理するための新しいアプローチであるLLoCOを提案する。 LLoCOはコンテキスト圧縮とLoRAによるドメイン内パラメータ効率の微調整を通じて、オフラインでコンテキストを学習する。 提案手法は、4kトークンLLaMA2-7Bモデルの有効コンテキストウインドウを拡張し,最大128kトークンを処理する。
  論文  参考訳（メタデータ） (2024-04-11T17:57:22Z)
• StreamingDialogue: Prolonged Dialogue Learning via Long Context Compression with Minimal Losses [67.92595110412094]
  StreamingDialogueは長い対話履歴を最小限の損失でconv-attnシンクに圧縮する。 本手法は対話タスクにおいて強いベースラインを上回ります。
  論文  参考訳（メタデータ） (2024-03-13T07:44:14Z)
• Long Context Compression with Activation Beacon [22.054232261437186]
  Activation Beaconは、トランスフォーマーベースのLLM用のプラグインモジュールである。 長いコンテキストの効率的な、効率的、柔軟な圧縮をターゲットとしている。 推論時間の2倍の高速化と、KVキャッシュのメモリコストの8倍の削減を実現している。
  論文  参考訳（メタデータ） (2024-01-07T11:57:40Z)
• Extending Context Window of Large Language Models via Semantic Compression [21.35020344956721]
  大規模言語モデル(LLM)は、しばしば、流動的で関連する応答の生成を保証するために、テキスト入力の長さに制限を課す。 本稿では,テキストを6～8倍長大に一般化するセマンティック圧縮手法を提案する。
  論文  参考訳（メタデータ） (2023-12-15T07:04:33Z)
• Compressed Context Memory For Online Language Model Interaction [39.72054168889216]
  本稿では,オンラインシナリオにおけるトランスフォーマー言語モデルに対する文脈キー/値圧縮手法を提案する。 コンテキストが長くなるにつれて、アテンションプロセスはメモリと計算量の増加を必要とし、それによって言語モデルのスループットが低下する。 本稿では,注目鍵/値ペアを連続的にコンパクトなメモリ空間に圧縮するコンテクストメモリシステムを提案する。
  論文  参考訳（メタデータ） (2023-12-06T10:50:43Z)
• Compressing Context to Enhance Inference Efficiency of Large Language Models [26.75216730927996]
  本稿では,大規模言語モデル(LLM)の推論効率を向上させるための選択文脈法を提案する。 我々は、arXiv論文、ニュース記事、長い会話など、長いコンテキスト処理を必要とする共通のデータソースを用いて、アプローチをテストする。 実験の結果,Selective Contextはメモリコストを大幅に削減し,生成遅延を低減させることがわかった。
  論文  参考訳（メタデータ） (2023-10-09T23:03:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。