論文の概要: Context Embeddings for Efficient Answer Generation in RAG

• arxiv url: http://arxiv.org/abs/2407.09252v3
• Date: Tue, 29 Oct 2024 17:34:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-08 22:06:29.101595
• Title: Context Embeddings for Efficient Answer Generation in RAG
• Title（参考訳）: RAGにおける効率的なアンサー生成のためのコンテキスト埋め込み
• Authors: David Rau, Shuai Wang, Hervé Déjean, Stéphane Clinchant,
• Abstract要約: 提案するCOCOMは,コンテキストの長いコンテキストを少数のコンテキスト埋め込みに短縮する,効果的なコンテキスト圧縮手法である。 提案手法では,最大5.69ドルの高速化を実現しつつ,既存の効率的な文脈圧縮手法と比較して高い性能を実現している。
• 参考スコア（独自算出の注目度）: 10.702520553261756
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Retrieval-Augmented Generation (RAG) allows overcoming the limited knowledge of LLMs by extending the input with external information. As a consequence, the contextual inputs to the model become much longer which slows down decoding time directly translating to the time a user has to wait for an answer. We address this challenge by presenting COCOM, an effective context compression method, reducing long contexts to only a handful of Context Embeddings speeding up the generation time by a large margin. Our method allows for different compression rates trading off decoding time for answer quality. Compared to earlier methods, COCOM allows for handling multiple contexts more effectively, significantly reducing decoding time for long inputs. Our method demonstrates a speed-up of up to 5.69 $\times$ while achieving higher performance compared to existing efficient context compression methods.
• Abstract（参考訳）: Retrieval-Augmented Generation (RAG) は、入力を外部情報で拡張することで、LLMの限られた知識を克服することができる。 結果として、モデルへのコンテキスト入力はずっと長くなり、ユーザが答えを待つ時間に直接変換するデコード時間を遅くする。 この課題に対処するために、COCOMという効果的なコンテキスト圧縮手法を提案し、長いコンテキストを少数のコンテキスト埋め込みに減らし、生成時間を大きなマージンで高速化する。 提案手法では,デコード時間と解答品質の異なる圧縮速度が可能である。 以前の方法と比較すると、COCOMは複数のコンテキストをより効果的に扱えるようになり、長い入力の復号時間を大幅に短縮する。 提案手法では,最大5.69$\times$の高速化を実現しつつ,既存の効率的な文脈圧縮手法と比較して高い性能を実現している。

関連論文リスト

• LongVU: Spatiotemporal Adaptive Compression for Long Video-Language Understanding [65.46303012350207]
  LongVUは、長いビデオの視覚的詳細を保存しながら、ビデオトークンの数を減らす適応圧縮機構である。 DINOv2の機能を利用して、高い類似性を示す冗長なフレームを削除します。 時間的依存関係に基づいて,フレーム間の空間トークン削減を行う。
  論文  参考訳（メタデータ） (2024-10-22T21:21:37Z)
• Prompt Compression with Context-Aware Sentence Encoding for Fast and Improved LLM Inference [16.830389144259584]
  文レベルのプロンプト圧縮技術である文脈対応プロンプト圧縮(CPC)を提案する。 鍵となる革新は、与えられた質問に対する各文の関連スコアを提供する新しい文脈対応の文エンコーダである。 提案手法は,ベンチマークデータセットの高速圧縮に関する先行研究をかなり上回っている。
  論文  参考訳（メタデータ） (2024-09-02T13:02:51Z)
• Enhancing and Accelerating Large Language Models via Instruction-Aware Contextual Compression [7.673616185468932]
  大規模言語モデルに無関係なコンテキストを提供すると、応答が低下し、推論遅延が増加し、コストが上昇する。 本稿では,少ない情報内容のフィルタリングを行うインストラクション・アウェア・コンテクスト圧縮手法を提案する。 Instruction-Aware Contextual Compressionはメモリ消費を著しく減らし、生成遅延を最小化する。
  論文  参考訳（メタデータ） (2024-08-28T02:31:15Z)
• UIO-LLMs: Unbiased Incremental Optimization for Long-Context LLMs [111.12010207132204]
  UIO-LLMsは、長いコンテキスト設定下でのメモリ拡張トランスフォーマーの漸進的な最適化手法である。 本稿では,TBPTTアルゴリズムを用いて学習過程を改良する。 UIO-LLMは、Llama2-7b-chatのコンテキストウィンドウを4Kから100Kトークンに、2%の追加パラメータで拡張するなど、長いコンテキストを扱うことに成功した。
  論文  参考訳（メタデータ） (2024-06-26T08:44:36Z)
• In-Context Former: Lightning-fast Compressing Context for Large Language Model [48.831304302467004]
  本稿では,Transformer-based large language model (LLM) の長期入力コンテキストを圧縮する手法を提案する。 我々は,単語の埋め込みから情報を集めるために,クロスアテンション機構と少数の学習可能なダイジェストトークンを使用する。 実験の結果, 圧縮時のベースライン浮動小数点演算の1/32しか必要とせず, 処理速度を68倍から112倍に向上することがわかった。
  論文  参考訳（メタデータ） (2024-06-19T15:14:55Z)
• Recurrent Context Compression: Efficiently Expanding the Context Window of LLM [22.595457889113668]
  この研究はRecurrent Context Compression (RCC)と呼ばれる手法を導入し、Transformerベースの大規模言語モデル(LLM)のコンテキストウィンドウ長を効率的に拡張する。 我々は,複数のタスクに対するアプローチを検証し,BLEU4スコアが0.95に近いテキスト再構成タスクで最大32倍の圧縮率を実現し,シーケンス長1Mのパスキー検索タスクで約100%の精度を実現した。
  論文  参考訳（メタデータ） (2024-06-10T08:50:59Z)
• Hierarchical Context Merging: Better Long Context Understanding for Pre-trained LLMs [61.40047491337793]
  本稿では,大規模言語モデルの制約を克服する新しいトレーニングフリースキームである階層型cOntext MERging(HOMER)を提案する。 HomeRは、長いインプットを管理可能なチャンクに分割する、分別/対数アルゴリズムを使用する。 トークン削減技術がマージ毎に先行し、メモリ使用効率が保証される。
  論文  参考訳（メタデータ） (2024-04-16T06:34:08Z)
• LLoCO: Learning Long Contexts Offline [63.3458260335454]
  長いコンテキストを処理するための新しいアプローチであるLLoCOを提案する。 LLoCOはコンテキスト圧縮とLoRAによるドメイン内パラメータ効率の微調整を通じて、オフラインでコンテキストを学習する。 提案手法は、4kトークンLLaMA2-7Bモデルの有効コンテキストウインドウを拡張し,最大128kトークンを処理する。
  論文  参考訳（メタデータ） (2024-04-11T17:57:22Z)
• Extending Context Window of Large Language Models via Semantic Compression [21.35020344956721]
  大規模言語モデル(LLM)は、しばしば、流動的で関連する応答の生成を保証するために、テキスト入力の長さに制限を課す。 本稿では,テキストを6～8倍長大に一般化するセマンティック圧縮手法を提案する。
  論文  参考訳（メタデータ） (2023-12-15T07:04:33Z)
• Fast Chain-of-Thought: A Glance of Future from Parallel Decoding Leads to Answers Faster [61.83949316226113]
  FastCoTは並列デコーディングに基づくモデルに依存しないフレームワークである。 我々は、FastCoTが通常のアプローチと比較して、無視できる性能低下だけで、推論時間を20%近く削減できることを示します。
  論文  参考訳（メタデータ） (2023-11-14T15:56:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。