論文の概要: Enhancing and Accelerating Large Language Models via Instruction-Aware Contextual Compression

• arxiv url: http://arxiv.org/abs/2408.15491v1
• Date: Wed, 28 Aug 2024 02:31:15 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-29 17:22:57.330892
• Title: Enhancing and Accelerating Large Language Models via Instruction-Aware Contextual Compression
• Title（参考訳）: 命令型文脈圧縮による大規模言語モデルの強化と高速化
• Authors: Haowen Hou, Fei Ma, Binwen Bai, Xinxin Zhu, Fei Yu,
• Abstract要約: 大規模言語モデルに無関係なコンテキストを提供すると、応答が低下し、推論遅延が増加し、コストが上昇する。 本稿では,少ない情報内容のフィルタリングを行うインストラクション・アウェア・コンテクスト圧縮手法を提案する。 Instruction-Aware Contextual Compressionはメモリ消費を著しく減らし、生成遅延を最小化する。
• 参考スコア（独自算出の注目度）: 7.673616185468932
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) have garnered widespread attention due to their remarkable performance across various tasks. However, to mitigate the issue of hallucinations, LLMs often incorporate retrieval-augmented pipeline to provide them with rich external knowledge and context. Nevertheless, challenges stem from inaccurate and coarse-grained context retrieved from the retriever. Supplying irrelevant context to the LLMs can result in poorer responses, increased inference latency, and higher costs. This paper introduces a method called Instruction-Aware Contextual Compression, which filters out less informative content, thereby accelerating and enhancing the use of LLMs. The experimental results demonstrate that Instruction-Aware Contextual Compression notably reduces memory consumption and minimizes generation latency while maintaining performance levels comparable to those achieved with the use of the full context. Specifically, we achieved a 50% reduction in context-related costs, resulting in a 5% reduction in inference memory usage and a 2.2-fold increase in inference speed, with only a minor drop of 0.047 in Rouge-1. These findings suggest that our method strikes an effective balance between efficiency and performance.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、様々なタスクにまたがる顕著なパフォーマンスのために、広く注目を集めている。 しかし、幻覚の問題を緩和するために、LLMは検索強化パイプラインを組み込んで、豊かな外部知識とコンテキストを提供することが多い。 それでも課題は、検索者から取得した不正確で粗いコンテキストから生じる。 LLMに無関係なコンテキストを提供すると、応答が低下し、推論遅延が増加し、コストが上昇する。 本稿では,少ない情報内容のフィルタリングを行ない,LCMの利用を促進・強化するインストラクション・アウェア・コンテクスト圧縮手法を提案する。 Instruction-Aware Contextual Compression はメモリ消費を著しく減らし、生成遅延を最小限に抑えつつ、フルコンテキストの使用によって達成されたものと同等のパフォーマンスレベルを維持していることを示す実験結果が得られた。 具体的には,コンテクスト関連コストの50%削減を実現し,推論メモリ使用量の5%削減と推論速度の2.2倍の増大を実現した。 これらの結果から,本手法は効率と性能のバランスが良好であることが示唆された。

関連論文リスト

• BRIEF: Bridging Retrieval and Inference for Multi-hop Reasoning via Compression [91.23933111083389]
  BRIEF(Bridging Retrieval and Inference through Evidence Fusion)は、クエリ対応のマルチホップ推論を実行する軽量なアプローチである。 オープンソースモデルで構築した合成データに基づいて,BRIEFはより簡潔な要約を生成する。
  論文  参考訳（メタデータ） (2024-10-20T04:24:16Z)
• Efficient Diffusion as Low Light Enhancer [63.789138528062225]
  RATR(Reflectance-Aware Trajectory Refinement)は、イメージの反射成分を用いて教師の軌跡を洗練するための、シンプルで効果的なモジュールである。 textbfReDDiT (textbfDistilled textbfTrajectory) は低照度画像強調(LLIE)に適した効率的で柔軟な蒸留フレームワークである。
  論文  参考訳（メタデータ） (2024-10-16T08:07:18Z)
• In-Context Former: Lightning-fast Compressing Context for Large Language Model [48.831304302467004]
  本稿では,Transformer-based large language model (LLM) の長期入力コンテキストを圧縮する手法を提案する。 我々は,単語の埋め込みから情報を集めるために,クロスアテンション機構と少数の学習可能なダイジェストトークンを使用する。 実験の結果, 圧縮時のベースライン浮動小数点演算の1/32しか必要とせず, 処理速度を68倍から112倍に向上することがわかった。
  論文  参考訳（メタデータ） (2024-06-19T15:14:55Z)
• Compressing Context to Enhance Inference Efficiency of Large Language Models [26.75216730927996]
  本稿では,大規模言語モデル(LLM)の推論効率を向上させるための選択文脈法を提案する。 我々は、arXiv論文、ニュース記事、長い会話など、長いコンテキスト処理を必要とする共通のデータソースを用いて、アプローチをテストする。 実験の結果,Selective Contextはメモリコストを大幅に削減し,生成遅延を低減させることがわかった。
  論文  参考訳（メタデータ） (2023-10-09T23:03:24Z)
• Compressing LLMs: The Truth is Rarely Pure and Never Simple [90.05366363633568]
  Knowledge-Intensive Compressed LLM BenchmarKは、圧縮された大言語モデルの評価プロトコルを再定義することを目的としている。 LLM-KICKは、現在のSoTA圧縮方式の多くの有利な利点と不運な点を明らかにしている。 LLM-KICKは、言語理解、推論、生成、テキスト内検索、テキスト内要約などのための圧縮LLMの能力に一様にアクセスできるように設計されている。
  論文  参考訳（メタデータ） (2023-10-02T17:42:37Z)
• Do Compressed LLMs Forget Knowledge? An Experimental Study with Practical Implications [63.29358103217275]
  大規模言語モデル(LLM)は、特に知識集約的なタスクにおいて、パフォーマンスを低下させることが多い。 損傷の性質に関する2つの予想を提案する。1つは、圧縮後に忘れられた(または消された)知識である。 Inference-time Dynamic Prompting (IDP)と呼ばれる変種を導入し、推論オーバーヘッドを発生させることなく、迅速な多様性を効果的に向上させることができる。
  論文  参考訳（メタデータ） (2023-10-02T03:12:06Z)
• In-context Autoencoder for Context Compression in a Large Language Model [70.7621953091318]
  In-context Autoencoder (ICAE) を提案し、長いコンテキストを短いメモリスロットに圧縮する。 ICAEは、大量のテキストデータに基づく自動符号化と言語モデリングの両方の目的を用いて、まず事前訓練を行う。
  論文  参考訳（メタデータ） (2023-07-13T17:59:21Z)
• Improving Language Models via Plug-and-Play Retrieval Feedback [42.786225163763376]
  大規模言語モデル(LLM)は、様々なNLPタスクで顕著なパフォーマンスを示す。 彼らはしばしば誤った情報や幻覚的な情報を生成し、現実のシナリオにおける現実的な適用を妨げます。 ReFeedは,プラグイン・アンド・プレイフレームワークにおける自動検索フィードバックを提供することにより,LLMの強化を目的とした新しいパイプラインである。
  論文  参考訳（メタデータ） (2023-05-23T12:29:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。