論文の概要: LongLLMLingua: Accelerating and Enhancing LLMs in Long Context Scenarios via Prompt Compression

• arxiv url: http://arxiv.org/abs/2310.06839v1
• Date: Tue, 10 Oct 2023 17:59:58 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-11 14:18:09.187566
• Title: LongLLMLingua: Accelerating and Enhancing LLMs in Long Context Scenarios via Prompt Compression
• Title（参考訳）: LongLLMLingua: Prompt Compressionによる長期シナリオにおけるLCMの高速化と強化
• Authors: Huiqiang Jiang, Qianhui Wu, Xufang Luo, Dongsheng Li, Chin-Yew Lin, Yuqing Yang, Lili Qiu
• Abstract要約: 長期のシナリオでは、大きな言語モデル(LLM)が3つの大きな課題に直面している。 本稿では,LongLLMLinguaを提案する。
• 参考スコア（独自算出の注目度）: 37.85493208235605
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In long context scenarios, large language models (LLMs) face three main challenges: higher computational/financial cost, longer latency, and inferior performance. Some studies reveal that the performance of LLMs depends on both the density and the position of the key information (question relevant) in the input prompt. Inspired by these findings, we propose LongLLMLingua for prompt compression towards improving LLMs' perception of the key information to simultaneously address the three challenges. We conduct evaluation on a wide range of long context scenarios including single-/multi-document QA, few-shot learning, summarization, synthetic tasks, and code completion. The experimental results show that LongLLMLingua compressed prompt can derive higher performance with much less cost. The latency of the end-to-end system is also reduced. For example, on NaturalQuestions benchmark, LongLLMLingua gains a performance boost of up to 17.1% over the original prompt with ~4x fewer tokens as input to GPT-3.5-Turbo. It can derive cost savings of \$28.5 and \$27.4 per 1,000 samples from the LongBench and ZeroScrolls benchmark, respectively. Additionally, when compressing prompts of ~10k tokens at a compression rate of 2x-10x, LongLLMLingua can speed up the end-to-end latency by 1.4x-3.8x. Our code is available at https://aka.ms/LLMLingua.
• Abstract（参考訳）: 長い文脈のシナリオでは、大きな言語モデル(llm)は、高い計算/財務コスト、長いレイテンシ、低いパフォーマンスという3つの大きな課題に直面している。 一部の研究では、LLMの性能は入力プロンプトにおけるキー情報(クエスト)の密度と位置に依存することが示されている。 そこで本研究では,これらの知見に触発されて,llmsの鍵情報の認識を改善するために,迅速な圧縮を行うためのlongllmlinguaを提案する。 我々は、シングル/マルチドキュメントqa、少数ショット学習、要約、合成タスク、コード補完を含む、幅広い長いコンテキストシナリオを評価します。 実験結果から,LongLLMLingua圧縮プロンプトは低コストで高い性能が得られることが示された。 エンドツーエンドシステムのレイテンシも削減される。 例えば、NaturalQuestionsベンチマークでは、LongLLMLinguaはGPT-3.5-Turboへの入力としてトークンを4倍に減らし、元のプロンプトよりも最大17.1%のパフォーマンス向上を実現している。 それぞれlongbenchベンチマークとzeroscrollsベンチマークから1,000サンプルあたり28.5ドルと27.4ドルを節約できる。 さらに、圧縮速度2x-10xで10kトークンのプロンプトを圧縮する場合、LongLLMLinguaはエンドツーエンドのレイテンシを1.4x-3.8x高速化することができる。 私たちのコードはhttps://aka.ms/LLMLingua.comで利用可能です。

関連論文リスト

• InfiniteHiP: Extending Language Model Context Up to 3 Million Tokens on a Single GPU [48.105361428245736]
  大規模言語モデル(LLM)の推論フレームワークであるInfiniteHiPを紹介する。 モジュール型階層型トークンプルーニングアルゴリズムにより,無関係なコンテキストトークンを動的に除去する。 我々のフレームワークは、追加のトレーニングを必要とせず、100万のトークンコンテキストに対して18.95倍のアテンションデコーディングを実現する。
  論文  参考訳（メタデータ） (2025-02-13T02:52:01Z)
• LLM2: Let Large Language Models Harness System 2 Reasoning [65.89293674479907]
  大規模言語モデル(LLM)は、無数のタスクにまたがって印象的な機能を示してきたが、時には望ましくない出力が得られる。 本稿では LLM とプロセスベースの検証器を組み合わせた新しいフレームワーク LLM2 を紹介する。 LLMs2は妥当な候補を生成するのに責任を持ち、検証者は望ましい出力と望ましくない出力を区別するためにタイムリーなプロセスベースのフィードバックを提供する。
  論文  参考訳（メタデータ） (2024-12-29T06:32:36Z)
• LLMSteer: Improving Long-Context LLM Inference by Steering Attention on Reused Contexts [2.0384661785620466]
  LLMSteerは,クエリに依存しないアテンションステアリングを通じて,大規模言語モデル(LLM)を強化する,微調整不要なフレームワークである。 LLMSteerは人気のあるLLMとデータセットでテストされ、ベースラインでパフォーマンスギャップを65.9%縮小し、実行時の遅延を4.8倍に削減した。
  論文  参考訳（メタデータ） (2024-11-20T03:17:51Z)
• Efficient Solutions For An Intriguing Failure of LLMs: Long Context Window Does Not Mean LLMs Can Analyze Long Sequences Flawlessly [6.685692482347038]
  大規模言語モデル(LLM)は、長い逐次入力の解釈と解析において顕著な能力を示した。 本稿では,長い入力シーケンスを扱う場合,LLMが短くなるという,驚くべき制限を明らかにする。 本稿では,LLMの性能を最大50%向上させるアドホックな手法を提案し,評価する。
  論文  参考訳（メタデータ） (2024-08-03T21:31:34Z)
• On the Worst Prompt Performance of Large Language Models [93.13542053835542]
  大規模言語モデル(LLM)の性能は,プロンプトの表現に非常に敏感である。 セマンティックに等価なケースレベルのクエリで構成される新しいベンチマークであるRobustAlpacaEvalを紹介する。 RobustAlpacaEvalとChatGPT、およびLlama、Mistral、Gemmaファミリーの6つのオープンソースLLMによる実験により、モデル性能のかなりのばらつきが明らかになった。
  論文  参考訳（メタデータ） (2024-06-08T13:40:38Z)
• Learning to Compress Prompt in Natural Language Formats [54.06967020905763]
  大規模言語モデル(LLM)は、複数の自然言語処理タスクを処理するのに優れている。 LLMは、長いコンテキスト、遅い推論速度、高い計算コストによる性能の低下によって制約される。 本研究の目的は、LLM転送性を備えた自然言語形式で長いプロンプトを圧縮することである。
  論文  参考訳（メタデータ） (2024-02-28T20:41:21Z)
• LM-Infinite: Zero-Shot Extreme Length Generalization for Large Language Models [83.98062659664785]
  大規模言語モデル(LLM)は通常、トランスフォーマーアーキテクチャの2次複雑さのために短いテキストセグメント(例:4Kトークン)でトレーニングする。 この研究は、この長大一般化失敗に寄与する3つの主要な要因を特定する。 本研究では,LLMの長期処理能力を高めるための簡易かつ効果的な手法であるLM-Infiniteを提案する。
  論文  参考訳（メタデータ） (2023-08-30T16:47:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。