論文の概要: An Empirical Study on Prompt Compression for Large Language Models

• arxiv url: http://arxiv.org/abs/2505.00019v1
• Date: Thu, 24 Apr 2025 14:15:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:55.096651
• Title: An Empirical Study on Prompt Compression for Large Language Models
• Title（参考訳）: 大規模言語モデルのプロンプト圧縮に関する実証的研究
• Authors: Zheng Zhang, Jinyi Li, Yihuai Lan, Xiang Wang, Hao Wang,
• Abstract要約: 本稿では、生成性能、モデル幻覚、マルチモーダルタスクの有効性、単語の省略分析などの側面を包括的に分析する。 実験の結果, 高速圧縮がLLM性能に与える影響は, 短時間に比べて大きいことがわかった。
• 参考スコア（独自算出の注目度）: 17.488377850354915
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Prompt engineering enables Large Language Models (LLMs) to perform a variety of tasks. However, lengthy prompts significantly increase computational complexity and economic costs. To address this issue, we study six prompt compression methods for LLMs, aiming to reduce prompt length while maintaining LLM response quality. In this paper, we present a comprehensive analysis covering aspects such as generation performance, model hallucinations, efficacy in multimodal tasks, word omission analysis, and more. We evaluate these methods across 13 datasets, including news, scientific articles, commonsense QA, math QA, long-context QA, and VQA datasets. Our experiments reveal that prompt compression has a greater impact on LLM performance in long contexts compared to short ones. In the Longbench evaluation, moderate compression even enhances LLM performance. Our code and data is available at https://github.com/3DAgentWorld/Toolkit-for-Prompt-Compression.
• Abstract（参考訳）: Prompt Engineeringにより、LLM(Large Language Models)は様々なタスクを実行できる。 しかし、長いプロンプトは計算の複雑さと経済的コストを大幅に増大させる。 そこで本研究では, LLMの応答品質を維持しつつ, 応答長を短縮する6つの高速圧縮手法について検討する。 本稿では, 生成性能, モデル幻覚, マルチモーダルタスクの有効性, 単語の省略分析などの側面を包括的に分析する。 これらの手法は、ニュース、科学論文、コモンセンスQA、数学QA、長文QA、VQAデータセットを含む13のデータセットにわたって評価する。 実験の結果, 高速圧縮がLLM性能に与える影響は, 短時間に比べて大きいことがわかった。 ロングベンチ評価では、中程度の圧縮によりLLM性能が向上する。 私たちのコードとデータはhttps://github.com/3DAgentWorld/Toolkit-for-Prompt-Compressionで公開されています。

関連論文リスト

• Decompositional Reasoning for Graph Retrieval with Large Language Models [1.034893617526558]
  大規模言語モデル(LLM)は多くのNLPタスクに優れるが、マルチホップ推論と現実の一貫性に苦しむ。 本稿では,テキスト知識グラフをクエリ分解によるLLM推論プロセスに統合する新しい検索手法を提案する。 本手法は,複雑な質問をサブクエストに分解し,関連するテキストのサブグラフを検索し,質問固有の知識グラフを作成して回答生成を誘導する。
  論文  参考訳（メタデータ） (2025-06-16T11:44:28Z)
• LongFuncEval: Measuring the effectiveness of long context models for function calling [22.799185431614656]
  ツールコール設定において,大規模言語モデルの長い文脈理解能力を包括的に研究するための最初の試みを行う。 ツール数の増加に伴い,パフォーマンス低下が7%から85%,ツール応答が長くなるにつれて回答検索が7%から91%,マルチターン会話が長くなるにつれて13%と40%の低下が見られた。
  論文  参考訳（メタデータ） (2025-04-30T15:21:51Z)
• LLMCBench: Benchmarking Large Language Model Compression for Efficient Deployment [36.958867918858296]
  大規模言語モデル (LLM) は、その強力な知能を実証しているが、計算とストレージの需要が高いため、実用化は困難である。 本稿ではLLMCBench(Large Language Model Compression Benchmark)を提案する。
  論文  参考訳（メタデータ） (2024-10-28T14:45:01Z)
• BRIEF: Bridging Retrieval and Inference for Multi-hop Reasoning via Compression [91.23933111083389]
  Retrieval-augmented Generation (RAG)は、外部知識を統合することで、大きな言語モデル(LLM)を補完することができる。 本稿では,クエリ対応マルチホップ推論を行う軽量なアプローチであるBRIEFを提案する。 オープンソースモデルで構築した合成データに基づいて,BRIEFはより簡潔な要約を生成する。
  論文  参考訳（メタデータ） (2024-10-20T04:24:16Z)
• ST-LLM: Large Language Models Are Effective Temporal Learners [58.79456373423189]
  大規模言語モデル(LLM)は、テキストの理解と生成において印象的な能力を示した。 ビデオベースの対話システムでビデオを効果的にエンコードし、理解する方法は、まだ解決されていない。 LLM内部の時空間シーケンスをモデル化したビデオLLMベースラインST-LLMを提案する。
  論文  参考訳（メタデータ） (2024-03-30T10:11:26Z)
• FreshLLMs: Refreshing Large Language Models with Search Engine Augmentation [92.43001160060376]
  本研究では,現在の世界知識をテストする質問に答える文脈において,大規模言語モデル(LLM)の事実性について検討する。 多様な質問や回答のタイプを含む新しい動的QAベンチマークであるFreshQAを紹介する。 我々は,2モード評価法により,閉じたLLMとオープンソースのLLMの多種多様な配列をベンチマークし,その正しさと幻覚の両面を計測する。 これらの結果に触発されたFreshPromptは、FreshQA上でのLLMの性能を大幅に向上させる単純な数ショットプロンプトである。
  論文  参考訳（メタデータ） (2023-10-05T00:04:12Z)
• Compressing LLMs: The Truth is Rarely Pure and Never Simple [90.05366363633568]
  Knowledge-Intensive Compressed LLM BenchmarKは、圧縮された大言語モデルの評価プロトコルを再定義することを目的としている。 LLM-KICKは、現在のSoTA圧縮方式の多くの有利な利点と不運な点を明らかにしている。 LLM-KICKは、言語理解、推論、生成、テキスト内検索、テキスト内要約などのための圧縮LLMの能力に一様にアクセスできるように設計されている。
  論文  参考訳（メタデータ） (2023-10-02T17:42:37Z)
• LM-Infinite: Zero-Shot Extreme Length Generalization for Large Language Models [83.98062659664785]
  大規模言語モデル(LLM)は通常、トランスフォーマーアーキテクチャの2次複雑さのために短いテキストセグメント(例:4Kトークン)でトレーニングする。 この研究は、この長大一般化失敗に寄与する3つの主要な要因を特定する。 本研究では,LLMの長期処理能力を高めるための簡易かつ効果的な手法であるLM-Infiniteを提案する。
  論文  参考訳（メタデータ） (2023-08-30T16:47:51Z)
• A Survey on Model Compression for Large Language Models [21.768293256849113]
  大規模言語モデル(LLM)は自然言語処理タスクをうまく変換した。 しかし、その大きなサイズと高い計算要求は、実用上の課題を提起する。 モデル圧縮はこれらの課題に対処するための重要な研究領域として浮上している。
  論文  参考訳（メタデータ） (2023-08-15T08:31:05Z)
• LLM-Pruner: On the Structural Pruning of Large Language Models [65.02607075556742]
  大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。 タスク非依存であり、元のトレーニングデータセットへの依存を最小限に抑えるという2つの制約の範囲内でLLMの圧縮に取り組む。 LLM-Prunerという名前のこの手法は、非臨界結合構造を選択的に除去する構造プルーニングを採用する。
  論文  参考訳（メタデータ） (2023-05-19T12:10:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。