論文の概要: Prompt Compression for Large Language Models: A Survey
- arxiv url: http://arxiv.org/abs/2410.12388v2
- Date: Thu, 17 Oct 2024 04:09:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-18 13:20:28.345344
- Title: Prompt Compression for Large Language Models: A Survey
- Title（参考訳）: 大規模言語モデルのプロンプト圧縮に関する調査
- Authors: Zongqian Li, Yinhong Liu, Yixuan Su, Nigel Collier,
- Abstract要約: 本稿では, ハードプロンプト法とソフトプロンプト法に分類した, プロンプト圧縮技術の概要について述べる。
また, 各種急速圧縮手法の下流適応について検討した。
- 参考スコア（独自算出の注目度）: 31.578484271031908
- License:
- Abstract: Leveraging large language models (LLMs) for complex natural language tasks typically requires long-form prompts to convey detailed requirements and information, which results in increased memory usage and inference costs. To mitigate these challenges, multiple efficient methods have been proposed, with prompt compression gaining significant research interest. This survey provides an overview of prompt compression techniques, categorized into hard prompt methods and soft prompt methods. First, the technical approaches of these methods are compared, followed by an exploration of various ways to understand their mechanisms, including the perspectives of attention optimization, Parameter-Efficient Fine-Tuning (PEFT), modality integration, and new synthetic language. We also examine the downstream adaptations of various prompt compression techniques. Finally, the limitations of current prompt compression methods are analyzed, and several future directions are outlined, such as optimizing the compression encoder, combining hard and soft prompts methods, and leveraging insights from multimodality.
- Abstract（参考訳）: 複雑な自然言語処理に大規模言語モデル(LLM)を活用する場合、通常、詳細な要求や情報を伝えるために長い形式のプロンプトが必要となるため、メモリ使用量や推論コストが増加する。
これらの課題を軽減するために、複数の効率的な方法が提案され、即時圧縮が重要な研究関心を集めている。
本稿では, ハードプロンプト法とソフトプロンプト法に分類した, プロンプト圧縮技術の概要について述べる。
まず,これらの手法の技術的アプローチを比較し,注目度最適化,パラメータ効率の良いファインチューニング(PEFT),モータリティ統合,新しい合成言語など,それらのメカニズムを理解するための様々な方法を探究する。
また, 各種急速圧縮手法の下流適応について検討した。
最後に, 圧縮エンコーダの最適化, ハードプロンプトとソフトプロンプトの併用, マルチモーダリティからの洞察の活用など, 現行のプロンプト圧縮手法の限界を解析し, 今後の方向性を概説する。
関連論文リスト
- BRIEF: Bridging Retrieval and Inference for Multi-hop Reasoning via Compression [91.23933111083389]
BRIEF(Bridging Retrieval and Inference through Evidence Fusion)は、クエリ対応のマルチホップ推論を実行する軽量なアプローチである。
オープンソースモデルで構築した合成データに基づいて,BRIEFはより簡潔な要約を生成する。
論文 参考訳（メタデータ） (2024-10-20T04:24:16Z) - Selection-p: Self-Supervised Task-Agnostic Prompt Compression for Faithfulness and Transferability [67.77534983324229]
本稿では,非形式的トークンを識別する統一圧縮法を開発するために,大規模言語モデルの能力について検討する。
実験により、Selection-pは様々な分類タスクで最先端のパフォーマンスを達成することが示された。
以前の作業と比べて、異なるモデルに対して優れた転送性を示す。
論文 参考訳（メタデータ） (2024-10-15T17:05:25Z) - Perception Compressor:A training-free prompt compression method in long context scenarios [17.720102137585503]
パーセプション(Perception)は、大規模言語モデルのトレーニング不要なプロンプト圧縮手法である。
既存のメソッドのマージンを大きく上回り、最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2024-09-28T07:13:33Z) - Fundamental Limits of Prompt Compression: A Rate-Distortion Framework for Black-Box Language Models [21.025001473355996]
大規模言語モデル(LLM)の即時圧縮問題について定式化する。
ブラックボックスモデルのハードプロンプトを生成するトークンレベルのプロンプト圧縮手法を統合するためのフレームワークを提案する。
本稿では,現在の高速圧縮法の性能と最適戦略との間に大きなギャップがあることを述べる。
論文 参考訳（メタデータ） (2024-07-22T09:40:13Z) - Adapting LLMs for Efficient Context Processing through Soft Prompt Compression [1.1550486371582305]
本稿では,大規模言語モデルを合理化された文脈処理のために戦略的に調整する,革新的なフレームワークを提案する。
我々の手法はSoftPromptCompと呼ばれ、動的に生成されたソフトプロンプトで自然言語をアマルガメイトし、簡潔でセマンティックに頑健な文脈の描写をフォージする。
我々は,我々のフレームワークが計算オーバーヘッドを著しく減らし,LLMの有効性を様々なベンチマークで向上させることを実証した。
論文 参考訳（メタデータ） (2024-04-07T15:44:20Z) - Efficient Prompting Methods for Large Language Models: A Survey [50.171011917404485]
プロンプティングは、特定の自然言語処理タスクに大規模言語モデル(LLM)を適用するための主流パラダイムとなっている。
このアプローチは、LLMの振る舞いをガイドし、制御するために、モデル推論と人間の努力のさらなる計算負担をもたらす。
本稿では, 今後の研究の方向性を明らかにするため, 促進, 効率的な促進のための進歩を概説する。
論文 参考訳（メタデータ） (2024-04-01T12:19:08Z) - A Survey on Transformer Compression [84.18094368700379]
自然言語処理(NLP)とコンピュータビジョン(CV)の領域においてトランスフォーマーは重要な役割を果たす
モデル圧縮法は、Transformerのメモリと計算コストを削減する。
この調査は、Transformerベースのモデルに適用することに焦点を当てた、最近の圧縮方法に関する包括的なレビューを提供する。
論文 参考訳（メタデータ） (2024-02-05T12:16:28Z) - LLMLingua: Compressing Prompts for Accelerated Inference of Large
Language Models [22.06402870816756]
大きな言語モデル(LLM)は、その驚くべき能力のために様々なアプリケーションに適用されている。
本稿では,意味的整合性を維持するための予算制御を伴う粗大なプロンプト圧縮手法であるLLMLinguaを提案する。
提案手法により,最先端性能が得られ,最大20倍圧縮が可能であり,性能損失が少ないことを示す。
論文 参考訳（メタデータ） (2023-10-09T14:10:21Z) - Learning Accurate Performance Predictors for Ultrafast Automated Model
Compression [86.22294249097203]
フレキシブルネットワーク展開のための超高速自動モデル圧縮フレームワークSeerNetを提案する。
本手法は,探索コストを大幅に削減した競合精度・複雑度トレードオフを実現する。
論文 参考訳（メタデータ） (2023-04-13T10:52:49Z) - Revisiting Offline Compression: Going Beyond Factorization-based Methods
for Transformer Language Models [7.542276054279341]
トランスフォーマー言語モデルは、多くの自然言語処理(NLP)タスクにおいて卓越した結果を達成する。
その巨大なサイズは、しばしばメモリ制限されたデバイスを非現実的にし、実践者はそれをより小さなネットワークに圧縮する必要がある。
本稿では,圧縮モデルをさらに微調整する必要のないオフライン圧縮手法について検討する。
論文 参考訳（メタデータ） (2023-02-08T13:36:06Z) - Learning End-to-End Lossy Image Compression: A Benchmark [90.35363142246806]
まず,学習した画像の圧縮方法に関する総合的な文献調査を行う。
本稿では,最先端の学習画像圧縮手法のマイルストーンについて述べるとともに,既存の幅広い作品について概観し,その歴史的開発ルートについて考察する。
エントロピー推定と信号再構成のための粗大な超高次モデルを導入することにより、速度歪み性能の向上を実現する。
論文 参考訳（メタデータ） (2020-02-10T13:13:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。