論文の概要: PCToolkit: A Unified Plug-and-Play Prompt Compression Toolkit of Large Language Models
- arxiv url: http://arxiv.org/abs/2403.17411v1
- Date: Tue, 26 Mar 2024 06:11:07 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-27 16:36:05.429319
- Title: PCToolkit: A Unified Plug-and-Play Prompt Compression Toolkit of Large Language Models
- Title(参考訳): PCToolkit: 大規模言語モデルのための統一的なプラグアンドプレイプロンプト圧縮ツールキット
- Authors: Jinyi Li, Yihuai Lan, Lei Wang, Hao Wang,
- Abstract要約: プロンプト圧縮は、重要な情報を保持しながら入力プロンプトを効率的に凝縮する革新的な方法である。
このツールキットは、Large Language Models (LLM) におけるプロンプトを圧縮するための統一的なプラグアンドプレイソリューションである。
PCToolkitはモジュラー設計で、ポータブルでユーザフレンドリーなインターフェースを通じて、新しいデータセットとメトリクスを簡単に統合できる。
- 参考スコア(独自算出の注目度): 8.791334233447714
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Prompt compression is an innovative method for efficiently condensing input prompts while preserving essential information. To facilitate quick-start services, user-friendly interfaces, and compatibility with common datasets and metrics, we present the Prompt Compression Toolkit (PCToolkit). This toolkit is a unified plug-and-play solution for compressing prompts in Large Language Models (LLMs), featuring cutting-edge prompt compressors, diverse datasets, and metrics for comprehensive performance evaluation. PCToolkit boasts a modular design, allowing for easy integration of new datasets and metrics through portable and user-friendly interfaces. In this paper, we outline the key components and functionalities of PCToolkit. We conducted evaluations of the compressors within PCToolkit across various natural language tasks, including reconstruction, summarization, mathematical problem-solving, question answering, few-shot learning, synthetic tasks, code completion, boolean expressions, multiple choice questions, and lies recognition.
- Abstract(参考訳): プロンプト圧縮は、重要な情報を保持しながら入力プロンプトを効率的に凝縮する革新的な方法である。
クイックスタートサービス,ユーザフレンドリなインターフェース,一般的なデータセットやメトリクスとの互換性を実現するため,PCToolkitのPrompt Compression Toolkit(PCToolkit)を提示する。
このツールキットはLarge Language Models (LLM) のプロンプトを圧縮するための統一的なプラグアンドプレイソリューションであり、最先端のプロンプト圧縮機、多様なデータセット、総合的なパフォーマンス評価のためのメトリクスを備えている。
PCToolkitはモジュラー設計で、ポータブルでユーザフレンドリーなインターフェースを通じて、新しいデータセットとメトリクスを簡単に統合できる。
本稿では,PCToolkitの主要なコンポーネントと機能について概説する。
我々は,PCToolkit内の圧縮機を,再構成,要約,数学的問題解決,質問応答,少数ショット学習,合成タスク,コード補完,ブール表現,複数選択質問,嘘認識など,さまざまな自然言語タスクで評価した。
関連論文リスト
- LLMLingua-2: Data Distillation for Efficient and Faithful Task-Agnostic Prompt Compression [43.048684907893104]
本稿では, タスク非依存のプロンプト圧縮に着目し, 一般化性と効率性の向上を図る。
我々は,プロンプト圧縮をトークン分類問題として定式化し,圧縮されたプロンプトが元のプロンプトに忠実であることを保証する。
提案手法は, XLM-RoBERTa-large や mBERT などの小型モデルを用いて圧縮目標を明示的に学習することにより,低レイテンシを実現する。
論文 参考訳(メタデータ) (2024-03-19T17:59:56Z) - A Survey on Transformer Compression [84.18094368700379]
自然言語処理(NLP)とコンピュータビジョン(CV)の領域においてトランスフォーマーは重要な役割を果たす
モデル圧縮法は、Transformerのメモリと計算コストを削減する。
この調査は、Transformerベースのモデルに適用することに焦点を当てた、最近の圧縮方法に関する包括的なレビューを提供する。
論文 参考訳(メタデータ) (2024-02-05T12:16:28Z) - ControlLLM: Augment Language Models with Tools by Searching on Graphs [97.62758830255002]
我々は,大規模言語モデル(LLM)が実世界のタスクを解くためのマルチモーダルツールを利用できる新しいフレームワークであるControlLLMを提案する。
フレームワークは,(1)複雑なタスクを明確なサブタスクに分割し,入力と出力を適切に定義したサブタスクに分解するtextittask Decomposer,(2)構築済みのツールグラフ上で最適なソリューションパスを探索する textitThoughts-on-Graph(ToG)パラダイム,(3)ソリューションパスを解釈して実行するリッチなツールボックスを備えた textitexecution Engine,の3つの主要なコンポーネントから構成される。
論文 参考訳(メタデータ) (2023-10-26T21:57:21Z) - RECOMP: Improving Retrieval-Augmented LMs with Compression and Selective
Augmentation [61.53695868960846]
テキスト内統合に先立って,検索した文書をテキスト要約に圧縮する手法を提案する。
これにより、計算コストを削減できるだけでなく、長期検索された文書の関連情報を識別する上で、LMの負担を軽減できる。
本研究では,あるLMに対して訓練した圧縮機を言語モデリングタスク上で他のLMに転送し,検索した文書にほぼ忠実な要約を提供することを示す。
論文 参考訳(メタデータ) (2023-10-06T17:55:36Z) - Adapting Language Models to Compress Contexts [71.98287002918941]
トランスフォーマーベースの言語モデル(LM)は強力で広く適用可能なツールであるが、その有用性は有限コンテキストウィンドウによって制限される。
本稿では,事前学習したLMを,長いコンテキストをコンパクトな要約ベクトルに圧縮可能なAutoCompressorに適応させることを提案する。
最大30,720個のトークンのシーケンスでOPTとLlama-2モデルを微調整し、AutoCompressorが長いコンテキストを使ってパープレキシティを向上できることを示す。
論文 参考訳(メタデータ) (2023-05-24T06:42:44Z) - ConvLab-3: A Flexible Dialogue System Toolkit Based on a Unified Data
Format [88.33443450434521]
タスク指向対話(TOD)システムはデジタルアシスタントとして機能し、フライトの予約やレストランの検索といった様々なタスクを通じてユーザを誘導する。
TODシステムを構築するための既存のツールキットは、データ、モデル、実験環境の包括的な配列を提供するのに不足することが多い。
本稿では,このギャップを埋めるための多面的対話システムツールキットConvLab-3を紹介する。
論文 参考訳(メタデータ) (2022-11-30T16:37:42Z) - Text Compression-aided Transformer Encoding [77.16960983003271]
本稿では,トランスフォーマーのエンコーディングを強化するために,明示的で暗黙的なテキスト圧縮手法を提案する。
バックボーン情報、つまり入力テキストのgistは、特に焦点を当てていません。
評価の結果,提案した明示的かつ暗黙的なテキスト圧縮手法は,強いベースラインと比較して結果を改善することがわかった。
論文 参考訳(メタデータ) (2021-02-11T11:28:39Z) - A Multilingual Study of Multi-Sentence Compression using Word
Vertex-Labeled Graphs and Integer Linear Programming [1.3922732150370447]
Multi-Sentence Compression (MSC) は、類似した文のクラスタからキー情報を持つ短い文を生成することを目的としている。
本稿では,異なるキーワードを選択するためにグラフを用いたMSCの線形計画法について述べる。
システムの品質は良好で,3言語でニュースデータセットを導いた評価の精度に優れる。
論文 参考訳(メタデータ) (2020-04-09T10:35:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。