Fugu-MT 論文翻訳(概要): PCToolkit: A Unified Plug-and-Play Prompt Compression Toolkit of Large Language Models

論文の概要: PCToolkit: A Unified Plug-and-Play Prompt Compression Toolkit of Large Language Models

arxiv url: http://arxiv.org/abs/2403.17411v1
Date: Tue, 26 Mar 2024 06:11:07 GMT
ステータス: 処理完了
システム内更新日: 2024-03-27 16:36:05.429319
Title: PCToolkit: A Unified Plug-and-Play Prompt Compression Toolkit of Large Language Models
Title（参考訳）: PCToolkit: 大規模言語モデルのための統一的なプラグアンドプレイプロンプト圧縮ツールキット
Authors: Jinyi Li, Yihuai Lan, Lei Wang, Hao Wang,
Abstract要約: プロンプト圧縮は、重要な情報を保持しながら入力プロンプトを効率的に凝縮する革新的な方法である。このツールキットは、Large Language Models (LLM) におけるプロンプトを圧縮するための統一的なプラグアンドプレイソリューションである。 PCToolkitはモジュラー設計で、ポータブルでユーザフレンドリーなインターフェースを通じて、新しいデータセットとメトリクスを簡単に統合できる。
参考スコア（独自算出の注目度）: 8.791334233447714
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Prompt compression is an innovative method for efficiently condensing input prompts while preserving essential information. To facilitate quick-start services, user-friendly interfaces, and compatibility with common datasets and metrics, we present the Prompt Compression Toolkit (PCToolkit). This toolkit is a unified plug-and-play solution for compressing prompts in Large Language Models (LLMs), featuring cutting-edge prompt compressors, diverse datasets, and metrics for comprehensive performance evaluation. PCToolkit boasts a modular design, allowing for easy integration of new datasets and metrics through portable and user-friendly interfaces. In this paper, we outline the key components and functionalities of PCToolkit. We conducted evaluations of the compressors within PCToolkit across various natural language tasks, including reconstruction, summarization, mathematical problem-solving, question answering, few-shot learning, synthetic tasks, code completion, boolean expressions, multiple choice questions, and lies recognition.
Abstract（参考訳）: プロンプト圧縮は、重要な情報を保持しながら入力プロンプトを効率的に凝縮する革新的な方法である。クイックスタートサービス,ユーザフレンドリなインターフェース,一般的なデータセットやメトリクスとの互換性を実現するため,PCToolkitのPrompt Compression Toolkit(PCToolkit)を提示する。このツールキットはLarge Language Models (LLM) のプロンプトを圧縮するための統一的なプラグアンドプレイソリューションであり、最先端のプロンプト圧縮機、多様なデータセット、総合的なパフォーマンス評価のためのメトリクスを備えている。 PCToolkitはモジュラー設計で、ポータブルでユーザフレンドリーなインターフェースを通じて、新しいデータセットとメトリクスを簡単に統合できる。本稿では,PCToolkitの主要なコンポーネントと機能について概説する。我々は,PCToolkit内の圧縮機を,再構成,要約,数学的問題解決,質問応答,少数ショット学習,合成タスク,コード補完,ブール表現,複数選択質問,嘘認識など,さまざまな自然言語タスクで評価した。

関連論文リスト

Style-Compress: An LLM-Based Prompt Compression Framework Considering Task-Specific Styles [49.65811277223873]
Style-Compressは、より小さな言語モデルを適用して、新たなタスクでより大きなモデルのプロンプトを、追加のトレーニングなしで圧縮する軽量フレームワークである。提案手法は,実効圧縮プロンプトを,スタイルのバリエーションやコンテキスト内学習を通じて,タスク固有の実演として反復的に生成し,選択する。 Style-Compressは、オリジナルのプロンプト再構成、テキスト要約、マルチホップQA、CoT推論の4つのタスクで2つのベースライン圧縮モデルを上回っている。
論文参考訳（メタデータ） (2024-10-17T21:35:49Z)
LanguaShrink: Reducing Token Overhead with Psycholinguistics [8.123272461141815]
LanguaShrinkは、大規模言語モデルの即時圧縮フレームワークである。本質的な情報を保持しながら、即時長を短縮する。既存のプロンプト圧縮手法と比較して、LanguaShrinkはエンドツーエンドのレイテンシを1.43倍改善している。
論文参考訳（メタデータ） (2024-09-01T22:09:20Z)
Fundamental Limits of Prompt Compression: A Rate-Distortion Framework for Black-Box Language Models [21.025001473355996]
大規模言語モデル(LLM)の即時圧縮問題について定式化する。ブラックボックスモデルのハードプロンプトを生成するトークンレベルのプロンプト圧縮手法を統合するためのフレームワークを提案する。本稿では,現在の高速圧縮法の性能と最適戦略との間に大きなギャップがあることを述べる。
論文参考訳（メタデータ） (2024-07-22T09:40:13Z)
CompAct: Compressing Retrieved Documents Actively for Question Answering [15.585833125854418]
CompActは、キー情報を失うことなく、広範囲のドキュメントを格納するためのアクティブな戦略を採用した、新しいフレームワークである。実験により,マルチホップ質問応答ベンチマークにおいて,CompActは性能と圧縮率に大きな改善をもたらすことが示された。
論文参考訳（メタデータ） (2024-07-12T06:06:54Z)
Concise and Precise Context Compression for Tool-Using Language Models [60.606281074373136]
ツールを用いた言語モデルにおいて,ツール文書を簡潔かつ高精度な要約シーケンスに圧縮する2つの手法を提案する。 API-BankとAPIBenchの結果,最大16倍の圧縮率で上行ベースラインに匹敵する性能を示した。
論文参考訳（メタデータ） (2024-07-02T08:17:00Z)
A Survey on Transformer Compression [84.18094368700379]
自然言語処理(NLP)とコンピュータビジョン(CV)の領域においてトランスフォーマーは重要な役割を果たすモデル圧縮法は、Transformerのメモリと計算コストを削減する。この調査は、Transformerベースのモデルに適用することに焦点を当てた、最近の圧縮方法に関する包括的なレビューを提供する。
論文参考訳（メタデータ） (2024-02-05T12:16:28Z)
ControlLLM: Augment Language Models with Tools by Searching on Graphs [97.62758830255002]
我々は,大規模言語モデル(LLM)が実世界のタスクを解くためのマルチモーダルツールを利用できる新しいフレームワークであるControlLLMを提案する。フレームワークは,(1)複雑なタスクを明確なサブタスクに分割し,入力と出力を適切に定義したサブタスクに分解するtextittask Decomposer,(2)構築済みのツールグラフ上で最適なソリューションパスを探索する textitThoughts-on-Graph(ToG)パラダイム,(3)ソリューションパスを解釈して実行するリッチなツールボックスを備えた textitexecution Engine,の3つの主要なコンポーネントから構成される。
論文参考訳（メタデータ） (2023-10-26T21:57:21Z)
RECOMP: Improving Retrieval-Augmented LMs with Compression and Selective Augmentation [61.53695868960846]
テキスト内統合に先立って,検索した文書をテキスト要約に圧縮する手法を提案する。これにより、計算コストを削減できるだけでなく、長期検索された文書の関連情報を識別する上で、LMの負担を軽減できる。本研究では,あるLMに対して訓練した圧縮機を言語モデリングタスク上で他のLMに転送し,検索した文書にほぼ忠実な要約を提供することを示す。
論文参考訳（メタデータ） (2023-10-06T17:55:36Z)
Discrete Prompt Compression with Reinforcement Learning [2.664293070994717]
Compressed prompts aid instruction-tuned language model (LM) inovercoming context window limit and reduce computational cost。既存のメソッドは、主にトレーニングの埋め込みに基づいているが、解釈可能性、埋め込みトークンの固定数、異なるLM間の再利用性、ブラックボックスAPIとのインタラクションにおける適用性など、さまざまな課題に直面している。本研究では,これらの問題に対処する離散的プロンプト圧縮法であるPCRLを用いた即時圧縮を提案する。
論文参考訳（メタデータ） (2023-08-17T03:10:17Z)
ConvLab-3: A Flexible Dialogue System Toolkit Based on a Unified Data Format [88.33443450434521]
タスク指向対話(TOD)システムはデジタルアシスタントとして機能し、フライトの予約やレストランの検索といった様々なタスクを通じてユーザを誘導する。 TODシステムを構築するための既存のツールキットは、データ、モデル、実験環境の包括的な配列を提供するのに不足することが多い。本稿では,このギャップを埋めるための多面的対話システムツールキットConvLab-3を紹介する。
論文参考訳（メタデータ） (2022-11-30T16:37:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。