Fugu-MT 論文翻訳(概要): PCToolkit: A Unified Plug-and-Play Prompt Compression Toolkit of Large Language Models

論文の概要: PCToolkit: A Unified Plug-and-Play Prompt Compression Toolkit of Large Language Models

arxiv url: http://arxiv.org/abs/2403.17411v1
Date: Tue, 26 Mar 2024 06:11:07 GMT
ステータス: 処理完了
システム内更新日: 2024-03-27 16:36:05.429319
Title: PCToolkit: A Unified Plug-and-Play Prompt Compression Toolkit of Large Language Models
Title（参考訳）: PCToolkit: 大規模言語モデルのための統一的なプラグアンドプレイプロンプト圧縮ツールキット
Authors: Jinyi Li, Yihuai Lan, Lei Wang, Hao Wang,
Abstract要約: プロンプト圧縮は、重要な情報を保持しながら入力プロンプトを効率的に凝縮する革新的な方法である。このツールキットは、Large Language Models (LLM) におけるプロンプトを圧縮するための統一的なプラグアンドプレイソリューションである。 PCToolkitはモジュラー設計で、ポータブルでユーザフレンドリーなインターフェースを通じて、新しいデータセットとメトリクスを簡単に統合できる。
参考スコア（独自算出の注目度）: 8.791334233447714
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Prompt compression is an innovative method for efficiently condensing input prompts while preserving essential information. To facilitate quick-start services, user-friendly interfaces, and compatibility with common datasets and metrics, we present the Prompt Compression Toolkit (PCToolkit). This toolkit is a unified plug-and-play solution for compressing prompts in Large Language Models (LLMs), featuring cutting-edge prompt compressors, diverse datasets, and metrics for comprehensive performance evaluation. PCToolkit boasts a modular design, allowing for easy integration of new datasets and metrics through portable and user-friendly interfaces. In this paper, we outline the key components and functionalities of PCToolkit. We conducted evaluations of the compressors within PCToolkit across various natural language tasks, including reconstruction, summarization, mathematical problem-solving, question answering, few-shot learning, synthetic tasks, code completion, boolean expressions, multiple choice questions, and lies recognition.
Abstract（参考訳）: プロンプト圧縮は、重要な情報を保持しながら入力プロンプトを効率的に凝縮する革新的な方法である。クイックスタートサービス,ユーザフレンドリなインターフェース,一般的なデータセットやメトリクスとの互換性を実現するため,PCToolkitのPrompt Compression Toolkit(PCToolkit)を提示する。このツールキットはLarge Language Models (LLM) のプロンプトを圧縮するための統一的なプラグアンドプレイソリューションであり、最先端のプロンプト圧縮機、多様なデータセット、総合的なパフォーマンス評価のためのメトリクスを備えている。 PCToolkitはモジュラー設計で、ポータブルでユーザフレンドリーなインターフェースを通じて、新しいデータセットとメトリクスを簡単に統合できる。本稿では,PCToolkitの主要なコンポーネントと機能について概説する。我々は,PCToolkit内の圧縮機を,再構成,要約,数学的問題解決,質問応答,少数ショット学習,合成タスク,コード補完,ブール表現,複数選択質問,嘘認識など,さまざまな自然言語タスクで評価した。

関連論文リスト

Task-agnostic Prompt Compression with Context-aware Sentence Embedding and Reward-guided Task Descriptor [16.830389144259584]
Task-Agnostic Prompt Compression (TPC)は、入力質問やテンプレートを必要とせずにタスクやドメイン間の圧縮を一般化する新しいフレームワークである。 TPCは、コンテキストとクエリペアのキュレートされたデータセットに基づいてトレーニングされたタスク記述子を使用して、コンテキスト関連タスク記述を生成する。我々は,LongBenchおよびZeroSCROLLSベンチマークにおいて,既存の最先端手法よりも優れた3つのモデルサイズ(Base, Large, Huge)を導入する。
論文参考訳（メタデータ） (2025-02-19T02:16:29Z)
Learned Data Compression: Challenges and Opportunities for the Future [34.95766887424342]
インセンチュラードの最近の進歩は、インセンチュラード圧縮機の開発にインスピレーションを与えたこれらの圧縮機は、大規模なソートキーを圧縮するために、単純だがコンパクトな機械学習(ML)モデルを利用する。本稿では,学習データ圧縮の可能性を探究し,索引や関連領域の重要な領域を強化する。
論文参考訳（メタデータ） (2024-12-14T09:47:21Z)
Style-Compress: An LLM-Based Prompt Compression Framework Considering Task-Specific Styles [49.65811277223873]
Style-Compressは、より小さな言語モデルを適用して、新たなタスクでより大きなモデルのプロンプトを、追加のトレーニングなしで圧縮する軽量フレームワークである。提案手法は,実効圧縮プロンプトを,スタイルのバリエーションやコンテキスト内学習を通じて,タスク固有の実演として反復的に生成し,選択する。 Style-Compressは、オリジナルのプロンプト再構成、テキスト要約、マルチホップQA、CoT推論の4つのタスクで2つのベースライン圧縮モデルを上回っている。
論文参考訳（メタデータ） (2024-10-17T21:35:49Z)
Fundamental Limits of Prompt Compression: A Rate-Distortion Framework for Black-Box Language Models [21.025001473355996]
大規模言語モデル(LLM)の即時圧縮問題について定式化する。ブラックボックスモデルのハードプロンプトを生成するトークンレベルのプロンプト圧縮手法を統合するためのフレームワークを提案する。本稿では,現在の高速圧縮法の性能と最適戦略との間に大きなギャップがあることを述べる。
論文参考訳（メタデータ） (2024-07-22T09:40:13Z)
CompAct: Compressing Retrieved Documents Actively for Question Answering [15.585833125854418]
CompActは、キー情報を失うことなく、広範囲のドキュメントを格納するためのアクティブな戦略を採用した、新しいフレームワークである。実験により,マルチホップ質問応答ベンチマークにおいて,CompActは性能と圧縮率に大きな改善をもたらすことが示された。
論文参考訳（メタデータ） (2024-07-12T06:06:54Z)
Concise and Precise Context Compression for Tool-Using Language Models [60.606281074373136]
ツールを用いた言語モデルにおいて,ツール文書を簡潔かつ高精度な要約シーケンスに圧縮する2つの手法を提案する。 API-BankとAPIBenchの結果,最大16倍の圧縮率で上行ベースラインに匹敵する性能を示した。
論文参考訳（メタデータ） (2024-07-02T08:17:00Z)
A Survey on Transformer Compression [84.18094368700379]
自然言語処理(NLP)とコンピュータビジョン(CV)の領域においてトランスフォーマーは重要な役割を果たすモデル圧縮法は、Transformerのメモリと計算コストを削減する。この調査は、Transformerベースのモデルに適用することに焦点を当てた、最近の圧縮方法に関する包括的なレビューを提供する。
論文参考訳（メタデータ） (2024-02-05T12:16:28Z)
ControlLLM: Augment Language Models with Tools by Searching on Graphs [97.62758830255002]
我々は,大規模言語モデル(LLM)が実世界のタスクを解くためのマルチモーダルツールを利用できる新しいフレームワークであるControlLLMを提案する。フレームワークは,(1)複雑なタスクを明確なサブタスクに分割し,入力と出力を適切に定義したサブタスクに分解するtextittask Decomposer,(2)構築済みのツールグラフ上で最適なソリューションパスを探索する textitThoughts-on-Graph(ToG)パラダイム,(3)ソリューションパスを解釈して実行するリッチなツールボックスを備えた textitexecution Engine,の3つの主要なコンポーネントから構成される。
論文参考訳（メタデータ） (2023-10-26T21:57:21Z)
RECOMP: Improving Retrieval-Augmented LMs with Compression and Selective Augmentation [61.53695868960846]
テキスト内統合に先立って,検索した文書をテキスト要約に圧縮する手法を提案する。これにより、計算コストを削減できるだけでなく、長期検索された文書の関連情報を識別する上で、LMの負担を軽減できる。本研究では,あるLMに対して訓練した圧縮機を言語モデリングタスク上で他のLMに転送し,検索した文書にほぼ忠実な要約を提供することを示す。
論文参考訳（メタデータ） (2023-10-06T17:55:36Z)
ConvLab-3: A Flexible Dialogue System Toolkit Based on a Unified Data Format [88.33443450434521]
タスク指向対話(TOD)システムはデジタルアシスタントとして機能し、フライトの予約やレストランの検索といった様々なタスクを通じてユーザを誘導する。 TODシステムを構築するための既存のツールキットは、データ、モデル、実験環境の包括的な配列を提供するのに不足することが多い。本稿では,このギャップを埋めるための多面的対話システムツールキットConvLab-3を紹介する。
論文参考訳（メタデータ） (2022-11-30T16:37:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。