論文の概要: Say More with Less: Understanding Prompt Learning Behaviors through Gist Compression

• arxiv url: http://arxiv.org/abs/2402.16058v1
• Date: Sun, 25 Feb 2024 11:07:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-27 15:33:13.057302
• Title: Say More with Less: Understanding Prompt Learning Behaviors through Gist Compression
• Title（参考訳）: 余計なことを言う:ギスト圧縮によるプロンプト学習行動の理解
• Authors: Xinze Li, Zhenghao Liu, Chenyan Xiong, Shi Yu, Yukun Yan, Shuo Wang, Ge Yu
• Abstract要約: 大規模言語モデル(LLM)は、入力コンテキストがユーザの意図に沿った出力を生成するために、長いプロンプトを必要とする。 本稿では,素早い解釈と工学を支援するプロンプトを圧縮する新しい手法を提案する。 Gist-COCOはエンコーダ-デコーダベースの言語モデルを採用し、その後追加のエンコーダをプラグインモジュールとして組み込んでgistトークンを使用してプロンプトを圧縮する。
• 参考スコア（独自算出の注目度）: 39.233017243612025
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) require lengthy prompts as the input context to produce output aligned with user intentions, a process that incurs extra costs during inference. In this paper, we propose the Gist COnditioned deCOding (Gist-COCO) model, introducing a novel method for compressing prompts which also can assist the prompt interpretation and engineering. Gist-COCO employs an encoder-decoder based language model and then incorporates an additional encoder as a plugin module to compress prompts with inputs using gist tokens. It finetunes the compression plugin module and uses the representations of gist tokens to emulate the raw prompts in the vanilla language model. By verbalizing the representations of gist tokens into gist prompts, the compression ability of Gist-COCO can be generalized to different LLMs with high compression rates. Our experiments demonstrate that Gist-COCO outperforms previous prompt compression models in both passage and instruction compression tasks. Further analysis on gist verbalization results suggests that our gist prompts serve different functions in aiding language models. They may directly provide potential answers, generate the chain-of-thought, or simply repeat the inputs. All data and codes are available at https://github.com/OpenMatch/Gist-COCO .
• Abstract（参考訳）: 大規模言語モデル(llm)は、ユーザの意図に沿った出力を生成するために、入力コンテキストとして長いプロンプトを必要とする。 本稿では,Gist Conditioned Decoding(Gist-COCO)モデルを提案する。 Gist-COCOはエンコーダ-デコーダベースの言語モデルを採用し、その後追加のエンコーダをプラグインモジュールとして組み込んでgistトークンを使用してプロンプトを圧縮する。 圧縮プラグインモジュールを微調整し、gistトークンの表現を使用して、バニラ言語モデルの生のプロンプトをエミュレートする。 gistトークンの表現をgistプロンプトに言語化することにより、Gist-COCOの圧縮能力を高い圧縮率で異なるLLMに一般化することができる。 実験により, Gist-COCOは, 経路圧縮タスクと命令圧縮タスクの両方において, 従来のプロンプト圧縮モデルより優れていることを示した。 Gist動詞化結果のさらなる分析は、我々のgistプロンプトが言語モデルを支援するために異なる機能を提供していることを示唆している。 彼らは直接、潜在的な答えを提供し、思考の連鎖を生成したり、単に入力を繰り返す。 すべてのデータとコードはhttps://github.com/OpenMatch/Gist-COCO で公開されている。

関連論文リスト

• Style-Compress: An LLM-Based Prompt Compression Framework Considering Task-Specific Styles [49.65811277223873]
  Style-Compressは、より小さな言語モデルを適用して、新たなタスクでより大きなモデルのプロンプトを、追加のトレーニングなしで圧縮する軽量フレームワークである。 提案手法は,実効圧縮プロンプトを,スタイルのバリエーションやコンテキスト内学習を通じて,タスク固有の実演として反復的に生成し,選択する。 Style-Compressは、オリジナルのプロンプト再構成、テキスト要約、マルチホップQA、CoT推論の4つのタスクで2つのベースライン圧縮モデルを上回っている。
  論文  参考訳（メタデータ） (2024-10-17T21:35:49Z)
• AdaCoder: Adaptive Prompt Compression for Programmatic Visual Question Answering [23.169961738978614]
  本稿では,視覚的質問応答モデルのための適応的プロンプト圧縮フレームワークであるAdaCoderを提案する。 AdaCoderは圧縮フェーズと推論フェーズの2つのフェーズで動作する。 視覚的質問応答の性能を維持・改善しつつ,トークン長を71.1%削減できることを実証した。
  論文  参考訳（メタデータ） (2024-07-28T06:23:06Z)
• Fundamental Limits of Prompt Compression: A Rate-Distortion Framework for Black-Box Language Models [21.025001473355996]
  大規模言語モデル(LLM)の即時圧縮問題について定式化する。 ブラックボックスモデルのハードプロンプトを生成するトークンレベルのプロンプト圧縮手法を統合するためのフレームワークを提案する。 本稿では,現在の高速圧縮法の性能と最適戦略との間に大きなギャップがあることを述べる。
  論文  参考訳（メタデータ） (2024-07-22T09:40:13Z)
• Superposed Decoding: Multiple Generations from a Single Autoregressive Inference Pass [72.07642648108849]
  Superposed Decodingは、1つの自己回帰推論パスのコストで$k$のドラフトを生成する新しい復号アルゴリズムである。 Superposed Decodingは、他のデコード戦略と組み合わせることで、推論時間計算のスケーリング時に普遍的なカバレッジが向上する。
  論文  参考訳（メタデータ） (2024-05-28T17:40:48Z)
• LLMLingua: Compressing Prompts for Accelerated Inference of Large Language Models [22.06402870816756]
  大きな言語モデル(LLM)は、その驚くべき能力のために様々なアプリケーションに適用されている。 本稿では,意味的整合性を維持するための予算制御を伴う粗大なプロンプト圧縮手法であるLLMLinguaを提案する。 提案手法により,最先端性能が得られ,最大20倍圧縮が可能であり,性能損失が少ないことを示す。
  論文  参考訳（メタデータ） (2023-10-09T14:10:21Z)
• Improving Zero-Shot Generalization for CLIP with Synthesized Prompts [135.4317555866831]
  既存のほとんどのメソッドは、実世界のアプリケーションでは保持できない全てのクラスにラベル付きデータを必要とする。 既存の微調整法を改善するために,textbfSynttextbfHestextbfIzed textbfPrompts(textbfSHIP)と呼ばれるプラグアンドプレイ生成手法を提案する。
  論文  参考訳（メタデータ） (2023-07-14T15:15:45Z)
• Learning to Compress Prompts with Gist Tokens [16.64173373856]
  我々は、LMにプロンプトを小さな"gist"トークンセットに圧縮するよう訓練するgistingを提案する。 decoder (LLaMA-7B) と encoder-decoder (FLAN-T5-XXL) のLMでは、gisting はプロンプトの最大26倍の圧縮を可能にする。
  論文  参考訳（メタデータ） (2023-04-17T17:47:37Z)
• Verified Reversible Programming for Verified Lossless Compression [11.020543186794459]
  ロスレス圧縮の実装は通常、エンコーダとデコーダの2つのプログラムを含む。 我々は、非対称数値システム(ANS)に基づく圧縮手法のかなりのクラスが、エンコーダとデコーダの間で共有構造を持つことを観察する。 私たちはAgdaに埋め込まれた小さな可逆言語「Flipper」を実装しました。
  論文  参考訳（メタデータ） (2022-11-02T16:39:41Z)
• COCO-LM: Correcting and Contrasting Text Sequences for Language Model Pretraining [59.169836983883656]
  COCO-LMは、チャレンジングなエラーとテキストシーケンスの変換によって言語モデルを事前学習する新しい自己監視学習フレームワークです。 COCO-LMは、オリジナルのテキストシーケンスでマスク&予測トークンに補助言語モデルを採用しています。 分析の結果,coco-lmのアドバンテージは,困難なトレーニング信号,よりコンテキスト化されたトークン表現,正規化されたシーケンス表現であることがわかった。
  論文  参考訳（メタデータ） (2021-02-16T22:24:29Z)
• Fast End-to-End Speech Recognition via a Non-Autoregressive Model and Cross-Modal Knowledge Transferring from BERT [72.93855288283059]
  LASO (Listen Attentively, and Spell Once) と呼ばれる非自動回帰音声認識モデルを提案する。 モデルは、エンコーダ、デコーダ、および位置依存集合体(PDS)からなる。
  論文  参考訳（メタデータ） (2021-02-15T15:18:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。