論文の概要: Better Prompt Compression Without Multi-Layer Perceptrons

• arxiv url: http://arxiv.org/abs/2501.06730v1
• Date: Sun, 12 Jan 2025 06:57:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-14 14:28:29.863836
• Title: Better Prompt Compression Without Multi-Layer Perceptrons
• Title（参考訳）: マルチ層パーセプトロンのないプロンプト圧縮
• Authors: Edouardo Honig, Andrew Lizarraga, Zijun Frank Zhang, Ying Nian Wu,
• Abstract要約: 本稿では,エンコーダが本来の言語モデルのアーキテクチャを維持して有用な圧縮を実現する必要はないことを示す。 言語モデルのトランスフォーマーブロックにおいて,多層パーセプトロン(MLP)層を除去した後に,プロンプト圧縮エンコーダを導入する。
• 参考スコア（独自算出の注目度）: 33.53334153279698
• License:
• Abstract: Prompt compression is a promising approach to speeding up language model inference without altering the generative model. Prior works compress prompts into smaller sequences of learned tokens using an encoder that is trained as a LowRank Adaptation (LoRA) of the inference language model. However, we show that the encoder does not need to keep the original language model's architecture to achieve useful compression. We introduce the Attention-Only Compressor (AOC), which learns a prompt compression encoder after removing the multilayer perceptron (MLP) layers in the Transformer blocks of a language model, resulting in an encoder with roughly 67% less parameters compared to the original model. Intriguingly we find that, across a range of compression ratios up to 480x, AOC can better regenerate prompts and outperform a baseline compression encoder that is a LoRA of the inference language model without removing MLP layers. These results demonstrate that the architecture of prompt compression encoders does not need to be identical to that of the original decoder language model, paving the way for further research into architectures and approaches for prompt compression.
• Abstract（参考訳）: プロンプト圧縮は、生成モデルを変更することなく言語モデル推論を高速化するための有望なアプローチである。 先行研究では、推論言語モデルのローランク適応(LoRA)としてトレーニングされたエンコーダを使用して、学習トークンの小さなシーケンスにプロンプトを圧縮する。 しかし,エンコーダは,有用な圧縮を実現するために,元の言語モデルのアーキテクチャを維持する必要はない。 本稿では,言語モデルのトランスフォーマーブロックの多層パーセプトロン(MLP)層を除去した後に,アテンションオンリー圧縮器(AOC)を導入し,元のモデルに比べて約67%少ないパラメータを持つエンコーダを実現する。 興味深いことに、AOCは最大480倍までの圧縮比で、MLP層を除去することなく、推論言語モデルのLoRAであるベースライン圧縮エンコーダのプロンプトをより良く再生し、性能を向上させることができる。 これらの結果は、プロンプト圧縮エンコーダのアーキテクチャが元のデコーダ言語モデルと同一である必要はないことを示し、プロンプト圧縮のためのアーキテクチャやアプローチのさらなる研究の道を開いた。

関連論文リスト

• Fundamental Limits of Prompt Compression: A Rate-Distortion Framework for Black-Box Language Models [21.025001473355996]
  大規模言語モデル(LLM)の即時圧縮問題について定式化する。 ブラックボックスモデルのハードプロンプトを生成するトークンレベルのプロンプト圧縮手法を統合するためのフレームワークを提案する。 本稿では,現在の高速圧縮法の性能と最適戦略との間に大きなギャップがあることを述べる。
  論文  参考訳（メタデータ） (2024-07-22T09:40:13Z)
• LLMLingua-2: Data Distillation for Efficient and Faithful Task-Agnostic Prompt Compression [43.048684907893104]
  本稿では, タスク非依存のプロンプト圧縮に着目し, 一般化性と効率性の向上を図る。 我々は,プロンプト圧縮をトークン分類問題として定式化し,圧縮されたプロンプトが元のプロンプトに忠実であることを保証する。 提案手法は, XLM-RoBERTa-large や mBERT などの小型モデルを用いて圧縮目標を明示的に学習することにより,低レイテンシを実現する。
  論文  参考訳（メタデータ） (2024-03-19T17:59:56Z)
• Extreme Encoder Output Frame Rate Reduction: Improving Computational Latencies of Large End-to-End Models [59.57732929473519]
  エンコーダに複数のフレーム削減層を適用し,少数の出力フレームにエンコーダ出力を圧縮する。 入力音声の2.56秒毎に1つのエンコーダ出力フレームを生成できることを示す。
  論文  参考訳（メタデータ） (2024-02-27T03:40:44Z)
• Say More with Less: Understanding Prompt Learning Behaviors through Gist Compression [39.233017243612025]
  大規模言語モデル(LLM)は、入力コンテキストがユーザの意図に沿った出力を生成するために、長いプロンプトを必要とする。 本稿では,素早い解釈と工学を支援するプロンプトを圧縮する新しい手法を提案する。 Gist-COCOはエンコーダ-デコーダベースの言語モデルを採用し、その後追加のエンコーダをプラグインモジュールとして組み込んでgistトークンを使用してプロンプトを圧縮する。
  論文  参考訳（メタデータ） (2024-02-25T11:07:08Z)
• A Survey on Transformer Compression [84.18094368700379]
  自然言語処理(NLP)とコンピュータビジョン(CV)の領域においてトランスフォーマーは重要な役割を果たす モデル圧縮法は、Transformerのメモリと計算コストを削減する。 この調査は、Transformerベースのモデルに適用することに焦点を当てた、最近の圧縮方法に関する包括的なレビューを提供する。
  論文  参考訳（メタデータ） (2024-02-05T12:16:28Z)
• Activations and Gradients Compression for Model-Parallel Training [85.99744701008802]
  モデル並列分散トレーニングセットアップにおけるアクティベーションと勾配の同時圧縮が収束に与える影響について検討する。 グラデーションはアクティベーションよりも軽度な圧縮速度を必要とする。 実験では、TopKでトレーニングされたモデルが、推論中に圧縮も適用された場合にのみ正常に動作することが示されている。
  論文  参考訳（メタデータ） (2024-01-15T15:54:54Z)
• Video Coding Using Learned Latent GAN Compression [1.6058099298620423]
  ビデオの表現と圧縮にはStyleGANなどのGANの生成能力を活用する。 各フレームはStyleGANの潜在空間で反転され、そこから最適な圧縮が学習される。
  論文  参考訳（メタデータ） (2022-07-09T19:07:43Z)
• ED2LM: Encoder-Decoder to Language Model for Faster Document Re-ranking Inference [70.36083572306839]
  本稿では,再ランク付けのための新しいトレーニングおよび推論パラダイムを提案する。 文書形式を用いて事前訓練したエンコーダ・デコーダモデルを精査し,クエリ生成を行う。 このエンコーダ-デコーダアーキテクチャは,推論中にデコーダのみの言語モデルに分解可能であることを示す。
  論文  参考訳（メタデータ） (2022-04-25T06:26:29Z)
• Conditional Entropy Coding for Efficient Video Compression [82.35389813794372]
  本稿では,フレーム間の条件エントロピーをモデル化することのみに焦点を当てた,非常にシンプルで効率的なビデオ圧縮フレームワークを提案する。 まず、画像遅延符号間のエントロピーをモデル化する単純なアーキテクチャが、他のニューラルビデオ圧縮やビデオコーデックと同等の競争力を持つことを示す。 次に、このアーキテクチャの上に新しい内部学習拡張を提案し、復号速度を抑えることなく10%の節約を実現した。
  論文  参考訳（メタデータ） (2020-08-20T20:01:59Z)
• A flexible, extensible software framework for model compression based on the LC algorithm [10.787390511207683]
  ニューラルネットワークや他の機械学習モデルを最小限の労力で圧縮できるソフトウェアフレームワークを提案する。 ライブラリはPythonとPyTorchで書かれており、Githubで入手できる。
  論文  参考訳（メタデータ） (2020-05-15T21:14:48Z)
• Content Adaptive and Error Propagation Aware Deep Video Compression [110.31693187153084]
  本稿では,コンテンツ適応型・誤り伝搬対応型ビデオ圧縮システムを提案する。 本手法では, 複数フレームの圧縮性能を1フレームではなく複数フレームで考慮し, 共同学習手法を用いる。 従来の圧縮システムでは手作りのコーディングモードを使用する代わりに,オンラインエンコーダ更新方式をシステム内に設計する。
  論文  参考訳（メタデータ） (2020-03-25T09:04:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。