論文の概要: Efficient Prompt Compression with Evaluator Heads for Long-Context Transformer Inference

• arxiv url: http://arxiv.org/abs/2501.12959v1
• Date: Wed, 22 Jan 2025 15:33:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-23 13:30:07.672832
• Title: Efficient Prompt Compression with Evaluator Heads for Long-Context Transformer Inference
• Title（参考訳）: 長期変圧器推論のための評価器ヘッドを用いた効率的なプロンプト圧縮
• Authors: Weizhi Fei, Xueyan Niu, Guoqing Xie, Yingqing Liu, Bo Bai, Wei Han,
• Abstract要約: 長文入力は大規模言語モデル(LLM)の有効活用に不可欠である 圧縮されたプロンプト内にキー情報を保持できる,効率的な訓練不要なプロンプト圧縮手法を提案する。 我々は,LLMの入力プロンプトを高速に「スキムスルー」できる評価器ヘッドベースプロンプト圧縮を開発した。
• 参考スコア（独自算出の注目度）: 6.699062502635993
• License:
• Abstract: Although applications involving long-context inputs are crucial for the effective utilization of large language models (LLMs), they also result in increased computational costs and reduced performance. To address this challenge, we propose an efficient, training-free prompt compression method that retains key information within compressed prompts. We identify specific attention heads in transformer-based LLMs, which we designate as evaluator heads, that are capable of selecting tokens in long inputs that are most significant for inference. Building on this discovery, we develop EHPC, an Evaluator Head-based Prompt Compression method, which enables LLMs to rapidly "skim through" input prompts by leveraging only the first few layers with evaluator heads during the pre-filling stage, subsequently passing only the important tokens to the model for inference. EHPC achieves state-of-the-art results across two mainstream benchmarks: prompt compression and long-context inference acceleration. Consequently, it effectively reduces the complexity and costs associated with commercial API calls. We further demonstrate that EHPC attains competitive results compared to key-value cache-based acceleration methods, thereby highlighting its potential to enhance the efficiency of LLMs for long-context tasks.
• Abstract（参考訳）: 長文入力を含むアプリケーションは、大規模言語モデル(LLM)の有効利用には不可欠であるが、計算コストの増大と性能の低下をもたらす。 この課題に対処するために、圧縮されたプロンプト内のキー情報を保持する効率的な訓練不要なプロンプト圧縮手法を提案する。 提案手法では,推定に最も重要となる長入力でトークンを選択することが可能な,トランスフォーマーベースLPMの特定の注意ヘッドを評価器ヘッドとして指定する。 この発見に基づいて,評価用ヘッドをベースとしたPmpt圧縮手法であるEHPCを開発した。この手法により,プレフィル時に,評価用ヘッドを持つ最初の数層のみを活用することで,LLMの入力プロンプトを高速に"スキムスルー"することが可能となり,その後,推論モデルに重要なトークンのみを渡すことができる。 EHPCは2つの主要なベンチマーク、即時圧縮と長期コンテキスト推論アクセラレーションで最先端の結果を達成する。 これにより、商用API呼び出しに関連する複雑さとコストを効果的に削減できる。 さらに、EHPCは、キー値キャッシュベースの加速度法と比較して、競合する結果が得られることを実証し、長文タスクにおけるLLMの効率を高める可能性を強調した。

関連論文リスト

• Squeezed Attention: Accelerating Long Context Length LLM Inference [64.11145320159126]
  本稿では,入力プロンプトの大部分を固定したLLMアプリケーションを高速化する機構として,Squeezed Attentionを提案する。 K-meansクラスタリングをオフラインで使用して、セマンティックな類似性に基づいて、固定されたコンテキストのキーをグループ化し、各クラスタを単一のセントロイド値で表現します。 そして、固定された文脈から重要なキーのみを用いて正確な注意を計算し、帯域幅と計算コストを削減する。
  論文  参考訳（メタデータ） (2024-11-14T18:54:19Z)
• Recycled Attention: Efficient inference for long-context language models [54.00118604124301]
  本稿では,入力トークンのサブセットに対して,フルコンテキストアテンションとアテンションを交互に切り替える推論時間手法であるRecycled Attentionを提案する。 部分的に注意を払っていると、全注意を払っている前のトークンの注意パターンをリサイクルし、最も出席しているトークンの上位Kにのみ出席する。 提案手法は,局所的な文脈や注目スコアの高いトークンにのみ参加する推論時加速度法と比較して,現在の復号ステップに関連するトークンを柔軟に選択する。
  論文  参考訳（メタデータ） (2024-11-08T18:57:07Z)
• Perception Compressor:A training-free prompt compression method in long context scenarios [17.720102137585503]
  パーセプション(Perception)は、大規模言語モデルのトレーニング不要なプロンプト圧縮手法である。 既存のメソッドのマージンを大きく上回り、最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-09-28T07:13:33Z)
• QUITO-X: A New Perspective on Context Compression from the Information Bottleneck Theory [66.01597794579568]
  問題をモデル化するために情報ボトルネック理論(IB)を導入する。 IBにおける相互情報に近似するクロスアテンションに基づく手法を提案する。 提案手法は,最先端技術と比較して25%の圧縮率向上を実現している。
  論文  参考訳（メタデータ） (2024-08-20T02:44:45Z)
• FactorLLM: Factorizing Knowledge via Mixture of Experts for Large Language Models [50.331708897857574]
  本稿では,高度に訓練された高密度FFNを余分なサブネットワークに分解する新しいアプローチであるFacterLLMを紹介する。 FactorLLMは、最大85%のモデル性能を確保しながら、推論速度を30%以上増加させながら、ソースモデルに匹敵するパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-08-15T16:45:16Z)
• Fundamental Limits of Prompt Compression: A Rate-Distortion Framework for Black-Box Language Models [21.025001473355996]
  大規模言語モデル(LLM)の即時圧縮問題について定式化する。 ブラックボックスモデルのハードプロンプトを生成するトークンレベルのプロンプト圧縮手法を統合するためのフレームワークを提案する。 本稿では,現在の高速圧縮法の性能と最適戦略との間に大きなギャップがあることを述べる。
  論文  参考訳（メタデータ） (2024-07-22T09:40:13Z)
• A Thorough Performance Benchmarking on Lightweight Embedding-based Recommender Systems [67.52782366565658]
  State-of-the-art recommender system (RS) は、埋め込みベクトルによって符号化される分類的特徴に依存し、結果として非常に大きな埋め込みテーブルとなる。 軽量埋め込み型RSの繁栄にもかかわらず、評価プロトコルには幅広い多様性が見られる。 本研究では, LERSの性能, 効率, クロスタスク転送性について, 徹底的なベンチマークによる検討を行った。
  論文  参考訳（メタデータ） (2024-06-25T07:45:00Z)
• Anchor-based Large Language Models [33.86392289481657]
  本研究ではアンカーベースの自己アテンションネットワーク(AnSAN)とアンカーベースの推論戦略を利用するアンカーベースのLSM(AnLLM)を紹介する。 AnLLMも同様の精度を維持し、最大99%のキー/バリューキャッシュの削減、最大3.5倍の高速推論を実現している。
  論文  参考訳（メタデータ） (2024-02-12T12:48:02Z)
• Approximated Prompt Tuning for Vision-Language Pre-trained Models [54.326232586461614]
  視覚言語による事前学習モデルでは、事前学習タスクと下流タスクのギャップを埋めるために、しばしば多くの学習可能なトークンを必要とする。 本稿では,効率的なVL転送学習を実現するために,APT(Approximated Prompt Tuning)アプローチを提案する。
  論文  参考訳（メタデータ） (2023-06-27T05:43:47Z)
• Instance-wise Prompt Tuning for Pretrained Language Models [72.74916121511662]
  インスタンスワイドのPrompt Tuning(IPT)は、入力データインスタンスからプロンプトに知識を注入する最初のプロンプト学習パラダイムである。 IPTはタスクベースのプロンプト学習法を著しく上回り、調律パラメータのわずか0.5%から1.5%で従来の微調整に匹敵する性能を達成している。
  論文  参考訳（メタデータ） (2022-06-04T10:08:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。