論文の概要: ChunkLLM: A Lightweight Pluggable Framework for Accelerating LLMs Inference

• arxiv url: http://arxiv.org/abs/2510.02361v1
• Date: Sun, 28 Sep 2025 11:04:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-06 16:35:52.043071
• Title: ChunkLLM: A Lightweight Pluggable Framework for Accelerating LLMs Inference
• Title（参考訳）: ChunkLLM: LLM推論を高速化するための軽量プラグイン可能なフレームワーク
• Authors: Haojie Ouyang, Jianwei Lv, Lei Ren, Chen Wei, Xiaojie Wang, Fangxiang Feng,
• Abstract要約: トランスフォーマーベースの大規模モデルは自然言語処理やコンピュータビジョンに優れるが、計算の非効率さに直面する。 軽量でプラグイン可能なトレーニングフレームワークであるChunkLLMを提案する。 ChunkLLMは120K長文の処理においてバニラ変換器と比較して最大4.48倍の高速化を実現している。
• 参考スコア（独自算出の注目度）: 15.269871586699322
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transformer-based large models excel in natural language processing and computer vision, but face severe computational inefficiencies due to the self-attention's quadratic complexity with input tokens. Recently, researchers have proposed a series of methods based on block selection and compression to alleviate this problem, but they either have issues with semantic incompleteness or poor training-inference efficiency. To comprehensively address these challenges, we propose ChunkLLM, a lightweight and pluggable training framework. Specifically, we introduce two components: QK Adapter (Q-Adapter and K-Adapter) and Chunk Adapter. The former is attached to each Transformer layer, serving dual purposes of feature compression and chunk attention acquisition. The latter operates at the bottommost layer of the model, functioning to detect chunk boundaries by leveraging contextual semantic information. During the training phase, the parameters of the backbone remain frozen, with only the QK Adapter and Chunk Adapter undergoing training. Notably, we design an attention distillation method for training the QK Adapter, which enhances the recall rate of key chunks. During the inference phase, chunk selection is triggered exclusively when the current token is detected as a chunk boundary, thereby accelerating model inference. Experimental evaluations are conducted on a diverse set of long-text and short-text benchmark datasets spanning multiple tasks. ChunkLLM not only attains comparable performance on short-text benchmarks but also maintains 98.64% of the performance on long-context benchmarks while preserving a 48.58% key-value cache retention rate. Particularly, ChunkLLM attains a maximum speedup of 4.48x in comparison to the vanilla Transformer in the processing of 120K long texts.
• Abstract（参考訳）: トランスフォーマーベースの大規模モデルは自然言語処理やコンピュータビジョンに優れるが、入力トークンによる自己注意の2次複雑さのため、計算の非効率さに直面する。 近年,この問題を緩和するためのブロック選択と圧縮に基づく一連の手法が提案されているが,意味的不完全性やトレーニング推論効率の低下が問題となっている。 これらの課題に包括的に対処するために、軽量でプラガブルなトレーニングフレームワークであるChunkLLMを提案する。 具体的には、QK Adapter(Q-AdapterとK-Adapter)とChunk Adapterの2つのコンポーネントを紹介する。 前者は各トランスフォーマー層にアタッチされ、特徴圧縮とチャンクアテンション獲得の2つの目的で機能する。 後者はモデルの最下層で動作し、コンテキスト意味情報を利用してチャンク境界を検出する。 トレーニングフェーズの間、バックボーンのパラメータは凍結され、QKアダプタとチャンクアダプタのみがトレーニング中である。 特に,キーチャンクのリコール率を高めるQKアダプタをトレーニングするための注意蒸留法を設計する。 推論フェーズでは、電流トークンがチャンク境界として検出された場合にのみチャンク選択がトリガされ、モデル推論が加速される。 複数のタスクにまたがる様々な長文および短文ベンチマークデータセットに対して実験評価を行った。 ChunkLLMはショートテキストベンチマークで同等のパフォーマンスを得るだけでなく、48.58%のキー値キャッシュ保持率を維持しながら、長文ベンチマークで98.64%のパフォーマンスを維持している。 特に、ChunkLLMは120K長文の処理においてバニラ変換器と比較して最大速度4.48倍に達する。

関連論文リスト

• Lag-Relative Sparse Attention In Long Context Training [8.365610885641276]
  本稿では,LagKV圧縮法で固定されたLag-Relative Sparse Attention(LRSA)を長期学習後に提案する。 本手法はチャンク・バイ・チャンク・プリフィルを行い, 固定サイズのラグウィンドウにおいて, 最上位のキー値ペアを選択する。
  論文  参考訳（メタデータ） (2025-06-13T06:49:53Z)
• Squeezed Attention: Accelerating Long Context Length LLM Inference [61.787865959140994]
  本稿では,入力コンテキストの大部分を固定したアプリケーションを高速化するために,Squeezed Attentionを提案する。 推論中、ユーザ入力からのクエリトークンとセントロイドを比較し、固定されたコンテキストからどのキーが意味論的に関連しているかを予測する。 また,線形から対数的への注意の複雑さを,固定した文脈長に対して低減できる階層型アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-11-14T18:54:19Z)
• iConFormer: Dynamic Parameter-Efficient Tuning with Input-Conditioned Adaptation [15.97351561456467]
  本稿では,iConFormerと呼ばれる新しいPEFT手法,入出力トランスフォーマーを提案する。 インスタンスレベルの特徴変換を可能にする動的アダプタに,入出力ネットワーク(iCoN)を導入する。 具体的に言うと、iCoNは各機能に対してチャネルワイドな畳み込みカーネルを生成し、それを適応畳み込みプロセスを使って変換し、下流タスクに適したタスク固有できめ細かな詳細を効果的にキャプチャする。
  論文  参考訳（メタデータ） (2024-09-04T16:06:23Z)
• EfficientQAT: Efficient Quantization-Aware Training for Large Language Models [50.525259103219256]
  量子化対応トレーニング(QAT)は、低ビット表現によるメモリ消費を最小限の精度で削減することで、ソリューションを提供する。 より有効なQATアルゴリズムであるEfficient QAT(Efficient Quantization-Aware Training)を提案する。 効率的なQATは、全てのパラメータのブロックワイドトレーニング(Block-AP)と量子化パラメータのエンドツーエンドトレーニング(E2E-QP)の2つのフェーズを含む。
  論文  参考訳（メタデータ） (2024-07-10T17:53:30Z)
• Learning-to-Cache: Accelerating Diffusion Transformer via Layer Caching [56.286064975443026]
  拡散変圧器内の多数の層をキャッシュ機構で計算することで、モデルパラメータを更新しなくても容易に除去できる。 本稿では,拡散変圧器の動的手法でキャッシングを学習するL2C(Learningto-Cache)を提案する。 実験の結果,L2C は DDIM や DPM-r など,キャッシュベースの従来の手法と同等の推論速度で性能を向上することがわかった。
  論文  参考訳（メタデータ） (2024-06-03T18:49:57Z)
• Decoder Tuning: Efficient Language Understanding as Decoding [84.68266271483022]
  本稿では,タスク固有のデコーダネットワークを出力側で最適化するデコーダチューニング(DecT)を提案する。 勾配ベースの最適化により、DecTは数秒以内にトレーニングでき、サンプル毎に1つのPクエリしか必要としない。 我々は、広範囲にわたる自然言語理解実験を行い、DecTが200ドル以上のスピードアップで最先端のアルゴリズムを大幅に上回っていることを示す。
  論文  参考訳（メタデータ） (2022-12-16T11:15:39Z)
• Efficient Few-Shot Object Detection via Knowledge Inheritance [62.36414544915032]
  Few-shot Object Detection (FSOD) は、未確認のタスクに少ないトレーニングサンプルで適応できるジェネリック検出器を学習することを目的としている。 計算量の増加を伴わない効率的なプレトレイン・トランスファー・フレームワーク(PTF)のベースラインを提案する。 また,予測された新しいウェイトと事前訓練されたベースウェイトとのベクトル長の不整合を軽減するために,適応長再スケーリング(ALR)戦略を提案する。
  論文  参考訳（メタデータ） (2022-03-23T06:24:31Z)
• Block-Skim: Efficient Question Answering for Transformer [25.429122678247452]
  本稿では,トランスフォーマーの性能向上と高速化を目的として,高層層で不要なコンテキストをスキップするBlock-Skimを提案する。 さらに,下層の早期に不要な位置に対応する隠蔽状態の訓練を行い,推定時間の大幅な高速化を実現した。 Block-Skimは異なるデータセットでのQAモデルの精度を改善し、BERTベースモデルの3倍のスピードアップを達成する。
  論文  参考訳（メタデータ） (2021-12-16T01:45:33Z)
• Memory-efficient Transformers via Top-$k$ Attention [23.672065688109395]
  本研究では,バニラ注意のための簡易かつ高精度な近似法を提案する。 クェリをチャンクで処理し、各クェリに対してキーに関するトップ$kのスコアを計算します。 我々のアプローチは、スクラッチからのトレーニング、微調整、ゼロショット推論を含む複数のセットアップにおいて、バニラの注意にほぼ同一の精度をもたらすことを示す。
  論文  参考訳（メタデータ） (2021-06-13T02:30:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。