論文の概要: TokenGate: Adapting LLMs for Fast and Memory-Efficient Prefill with Learned Token Pruning

• arxiv url: http://arxiv.org/abs/2610.26754v1
• Date: Mon, 19 Oct 2026 17:15:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 01:35:27.868855
• Title: TokenGate: Adapting LLMs for Fast and Memory-Efficient Prefill with Learned Token Pruning
• Title（参考訳）: TokenGate: 学習したTokenプルーニングによる高速かつメモリ効率の良いプリフィルのためのLLM適応
• Abstract要約: TokenGateは、学習可能なトークンプルーニングを可能にするために、既存のトレーニングモデルを拡張する小さなコンポーネントである。 トークンプルーニングのための非微分不可能なトップK演算子にも拘わらず、エンドツーエンドの学習を可能にするため、トークン付き注目を導入する。 様々なタスクにおいて、TokenGateは1.4$-11.3times$高速タイムツーファーストトークン(TTFT)と1.5$-3.4times$低ピークメモリを実現している。
• 参考スコア（独自算出の注目度）: 55.18459469601808
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Expert human readers process large inputs (e.g., code repositories and long documents) by skimming to closely read only what matters. On the other hand, language models process all input tokens through each model layer, resulting in significant processing costs for long-context inputs. We introduce TokenGate, a small, drop-in component that extends existing trained models to enable end-to-end learnable token pruning over long-context inputs for fast and memory-efficient prefill. To enable end-to-end learning despite the non-differentiable top-K operator for token pruning, we introduce token-gated attention, a mechanism inspired by Mixture-of-Experts that re-weights attention logits using token importance scores. Across diverse tasks, TokenGate achieves $1.4$-$11.3\times$ faster time-to-first token (TTFT) and $1.5$-$3.4\times$ lower peak memory at no accuracy degradation for prefill in transformers. Compared to the best-performing prior methods for token-pruning, TokenGate gives up to $6.4\times$ faster prefill and $2\times$ lower peak memory. TokenGate natively extends both standard transformers (e.g., Qwen3) and hybrid-attention models (e.g., Qwen3.5) with simple lightweight adaptation comparable to standard parameter-efficient fine-tuning. We make our code available at: https://github.com/tokengate-models/TokenGate.
• Abstract（参考訳）: 専門家のヒューマンリーダーは、重要なことだけを詳しく読むためにスキミングによって大きなインプット(例えば、コードリポジトリや長いドキュメント)を処理する。 一方、言語モデルは各モデル層を通して全ての入力トークンを処理し、長いコンテキスト入力に対してかなりの処理コストがかかる。 TokenGateは、既存のトレーニングモデルを拡張して、高速でメモリ効率の良いプリフィルのために、長いコンテキスト入力に対してエンドツーエンドで学習可能なトークンプルーニングを可能にする、小さなドロップインコンポーネントである。 トークンプルーニングのための非微分不可能なトップK演算子にもかかわらず、エンドツーエンドの学習を可能にするために、トークン重要度スコアを用いて注意ログを再重み付けするMixture-of-Expertsにインスパイアされたトークンゲートアテンションを導入する。 様々なタスクにおいて、TokenGateは1.4$-$11.3\times$高速タイムツーファーストトークン(TTFT)と1.5$-$3.4\times$低いピークメモリをトランスフォーマーのプリフィルの精度劣化なしに達成している。 TokenGateはトークン・プルーニング(トークン・プルーニング)の最も優れた手法と比較して、最大6.4\times$高速プリフィルと2\times$低ピークメモリを付与する。 TokenGateは、標準トランスフォーマー(例えば、Qwen3)とハイブリッドアテンションモデル(例えば、Qwen3.5)の両方を、標準パラメータ効率の微調整に匹敵するシンプルな軽量な適応でネイティブに拡張している。 コードはhttps://github.com/tokengate-models/TokenGate.comで公開しています。

関連論文リスト

• Trading Depth for Time in Recurrent Transformers [61.2977190038771]
  リカレント・トランスフォーマーは時間的繰り返しによって計算深度を増大させる。 追加の計算は、より時間的なステップやより深い物理深度に費やされているか? 本稿では,復号化時に語彙単位のバックボーンフォワードパスを保持するLRT(Latent Recurrent Transformer)を用いて,この問題を考察する。
  論文  参考訳（メタデータ） (2026-09-18T10:34:51Z)
• LAST: The Last Query Token Guides Visual Token Pruning for Edge-Cloud Collaborative MLLM Inference [63.932718076408584]
  LASTは、エッジクラウド協調MLLM推論におけるクエリ依存のビジュアルトークンプルーニングのための、トレーニング不要のフレームワークである。 完全な精度の95.4%を維持し、視覚トークンの12.5%しか保持せず、エッジ側の選択オーバーヘッドは低く、クラウド側の計算は少ない。
  論文  参考訳（メタデータ） (2026-07-30T09:59:25Z)
• ReDiPrune: Relevance-Diversity Pre-Projection Token Pruning for Efficient Multimodal LLMs [16.523460406504604]
  ReDiPrune(ReDiPrune)は、視覚条件のプロジェクタに適用される、トレーニング不要のトークンプルーニング手法である。 視覚エンコーダ出力から直接情報トークンを選択し、きめ細かい空間的および意味的な手がかりを保存する。 4つのビデオと5つの画像ベンチマークの精度と効率のトレードオフを一貫して改善する。
  論文  参考訳（メタデータ） (2026-03-25T18:01:19Z)
• SCOPE: Saliency-Coverage Oriented Token Pruning for Efficient Multimodel LLMs [59.415473779171315]
  textbfSaliency-textbfCoverage textbfOriented token textbfPruning for textbfEfficient MLLMs。
  論文  参考訳（メタデータ） (2025-10-28T09:29:37Z)
• QuickMerge++: Fast Token Merging with Autoregressive Prior [6.185573921868495]
  高速な次世代予測のための軽量フレームワークであるQuickMergeを提案する。 セマンティックサリエンス推定、フレキシブルトークン予算、ARアライメントを組み合わせることで、QuickMergeはより少ないトークンで正確な生成を可能にする。 マルチモダリティドメイン間でQuickMergeを評価し、計算精度のトレードオフを一貫した改善を実証する。
  論文  参考訳（メタデータ） (2025-08-16T06:07:33Z)
• zip2zip: Inference-Time Adaptive Tokenization via Online Compression [27.16551923444618]
  zip2zipは、大規模言語モデルでコンテキスト適応トークン化を実現するための新しい方法である。 パラメータ効率のよい微調整により、既存のLLMを10GPU時間でzip2zipにアップトレーニングできることが示される。 結果としてLLMはテスト時間適応を行い、目に見えないコンテキストでハイパートークンを使うことを学び、入力トークンと出力トークンを15～40%削減する。
  論文  参考訳（メタデータ） (2025-06-01T17:03:02Z)
• VQToken: Neural Discrete Token Representation Learning for Extreme Token Reduction in Video Large Language Models [35.38573641029626]
  最小限の離散トークンを用いてビデオ全体を表現することを目的としたExtreme Short Token Reductionという新しいタスクを紹介した。 Extreme Short Token Reductionタスクでは、私たちのVQTokenはシーケンスをオリジナルの長さのわずか0.07パーセントまで圧縮し、NextQA-MCベンチマークでは0.6%の精度しか達成していません。
  論文  参考訳（メタデータ） (2025-03-21T09:46:31Z)
• TokenButler: Token Importance is Predictable [8.514853311344458]
  大規模言語モデル(LLM)はトークン履歴を保存するためにキーバリューキャッシュ(KV)に依存しており、トークンの効率的な復号を可能にする。 以前の研究では、トークンの小さなサブセットのみが、各デコードステップに有意義に寄与することが示されている。 TokenButlerは、これらの重要なトークンを識別することを学ぶ、高粒度でクエリ対応の予測器である。
  論文  参考訳（メタデータ） (2025-03-10T16:41:14Z)
• LazyLLM: Dynamic Token Pruning for Efficient Long Context LLM Inference [30.722379261991563]
  LazyLLMは次のトークン予測に重要なトークンのKVを選択的に計算する手法である。 LLama 2 7Bモデルのプレフィルステージを2.34倍の精度で高速化する。
  論文  参考訳（メタデータ） (2024-07-19T06:34:45Z)
• Vcc: Scaling Transformers to 128K Tokens or More by Prioritizing Important Tokens [65.4435926060951]
  本稿では,超長周期の変換器の効率を,各層でより小さな表現に圧縮することで向上することを提案する。 我々のアルゴリズムは効率的であるだけでなく(4Kと16Kのベースラインに比べて3倍以上の効率向上を達成する)、多数のタスクで競合/ベターパフォーマンスを提供する。
  論文  参考訳（メタデータ） (2023-05-07T10:32:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。