論文の概要: TopK-Guided: Adaptive, Budget-Aware Activation Sparsity for Efficient LLM Inference

• arxiv url: http://arxiv.org/abs/2610.01763v1
• Date: Thu, 01 Oct 2026 14:24:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:24.187746
• Title: TopK-Guided: Adaptive, Budget-Aware Activation Sparsity for Efficient LLM Inference
• Title（参考訳）: TopK-Guided: 効率的なLCM推論のための適応的で予算対応の活性化空間
• Abstract要約: アクティベーションスペシャリティは、重要でないアクティベーションをゼロにすることで、大きな言語モデル(LLM)推論を高速化する。 TopK-Guidedは、制限付きトークンレベルのスペーサリティ適応と、感度対応ブロックレベルの予算割り当てを組み合わせたものだ。 Llama-2 と Llama-3 のモデル全体で、TopK-Guided はTEAL と WINA よりも難易度と下流の精度を一貫して改善している。
• 参考スコア（独自算出の注目度）: 10.438197100328628
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Activation sparsity speeds up large language model (LLM) inference by setting unimportant activations to zero so that the corresponding computations can be skipped. Existing training-free methods, however, make different trade-offs: threshold-based methods such as TEAL adapt the sparsity level to each token but do not tightly control the realised sparsity, while TopK-based methods such as WINA enforce a fixed sparsity level but use the same sparsity budget for every token. Both also apply the same budget across transformer blocks, despite large differences in block sensitivity. We introduce TopK-Guided, a training-free method that addresses both limitations by combining bounded token-level sparsity adaptation with sensitivity-aware block-level budget allocation. Across Llama-2 and Llama-3 models, TopK-Guided consistently improves perplexity and downstream accuracy over TEAL and WINA while preserving essentially the same sparsitydependent projection compute as WINA, with the largest gains at high sparsity. Ablations show that both components provide complementary improvements.
• Abstract（参考訳）: アクティベーションスペシャリティは、重要でないアクティベーションをゼロにすることで、大きな言語モデル(LLM)推論を高速化し、対応する計算をスキップできる。 TEALのようなしきい値ベースのメソッドは各トークンにスパーシティレベルを適応するが、実現されたスパーシティを厳格に制御しない。 どちらも、ブロック感度に大きな違いがあるにもかかわらず、トランスフォーマーブロック全体で同じ予算を適用している。 そこで我々は,有界トークンレベルの空間的適応と高感度ブロックレベルの予算配分を組み合わせることで,両方の制約に対処するトレーニング不要なTopK-Guidedを提案する。 Llama-2 と Llama-3 のモデル全体では、TopK-Guided はTEAL と WINA に対するパープレキシティとダウンストリームの精度を一貫して改善し、本質的には WINA と同じ間隔依存性のプロジェクション計算を保ち、高い間隔での最大のゲインを保っている。 アブレーションは、両方のコンポーネントが補完的な改善を提供することを示している。

関連論文リスト

• LimiX-2M: Mitigating Low-Rank Collapse and Attention Bottlenecks in Tabular Foundation Models [56.999481798138625]
  LimiX-2Mは2Mパラメータモデルであり、広く使われているベンチマークでTabPFN-v2とTabICLのベースラインを上回っている。 本稿では,強力なタブラル基礎モデル(TFM)のための統一トークン化・ルートフレームワークを提案する。 その結果、TFMにおける精度-効率トレードオフを改善するキーレバーとして、バリューアウェアトークン化とリードアウト整列ルーティングが強調された。
  論文  参考訳（メタデータ） (2026-06-03T06:07:33Z)
• When Does Sparsity Mitigate the Curse of Depth in LLMs [53.137717161619484]
  本研究では,分散伝播の規制として空間空間が機能し,深度利用が向上することを示す。 以上の結果から,大規模な言語モデルにおいて,より効率的な深度スケーリングを実現するための重要なメカニズムとして,スパーシリティが明らかとなった。
  論文  参考訳（メタデータ） (2026-03-16T15:04:16Z)
• Randomized Neural Network with Adaptive Forward Regularization for Online Task-free Class Incremental Learning [16.323995111105884]
  本稿では,前向き正則化(-F)を備えたニューラルネットワーク(NN)を提案する。 調整可能な前方正規化(-kF)を用いたアンサンブル深部乱数ベクトル関数型リンクネットワーク(edRVFL)のアルゴリズムを導出する。 EDRVFL-kFは、1パスのクローズドフォームのインクリメンタルアップデートと可変学習率を生成し、過去のリプレイや破滅的な忘れを効果的に回避する。 プラグアンドプレイのedRVFL-kF-Bayesに改良を加え、複数のサブラーナーのすべてのハードkを自己適応的に決定できるようにする。
  論文  参考訳（メタデータ） (2025-10-24T11:50:13Z)
• R-Stitch: Dynamic Trajectory Stitching for Efficient Reasoning [80.104336426172]
  CoT(Chain-of- Thought)は、大規模言語モデルの問題解決能力を高める。 CoTは長い自己回帰軌道のためにかなりの推論コストを発生させる。 トレーニング不要なハイブリッドデコーディングフレームワークであるR-Stitchを紹介する。
  論文  参考訳（メタデータ） (2025-07-23T08:14:36Z)
• Mixture of Weight-shared Heterogeneous Group Attention Experts for Dynamic Token-wise KV Optimization [27.994376063677766]
  トランスフォーマーモデルは、キーバリューキャッシュの増大に対する非効率なメモリ割り当てによるスケーラビリティの課題に直面している。 そこで我々は,トークン単位の計算とメモリ割り当てを動的に最適化するMixSGAを提案する。 本研究の主な特徴は,(1)重要度スコアによって導かれるトークン単位の専門家選択ルーティング機構,(2)パラメータのオーバーヘッドを最小限に抑えるためにグループ化された注意投影のウェイトシェアリング,(3)CLMにおけるトレーニングと推論の整合性を確保するための1ホットルーティング決定のための補助的損失である。
  論文  参考訳（メタデータ） (2025-06-16T14:30:17Z)
• EKPC: Elastic Knowledge Preservation and Compensation for Class-Incremental Learning [53.88000987041739]
  クラスインクリメンタルラーニング(Class-Incremental Learning, CIL)は、AIモデルを、時間とともに異なるクラスのシーケンシャルに到着したデータから継続的に学習可能にすることを目的としている。 本稿では, 重要度を考慮した重要度正規化 (IPR) と CIL のためのトレーニング可能なセマンティックドリフト補償 (TSDC) を統合したElastic Knowledge Preservation and Compensation (EKPC) 法を提案する。
  論文  参考訳（メタデータ） (2025-06-14T05:19:58Z)
• R-Sparse: Rank-Aware Activation Sparsity for Efficient LLM Inference [77.47238561728459]
  R-スパース(R-Sparse)は、高度なLCMにおいて高い疎度を達成できる訓練不要なアクティベーション・スパシティ・アプローチである。 10種類のタスクにわたるLlama-2/3およびMistralモデルの実験は、R-Sparseが50%のモデルレベルの間隔で同等のパフォーマンスを達成することを示した。
  論文  参考訳（メタデータ） (2025-04-28T03:30:32Z)
• Sparsity Forcing: Reinforcing Token Sparsity of MLLMs [40.93786579652003]
  マルチモーダル大規模言語モデル(MLLM)におけるトークンの分散性を,単純なRLベースのポストトレーニングフレームワークであるtextitSparsity Forcing を用いて明示的に強化する。 本手法では,複数ロールアウトを異なるトークン予算で実行し,効率(トーケン還元率)と性能(回答正当性)の両方を共同報酬として定式化することにより,効率・正確性トレードオフを探索する。
  論文  参考訳（メタデータ） (2025-04-23T01:45:55Z)
• Towards Continual Learning Desiderata via HSIC-Bottleneck Orthogonalization and Equiangular Embedding [55.107555305760954]
  本稿では,レイヤワイドパラメータのオーバーライトや決定境界の歪みに起因する,概念的にシンプルで効果的な手法を提案する。 提案手法は,ゼロの指数バッファと1.02倍の差が絶対的に優れていても,競争精度が向上する。
  論文  参考訳（メタデータ） (2024-01-17T09:01:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。