論文の概要: Sensitivity-Aware Thresholding and Token Routing for Activation Sparsification in Large Language Models
- arxiv url: http://arxiv.org/abs/2607.08991v1
- Date: Thu, 09 Jul 2026 23:40:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-13 14:47:12.75803
- Title: Sensitivity-Aware Thresholding and Token Routing for Activation Sparsification in Large Language Models
- Title（参考訳）: 大規模言語モデルにおけるアクティベーションスカラー化のための感性認識閾値とトークンルーティング
- Abstract要約: 大規模言語モデル(LLM)における効率的な推論は、モデルの品質を維持しながら、どこで計算を削減できるかを決定する必要がある。
本稿では,多層パーセプトロン(MLP)アクティベーションスペーシフィケーションとトークンレベルの条件付きルーティングを用いてこの問題について検討する。
- 参考スコア（独自算出の注目度）: 2.593510481959727
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Efficient inference in Large Language Models (LLMs) requires deciding where computation can be reduced while preserving model quality. We study this problem through multilayer perceptron (MLP) activation sparsification and token-level conditional routing. We first propose Sensitivity-Aware Thresholding for Sparsity (SATS), a threshold calibration method to choose layerwise gate thresholds using a local MLP output sensitivity proxy rather than calibrating thresholds directly from activation percentiles. While SATS retains the existing mechanism of sparsifying MLP activations by thresholding gate activations, it replaces percentile-based calibration with a sensitivity-aware selection rule. We then introduce a lightweight token routing framework that dynamically selects between a base path and a modified path on a per-token basis, rather than applying the modified computation uniformly to all tokens. We evaluate both methods on multiple recent open-weight LLMs. Our results show that SATS improves over the threshold-based sparsification baseline at matched actual sparsity and that token routing yields a more favorable quality-throughput trade-off than static activation modification baselines. Overall, our results suggest that improved threshold calibration and token routing can improve the quality-throughput trade-off in LLMs.
- Abstract（参考訳）: 大規模言語モデル(LLM)における効率的な推論は、モデルの品質を維持しながら、どこで計算を削減できるかを決定する必要がある。
本稿では,多層パーセプトロン(MLP)アクティベーションスペーシフィケーションとトークンレベルの条件付きルーティングを用いてこの問題について検討する。
本稿ではまず,アクティベーションパーセンタイルから直接閾値をキャリブレーションするのではなく,ローカルMLP出力感度プロキシを用いて階層ゲート閾値を選択するしきい値キャリブレーション法であるSparsity(SATS)について提案する。
SATSはゲートアクティベーションを閾値付けすることでMLPアクティベーションを分散させる既存のメカニズムを保っているが、パーセンタイルベースのキャリブレーションを感度を考慮した選択規則に置き換えている。
次に,すべてのトークンに対して一様に適用するのではなく,ベースパスと修正パスを動的に選択する軽量なトークンルーティングフレームワークを導入する。
近年のオープンウェイトLLMにおける両手法の評価を行った。
以上の結果から,SATSは閾値に基づくスペーシフィケーションベースラインよりも実際のスペーシリティに適合し,トークンルーティングが静的なアクティベーション修正ベースラインよりも良好な品質とスループットのトレードオフをもたらすことが示された。
その結果, しきい値校正とトークンルーティングの改善により, LLMの品質・スループットトレードオフが向上することが示唆された。
関連論文リスト
- JacQuant: STE-Free Quantization-Aware Training via Learned Jacobian Surrogates [9.03449876943648]
QAT(quantization-aware training)は広く展開されているが、通常はSTE(Straight-Through Estimator)に依存している。
これにより、ビン付近でトレーニングを行ない、実際の低精度モデルと弱く整合することが多い。
JacQuantは軽量な代理モデルのパラメータ変化に対する局所感度を学習するフレームワークである。
論文 参考訳（メタデータ） (2026-05-25T06:19:49Z) - ODAR: Principled Adaptive Routing for LLM Reasoning via Active Inference [60.958331943869126]
ODAR-Expertは、原則化されたリソース割り当てによる精度と効率のトレードオフを最適化する適応的なルーティングフレームワークである。
我々は、MATHの98.2%の精度、HumanityのLast Examの54.8%を含む、強く一貫した利得を示している。
論文 参考訳（メタデータ） (2026-02-27T05:22:01Z) - QTALE: Quantization-Robust Token-Adaptive Layer Execution for LLMs [0.0]
大規模言語モデル(LLM)は、かなりの計算資源とメモリ資源を必要とする。
トークン適応型実行と量子化をシームレスに統合する新しいフレームワークであるQTALEを提案する。
論文 参考訳（メタデータ） (2026-02-11T02:19:11Z) - LLMs can Compress LLMs: Adaptive Pruning by Agents [0.0]
ポストトレーニングプルーニングは、性能を保ちながら計算コストを削減するための有望なアプローチとして現れている。
我々はエージェント誘導プルーニングを導入し、ファンデーションモデルが適応プルーニングエージェントとして機能する。
我々はQ3モデル(4Bおよび8Bパラメータ)の約45%の間隔で評価を行い、構造化プルーニングベースラインよりも大幅に改善されたことを示す。
論文 参考訳（メタデータ） (2026-01-14T18:45:36Z) - Winning the Pruning Gamble: A Unified Approach to Joint Sample and Token Pruning for Efficient Supervised Fine-Tuning [71.30276778807068]
サンプルプルーニングとトークンプルーニングを戦略的に協調する統合フレームワークを提案する。
Q-Tuningは、トレーニングデータの12.5%しか使用せず、全データSFTベースラインに対する平均38%の改善を実現している。
論文 参考訳（メタデータ） (2025-09-28T13:27:38Z) - GrAInS: Gradient-based Attribution for Inference-Time Steering of LLMs and VLMs [56.93583799109029]
GrAInSは推論時ステアリングのアプローチで、言語のみのモデルと視覚言語の両方のモデルとタスクで動作する。
推論中、GrAInSはトークンレベルの属性信号によって誘導されるトランスフォーマー層で隠されたアクティベーションを隠蔽し、アクティベーションを正規化し、表現スケールを保存する。
微調整と既存のステアリングベースラインの両方を一貫して上回る。
論文 参考訳（メタデータ） (2025-07-24T02:34:13Z) - Token-Efficient RL for LLM Reasoning [0.02488650627593658]
本稿では,大規模言語モデル (LLM) において,厳密なメモリと計算限界下での推論に適した強化学習戦略を提案する。
ベースラインサブトラクションを用いた早期ポリシー勾配法に基づいて,出力トークンの小さな情報サブセット上で動作する批判のない手法を設計する。
提案手法は,SVAMPベンチマークの精度を46%から70%以上に向上し,マルチ桁乗算において高い性能を示した。
論文 参考訳（メタデータ） (2025-04-29T14:58:43Z) - R-Sparse: Rank-Aware Activation Sparsity for Efficient LLM Inference [77.47238561728459]
R-スパース(R-Sparse)は、高度なLCMにおいて高い疎度を達成できる訓練不要なアクティベーション・スパシティ・アプローチである。
10種類のタスクにわたるLlama-2/3およびMistralモデルの実験は、R-Sparseが50%のモデルレベルの間隔で同等のパフォーマンスを達成することを示した。
論文 参考訳（メタデータ） (2025-04-28T03:30:32Z) - Confident or Seek Stronger: Exploring Uncertainty-Based On-device LLM Routing From Benchmarking to Generalization [61.02719787737867]
大規模言語モデル(LLM)はますますエッジデバイスにデプロイされ、民主化されている。
1つの有望な解決策は不確実性に基づくSLMルーティングであり、SLM上での低信頼応答が発生すると、高い要求を強いLCMにオフロードする。
我々は1500以上の設定でSLMからLLMへの不確実性駆動型ルーティング戦略のベンチマークと一般化を包括的に調査する。
論文 参考訳（メタデータ） (2025-02-06T18:59:11Z) - Refining Salience-Aware Sparse Fine-Tuning Strategies for Language Models [14.68920095399595]
SPEFT(Sparsity-based PEFT)は、モデルの重み行列にトレーニング可能なスパース適応を導入する。
我々は、ゼロコストNASプロキシにインスパイアされたSPEFTのサリエンス指標を初めて体系的に評価した。
静的マスキング戦略と動的マスキング戦略を比較し、トレーニング前にゼロでないエントリを事前に決定する静的マスキングが、パフォーマンスを犠牲にすることなく効率を向上することを示した。
論文 参考訳（メタデータ） (2024-12-18T04:14:35Z) - Self-Evaluation Improves Selective Generation in Large Language Models [54.003992911447696]
オープンエンド生成タスクをトークンレベルの予測タスクに再構成する。
我々はLSMに答えを自己評価するように指示する。
自己評価に基づくスコアリング手法をベンチマークする。
論文 参考訳（メタデータ） (2023-12-14T19:09:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。