論文の概要: Task-Aware Spectral Pruning: A Mixture-of-Masks Framework for Efficient LLM Inference
- arxiv url: http://arxiv.org/abs/2609.29499v1
- Date: Mon, 24 Aug 2026 14:24:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 05:09:56.048023
- Title: Task-Aware Spectral Pruning: A Mixture-of-Masks Framework for Efficient LLM Inference
- Title（参考訳）: Task-Aware Spectral Pruning: 効率的なLCM推論のためのMixture-of-Masksフレームワーク
- Abstract要約: 静的プルーニングは全てのプロンプトに1つのスパース構造を課す。
Task-Aware Spectral Pruning (TASP)は、測定されたタスク固有のアブレーション効果に対してモジュールレベルのスペクトル記述子を校正する。
- 参考スコア（独自算出の注目度）: 6.324418485299426
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Static pruning imposes one sparse structure on every prompt, even though reasoning, retrieval, generation, coding, and translation can depend on different parts of a language model. We introduce Task-Aware Spectral Pruning (TASP), a post-training framework that calibrates module-level spectral descriptors against measured task-specific ablation effects, closes grouped-query-attention and SwiGLU dependencies during sparse-mask construction, and routes each user turn to one compiled mask that remains fixed throughout prefill and decoding. A module-disjoint pilot first determines whether the spectral signal is informative before full calibration. Under the stated retrospective operating rule, the pilot passes on the evaluated Llama-3-8B and Llama-3-70B checkpoints but rejects Qwen2.5-1.5B, demonstrating that applicability is model-dependent rather than universal. At a 43% active-FLOP reduction, the Llama-3-70B benchmark harness retains 97.7 +/- 0.2% of the dense BF16 score. In the deployment-matched INT8-weight/BF16-compute runtime on a single A100 80GB, the compiled sparse path retains 97.3 +/- 0.2% relative to dense BF16 and reduces decode latency from 45.2 +/- 0.4 to 31.3 +/- 0.4 ms/token, yielding a 1.44x speedup. Factorized ablations, disjoint-module tests, compiled structured baselines, routing-corruption studies, and an explicit 136-GPU-hour calibration audit further delimit the source and operating regime of these gains
- Abstract（参考訳）: 静的プルーニングは、推論、検索、生成、コーディング、翻訳が言語モデルの異なる部分に依存するとしても、すべてのプロンプトに1つのスパース構造を課す。
タスク・アウェア・スペクトラル・プルーニング(TASP)は、モジュールレベルのスペクトル記述子を測定されたタスク固有のアブレーション効果に対して校正し、スパース・マスク構築中にグループ化されたクエリアテンションとSwiGLU依存性をクローズし、各ユーザがプリフィルとデコードを通じて固定された1つのマスクにルーティングする。
モジュール非接続のパイロットは、全校正前にスペクトル信号が情報であるかどうかを判定する。
提案された振り返り動作規則では、パイロットは評価されたLlama-3-8BとLlama-3-70Bのチェックポイントをパスするが、Qwen2.5-1.5Bを拒絶し、適用性は普遍的ではなくモデルに依存していることを示した。
43%のアクティブFLOPで、Llama-3-70Bベンチマークハーネスは密度の高いBF16スコアの97.7+/-0.2%を維持している。
単一の A100 80GB 上の INT8-weight/BF16-compute ランタイムでは、コンパイルされたスパースパスは、密度の高い BF16 に対して 97.3 +/- 0.2% を保ち、デコード遅延を 45.2 +/- 0.4 から 31.3 +/- 0.4 ms/token に減少させる。
因子的アブレーション、解離モジュールテスト、コンパイルされた構造的ベースライン、ルーティング破壊研究、および明示的な136-GPU-hourキャリブレーション監査により、これらの利得の源泉と運用体制は、さらに緩和される。
関連論文リスト
- Long-Range Indirect Control-Flow Prediction in Stripped Binaries via Dual Virtual Hubs and Multi-Task Graph Learning [44.79384874347874]
本稿では,長い範囲のIDF予測を行う統合フレームワークICFlowNetを提案する。
ICFlowNetは、候補を意識したDual Virtual Hubs、Global Code Hub、Global Data Hubを導入している。
また,パッケージレベルの分割,関数レベルのmnemonic-hash重複,クリーンなテストプロトコルを備えた,リーク対応のノイズ制御パイプラインを開発した。
論文 参考訳（メタデータ） (2026-09-03T02:17:23Z) - From Production Traffic to Post-Training: Building a Self-Hosted LLM That Covers the Corporate Request Mix [55.08143827481755]
200以上の内部アプリケーションから1つのモデルにトラフィックを集約します。
我々は、各軸ごとに別々のGRPOエキスパートを訓練し、2段階のSLERPを介してそれらをマージする。
このモデルは、プラットフォームトラフィックの50%、月1億6600万リクエストをサービスコストのごく一部で吸収する。
論文 参考訳（メタデータ） (2026-09-01T17:39:26Z) - LLMVisor: A Real-Time Latency Attribution Model for Multi-Tenant LLM Serving [12.697860184583483]
共バッチはスループットを向上するが、テナント単位の使用量やコントロール制限は曖昧になる。
本稿では、メモリバウンドおよび計算バウンドフェーズをキャプチャするルーフライン誘導遅延モデルであるLLMVisorを提案する。
トークンカウントベースラインと比較して、LLMVisorは、ほぼ完全なR-二乗を実現し、相対誤差を最大2.5倍まで削減する。
論文 参考訳（メタデータ） (2026-08-09T00:28:05Z) - Constrained Decoding for Diffusion Language Models via Efficient Inference over Finite Automata [57.27430779838529]
有限オートマトンとして表現可能な任意の制約の下で,制約付き平均場後部からサンプリングする,正確かつトラクタブルなアルゴリズムを提案する。
このアプローチは、構築による制約満足度を保証し、欲求とサンプリングベースのデコーディングの両方をサポートし、並列およびブロックワイドデコーディングと互換性がある。
Dream-7B と LLaDA-8 の実証的な評価は、様々なタスクにおいてかなりの精度の向上を示した。
論文 参考訳（メタデータ） (2026-07-08T05:48:57Z) - Think Before You Grid-Search: Floor-First Triage for LLM Serving [0.0]
LLMサービス最適化は通常、多くの設定をベンチマークし、遅延ターゲットが欠落しているときに重いプロファイラに到達する。
我々は逆の規律を主張する: 推定はプロファイリングの分析的な層である。
論文 参考訳（メタデータ） (2026-07-07T06:11:54Z) - UTOPYA: A Multimodal Deep Learning Framework for Physics-Informed Anomaly Detection and Time-Series Prediction [42.532335022354545]
バッチプロセスにおける異常検出は、過渡的ダイナミクス、欠陥ラベルの不足、単一モードセンサデータへの依存によって妨げられる。
本研究は, バッチ蒸留における異常検出, 時系列予測, 位相分類を共同で扱うマルチモーダルフレームワークUTOPYAを紹介する。
本研究で導入された物理インフォームド正規化スキームは、時間的滑らかさと熱力学的モノトニクスを強制する。
論文 参考訳（メタデータ） (2026-05-18T10:28:15Z) - Brain-inspired spike-timing plasticity for reliable label-efficient event-camera vision [0.3823356975862005]
ローカルスパイクタイピング依存可塑性(STDP)モジュールは、GPUをサポートせずに単一のCPUスレッドで動作する。
密度勾配訓練検出器は, 勾配訓練, 密度行列乗算, 局所可塑性自由運転を建設によって組み合わせることができない。
論文 参考訳（メタデータ） (2026-05-17T22:56:16Z) - Beyond Completion: Probing Cumulative State Tracking to Predict LLM Agent Performance [9.771590610969918]
WMF-AM(Working Memory Fidelity-Active Manipulation)を紹介する。
その結果,20種類のオープンウェイトモデル (0.5B-35B, 13ファミリー) で10タスク・エージェント・バッテリを発売した。
論文 参考訳（メタデータ） (2026-03-28T17:25:11Z) - Resource-Efficient Iterative LLM-Based NAS with Feedback Memory [49.44875022114861]
ニューラルアーキテクチャサーチ(NAS)はネットワーク設計を自動化するが、従来の手法ではかなりの計算資源を必要とする。
本稿では,大規模言語モデル(LLM)を活用して,畳み込みニューラルネットワークアーキテクチャを反復的に生成し,評価し,洗練するクローズドループパイプラインを提案する。
論文 参考訳（メタデータ） (2026-03-12T16:00:22Z) - Unsupervised Conformal Inference: Bootstrapping and Alignment to Control LLM Uncertainty [49.19257648205146]
生成のための教師なし共形推論フレームワークを提案する。
我々のゲートは、分断されたUPPよりも厳密で安定した閾値を提供する。
その結果は、ラベルのない、API互換の、テスト時間フィルタリングのゲートになる。
論文 参考訳（メタデータ） (2025-09-26T23:40:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。