論文の概要: AutoCompress: Automated Hardware-Guided Model Compression

• arxiv url: http://arxiv.org/abs/2611.08290v1
• Date: Thu, 05 Nov 2026 16:53:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-07 04:55:13.586883
• Title: AutoCompress: Automated Hardware-Guided Model Compression
• Title（参考訳）: AutoCompress: 自動ハードウェアガイドモデル圧縮
• Abstract要約: LLMプルーニングは、レイテンシ、スループット、メモリに関するハードウェアおよびワークロード固有の制約を満たしながら品質を保たなければならない。 本稿では,ハードウェア誘導型圧縮フレームワークであるAutoCompressを紹介する。 我々はAutoCompressを長時間のローカルコーディング、バッチ化されたデータセンターサービス、遅延に敏感なゲーム内インタラクションで評価する。
• 参考スコア（独自算出の注目度）: 14.640713687148802
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLM pruning must preserve quality while meeting hardware- and workload-specific constraints on latency, throughput, and memory. Existing pruning workflows often target parameter counts, requiring practitioners to manually select model sizes that meet latency, throughput, and GPU memory limits. However, parameter count alone does not predict these metrics, which depend on the model architecture, workload, hardware, and serving engine. We introduce AutoCompress, a hardware-guided compression framework that directly incorporates such constraints into differentiable architecture search. AutoCompress jointly optimizes global and per-layer structure to produce heterogeneous architectures, guided by serving-engine cost models validated against end-to-end latency, throughput, and memory measurements. We evaluate AutoCompress on long-context local coding, batched datacenter serving, and latency-sensitive in-game interaction. Compared to the state-of-the-art Minitron pruning framework, AutoCompress improves average accuracy across eight benchmarks by 6.57, 2.35, and 0.57 percentage points on RTX 5070, RTX 5080, and H100, respectively. AutoCompress also compresses Nemotron 3.5 Super from 120B to 74B parameters for single-B200 BF16 serving at 128K context, retaining 95% of its mean benchmark score.
• Abstract（参考訳）: LLMプルーニングは、レイテンシ、スループット、メモリに関するハードウェアおよびワークロード固有の制約を満たしながら品質を保たなければならない。 既存のプルーニングワークフローは、しばしばパラメータ数をターゲットにしており、レイテンシ、スループット、GPUメモリ制限を満たすモデルサイズを手動で選択する必要がある。 しかし、パラメータカウントだけでは、モデルアーキテクチャ、ワークロード、ハードウェア、サービスエンジンに依存するこれらのメトリクスを予測しません。 本稿では,ハードウェア誘導型圧縮フレームワークであるAutoCompressを紹介する。 AutoCompressはグローバルおよび層間構造を共同で最適化し、エンドツーエンドのレイテンシ、スループット、メモリ測定に対して検証されたサービスエンジンコストモデルによってガイドされる異種アーキテクチャを生成する。 我々はAutoCompressを長時間のローカルコーディング、バッチ化されたデータセンターサービス、遅延に敏感なゲーム内インタラクションで評価する。 最先端のMinitronプルーニングフレームワークと比較して、AutoCompressはRTX 5070、RTX 5080、H100の8つのベンチマークの平均精度をそれぞれ6.57、2.35、0.57ポイント改善している。 AutoCompressはまた、Nemotron 3.5 Superを120Bから74Bパラメータに圧縮し、128Kコンテキストで機能し、平均ベンチマークスコアの95%を保持する。

関連論文リスト

• From Production Traffic to Post-Training: Building a Self-Hosted LLM That Covers the Corporate Request Mix [55.08143827481755]
  200以上の内部アプリケーションから1つのモデルにトラフィックを集約します。 我々は、各軸ごとに別々のGRPOエキスパートを訓練し、2段階のSLERPを介してそれらをマージする。 このモデルは、プラットフォームトラフィックの50%、月1億6600万リクエストをサービスコストのごく一部で吸収する。
  論文  参考訳（メタデータ） (2026-09-01T17:39:26Z)
• Pipeline-Native Transformers: Co-Designing Model Architecture and CPU Inference for Bandwidth-Efficient Autoregressive Decode [0.0]
  CPU上のシングルトークンの自己回帰デコードは、演算ではなくメモリ帯域幅によって拘束される。 このレポートは、最も効果的な反応はモデルアーキテクチャと推論を一緒に設計することであると主張している。 CPUファーストのストリーミングエンジンであるcflowと、パイプラインネイティブなトランスフォーマーアーキテクチャのファミリが同梱されている。
  論文  参考訳（メタデータ） (2026-08-24T21:28:05Z)
• Benchmarking Composable Compression Techniques in Mixture-of-Experts LLMs [50.677556944160216]
  MoEXBenchは、構成可能なMoE圧縮をエンドツーエンドのデプロイメントワークフローとして評価するための体系的なベンチマークである。 コンポーザブル圧縮品質、ワークロードとアーキテクチャ、プルーニング/量子化/KVキャッシュ感度、コモディティハードウェアへのデプロイメント効率を測定する。
  論文  参考訳（メタデータ） (2026-08-22T00:01:18Z)
• Planning-aligned Token Compression for Long-Context Autonomous Driving [95.59023657139208]
  条件付きVQ-VA上に構築した計画整合型ワーキングメモリフレームワークを提案する。 圧縮は歴史的軌跡と学習した計画意図の両方で条件付けられている。 歴史的文脈が行動の正確性に最も重要となる高信号動的シナリオについて評価する。
  論文  参考訳（メタデータ） (2026-06-05T17:16:21Z)
• MEMTIER: Tiered Memory Architecture and Retrieval Bottleneck Analysis for Long-Running Autonomous AI Agents [6.8552591401084015]
  提案するMEMTIERは,OpenClawエージェントのための三部構成メモリアーキテクチャである。 完全なLongMemEval-Sベンチマークでは、MEMTIERは6GBのGPU上でQwen2.5-7BでAcc.382, F1=.412を達成する。 DeepSeek-V4-Flashでは、シングルセッションリコールは0.686-0.714に達し、これらのカテゴリのRAG GPT-4oを上回っている。
  論文  参考訳（メタデータ） (2026-05-05T12:14:10Z)
• Pushing the Limits of On-Device Streaming ASR: A Compact, High-Accuracy English Model for Low-Latency Inference [5.685908474026849]
  エッジデバイス上での高品質な自動音声認識(ASR)は、GPUアクセラレーションなしでCPUで完全に動作している間に、精度、レイテンシ、メモリフットプリントを共同で最適化するモデルを必要とする。 我々は,エンコーダデコーダ,トランスデューサ,LDMベースのパラダイムを包含し,バッチ,チャンク,ストリーミング推論モードで評価する,最先端のASRアーキテクチャの体系的研究を行った。 推奨構成であるint4 k-quant変種は、8つの標準ベンチマークで平均8.20%のストリーミングWERを実現し、0.56秒のアルゴリズムレイテンシでCPU上でのリアルタイムよりも快適に動作します。
  論文  参考訳（メタデータ） (2026-04-16T00:04:32Z)
• MARLIN: Mixed-Precision Auto-Regressive Parallel Inference on Large Language Models [58.3342517278868]
  本稿では,Mixed-precision AutoRegressive LINearカーネルの設計について述べる。 バッチサイズは16-32までサポートでき、量子化のスピードアップが最大 (4times$) になる。 MarLINは非同期メモリアクセス、複雑なタスクスケジューリング、パイプライン化といったテクニックを組み合わせてこれを実現している。
  論文  参考訳（メタデータ） (2024-08-21T16:10:41Z)
• QMoE: Practical Sub-1-Bit Compression of Trillion-Parameter Models [64.34635279436054]
  Mixture-of-Experts (MoE)アーキテクチャは、スパースルーティングによる大規模言語モデル(LLM)の高推論コストに対する一般的な解決策を提供する。 本稿では,QMoEと呼ばれる新しい圧縮実行フレームワークの形で,このメモリ問題に対する解決策を提案する。
  論文  参考訳（メタデータ） (2023-10-25T17:24:53Z)
• AutoFIS: Automatic Feature Interaction Selection in Factorization Models for Click-Through Rate Prediction [75.16836697734995]
  自動特徴相互作用選択(AutoFIS)と呼ばれる2段階のアルゴリズムを提案する。 AutoFISは、目標モデルを収束させるためにトレーニングするのと同等の計算コストで、因子化モデルに対する重要な特徴的相互作用を自動的に識別することができる。 AutoFISはHuawei App Storeレコメンデーションサービスのトレーニングプラットフォームにデプロイされている。
  論文  参考訳（メタデータ） (2020-03-25T06:53:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。