論文の概要: ACSeL: Adaptive Configuration Search for Hardware-Constrained LLM Inference
- arxiv url: http://arxiv.org/abs/2611.07570v1
- Date: Thu, 05 Nov 2026 07:19:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 21:50:50.580376
- Title: ACSeL: Adaptive Configuration Search for Hardware-Constrained LLM Inference
- Title（参考訳）: ACSeL:ハードウェア制約付きLLM推論のための適応型構成探索
- Abstract要約: 本稿では,高予測生成品質を実現しつつ,デプロイメント制約を満たすように予測される構成を識別するフレームワークであるACSeLを提案する。
効率的な品質推定を実現するために、候補モデルと参照モデルの次点分布のばらつきに基づいたプロキシであるRMQD(Relative Model Quality Degradation)を用いる。
ACSeLは(i)構成から直接RMQDを予測する軽量な品質サロゲート、(ii)少数のエンドツーエンドプロファイルを使用して演算子による遅延推定をキャリブレーションするFew-shot Median(FMC)、(iii)構造化検索アルゴリズムBandParetoを組み合わせる。
- 参考スコア（独自算出の注目度）: 22.94945303866081
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Serving large language models (LLMs) under tight memory and latency service-level objectives (SLOs), including on edge devices, requires jointly selecting the model size, batch size, quantization algorithm, and mixed-precision quantization recipes. Exhaustive search over this combinatorially large space is infeasible. Unlike data-center serving, which often prioritizes throughput or generation speed, resource-constrained deployments typically set memory and latency budgets as constraints and then seek the configuration with the highest generation quality among feasible ones. To this end, we propose ACSeL, a framework that identifies configurations predicted to satisfy deployment constraints while achieving high predicted generation quality. To enable efficient quality estimation, we use Relative Model Quality Degradation (RMQD), a proxy based on the divergence between the candidate and reference models' next-token distributions over a small calibration corpus. Across the evaluated model sizes and precisions, RMQD is inexpensive to evaluate and strongly correlated with downstream benchmark performance. ACSeL combines (i) a lightweight quality surrogate that predicts RMQD directly from a configuration; (ii) Few-shot Median Calibration (FMC), which calibrates operator-profile-based latency estimates using a small number of end-to-end profiles; and (iii) a structured search algorithm BandPareto for exploring layerwise mixed-precision configurations. Experiments on an NVIDIA RTX A6000 workstation and an NVIDIA Jetson Thor edge platform show that FMC substantially improves deployment feasibility, while BandPareto + FMC achieves the highest feasibility and the lowest RMQD gaps to the best measured configurations in the evaluation set.
- Abstract（参考訳）: エッジデバイスを含む、厳密なメモリと遅延サービスレベル目標(SLO)の下で大きな言語モデル(LLM)を実行するには、モデルサイズ、バッチサイズ、量子化アルゴリズム、混合精度の量子化レシピを共同で選択する必要がある。
この組合せ的に大きな空間を探索することは不可能である。
スループットや生成速度を優先するデータセンタサービスとは異なり、リソース制約のあるデプロイメントは通常、メモリとレイテンシの予算を制約として設定し、実行可能なものの中で最高の世代品質のコンフィギュレーションを求める。
そこで本研究では,高予測生成品質を実現しつつ,デプロイメント制約を満たすように予測される構成を識別するフレームワークであるACSeLを提案する。
効率的な品質推定を実現するために、候補モデルと参照モデルの次トーケン分布の小さな校正コーパス上のばらつきに基づくプロキシであるRMQD(Relative Model Quality Degradation)を用いる。
評価されたモデルサイズと精度全体にわたって、RMQDは、ダウンストリームベンチマークのパフォーマンスと強く相関し、評価するために安価である。
ACSeLが組み合わさる
i) 構成から直接RMQDを予測する軽量な品質サロゲート。
(ii)少数のエンドツーエンドプロファイルを用いて演算子による遅延推定を校正するFMC(Few-shot Median Calibration)
3)階層的な混合精度構成を探索する構造化検索アルゴリズムBandPareto。
NVIDIA RTX A6000ワークステーションとNVIDIA Jetson Thorエッジプラットフォームの実験では、FMCはデプロイメントの実現可能性を大幅に改善する一方、BandPareto + FMCは評価セットの最高の測定設定に対して、最高の実現可能性とRMQDギャップを達成している。
関連論文リスト
- Capability Scaling-Down Laws for LLM Compression [57.14348517864116]
我々は, LLM圧縮のスケールダウン法則を, 刈り込み, 定量化, 蒸留にまたがって検討した。
我々のフレームワークは、数学、コード生成、質問応答における能力損失を測定する。
我々は単純な予測関係を構築し、その精度、測定効率、および未知の構成やモデル状態への一般化を評価する。
論文 参考訳（メタデータ） (2026-10-01T20:35:12Z) - A Layer Importance Metric for Quantization Accounting for the Speed-Quality Trade-off in Autoregressive Models [0.0]
小型言語モデル(sLLM)は、メモリと計算予算に制限のあるデバイスにホストされている。
本稿では,情報保持(正規化SQNR係数で測る)とスループットゲインを組み合わせた複合メトリックを提案する。
論文 参考訳（メタデータ） (2026-08-27T10:23:01Z) - A KL Lens on Quantization: Fast, Forward-Only Sensitivity for Mixed-Precision SSM-Transformer Models [9.31160191200499]
エッジデバイス上の大規模言語モデル(LLM)は、計算とメモリの厳しい制約に直面している。
量子化誘起劣化に最も敏感なハイブリッドSSM-トランスフォーマーコンポーネントを同定するための,軽量でバックプロパゲーションフリーなサロゲート型感度分析フレームワークを提案する。
論文 参考訳（メタデータ） (2026-04-15T03:40:30Z) - MS-ISSM: Objective Quality Assessment of Point Clouds Using Multi-scale Implicit Structural Similarity [65.85858856481131]
点雲の非構造的で不規則な性質は、客観的品質評価(PCQA)に重大な課題をもたらす
マルチスケールインシシシット構造類似度測定(MS-ISSM)を提案する。
論文 参考訳（メタデータ） (2026-01-03T14:58:52Z) - Unsupervised Conformal Inference: Bootstrapping and Alignment to Control LLM Uncertainty [49.19257648205146]
生成のための教師なし共形推論フレームワークを提案する。
我々のゲートは、分断されたUPPよりも厳密で安定した閾値を提供する。
その結果は、ラベルのない、API互換の、テスト時間フィルタリングのゲートになる。
論文 参考訳（メタデータ） (2025-09-26T23:40:47Z) - QuantVSR: Low-Bit Post-Training Quantization for Real-World Video Super-Resolution [53.13952833016505]
実世界のビデオ超解像(VSR)のための低ビット量子化モデルを提案する。
キャリブレーションデータセットを用いて各レイヤの空間的および時間的複雑さを計測する。
我々はFPおよび低ビット分岐を改良し、同時最適化を実現する。
論文 参考訳（メタデータ） (2025-08-06T14:35:59Z) - MPQ-DMv2: Flexible Residual Mixed Precision Quantization for Low-Bit Diffusion Models with Temporal Distillation [74.34220141721231]
我々は,textbfMixed textbfPrecision textbfQuantizationフレームワークを改良したMPQ-DMv2を提案する。
論文 参考訳（メタデータ） (2025-07-06T08:16:50Z) - The Larger the Merrier? Efficient Large AI Model Inference in Wireless Edge Networks [56.37880529653111]
大規模計算モデル(LAIM)サービスの需要は、従来のクラウドベースの推論から、低レイテンシでプライバシ保護のアプリケーションのためのエッジベースの推論へのパラダイムシフトを推進している。
本稿では,事前学習したLAIMをデバイス上のサブモデルとサーバ上のサブモデルに分割して配置するLAIM推論方式について検討する。
論文 参考訳（メタデータ） (2025-05-14T08:18:55Z) - Mix-QSAM: Mixed-Precision Quantization of the Segment Anything Model [0.0]
Mix-QSAMはSegment Anything Model(SAM)のためのPTQフレームワークである。
モデル出力に対する各レイヤの寄与を定量化するために,Kulback-Leibler (KL) 偏差を用いて導出したレイヤ単位の重要度スコアを導入する。
また、隣接層間の依存関係を捉えるために、因果的相互情報に基づく新しい計量である層間相乗法を導入する。
論文 参考訳（メタデータ） (2025-05-08T00:08:31Z) - Towards A Flexible Accuracy-Oriented Deep Learning Module Inference Latency Prediction Framework for Adaptive Optimization Algorithms [0.49157446832511503]
本稿では,ディープラーニングモジュール推論遅延予測フレームワークを提案する。
DNNモジュールごとに複数のRMをトレーニングするために、カスタマイズ可能な入力パラメータのセットをホストする。
トレーニングされたRMのセットを自動的に選択し、全体的な予測精度が最高になる。
論文 参考訳（メタデータ） (2023-12-11T15:15:48Z) - Data Quality-aware Mixed-precision Quantization via Hybrid Reinforcement
Learning [22.31766292657812]
混合精度量子化は、実際のトレーニングの前に、主にモデルビット幅設定を事前に決定する。
DQMQと呼ばれる新しいデータ品質対応混合精度量子化フレームワークを提案し、異なるデータ品質に量子化ビット幅を動的に適応させる。
論文 参考訳（メタデータ） (2023-02-09T06:14:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。