論文の概要: The Inference Engineering Pareto Atlas: Which Optimizations Dominate the Cost, Quality, and Latency Frontier?

• arxiv url: http://arxiv.org/abs/2609.17863v1
• Date: Tue, 15 Sep 2026 21:44:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:53.549924
• Title: The Inference Engineering Pareto Atlas: Which Optimizations Dominate the Cost, Quality, and Latency Frontier?
• Title（参考訳）: 推論エンジニアリングのPareto Atlas:どの最適化がコスト、品質、レイテンシフロンティアを支配しているか?
• Abstract要約: 我々は、L4、A100、H100 GPUにわたるvLLM 0.12上で動作するQwen2.5-7B-Instructの54構成を測定し、これらのアンカーを用いてシミュレータを校正する。 異なる品質評価テスト FP16, AWQ 4bit, FP8 重み, FP8 KV キャッシュは 200 GSM8K の質問に対して,プロンプト毎に 5 つの例がある。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLM inference optimizations report speedups on different models, GPUs, prompts, and quality metrics, making them hard to compare or combine. We build a cost, quality, and latency Pareto atlas to identify the best configurations for different deployment constraints. Since exhaustive testing is impractical, we measure 54 configurations of Qwen2.5-7B-Instruct running on vLLM 0.12 across L4, A100, and H100 GPUs and use these anchors to calibrate a simulator. It reproduces measurements at anchored batch sizes, with cross campaign drift below 1.5 percent. A separate quality evaluation tests FP16, AWQ 4bit, FP8 weights, and FP8 KV cache on 200 GSM8K questions with five examples per prompt. Sparse attention is evaluated only in simulation. On the calibrated grid, 18 of 36 configurations reach the Pareto frontier. Combined methods reach it more often than individual methods, with 9 of 15 combinations versus 9 of 21 single methods. Quality testing changes the winners. AWQ 4bit reduces per token latency to 0.34 times baseline on L4 but loses 5.9 percent of strict GSM8K accuracy, narrowly missing the 95 percent quality floor within sampling uncertainty. Flexible answer extraction matches FP16 accuracy, suggesting the loss comes from formatting rather than arithmetic. FP8 weights retain 99.4 percent of baseline accuracy at 0.61 to 0.65 times baseline latency across all three GPUs and appear in three of four regime winners. A naive FP8 KV cache maintains normal throughput but answers none of the 200 questions correctly, showing why speed alone is insufficient. Under two prompt designs, n gram speculative decoding measures at 0.90 to 0.98 times baseline and adds no benefit on this stack. The best choice depends on the constraint and GPU: H100 wins for tight latency, while A100 wins for throughput and low cost at 0.106 dollars per million tokens.
• Abstract（参考訳）: LLM推論最適化は、異なるモデル、GPU、プロンプト、品質メトリクスのスピードアップを報告し、比較や組み合わせが困難になる。 コスト、品質、レイテンシの面でPareto atlasを構築し、異なるデプロイメント制約に対して最適な設定を特定します。 徹底的なテストは実用的ではないため、L4, A100, H100 GPUにわたるvLLM 0.12で動作するQwen2.5-7B-Instructの54構成を測定し、これらのアンカーを用いてシミュレータを校正する。 バッチサイズが固定された状態での計測を再現し、クロスキャンペーンのドリフトは1.5パーセント以下である。 異なる品質評価テスト FP16, AWQ 4bit, FP8 重み, FP8 KV キャッシュは 200 GSM8K の質問に対して,プロンプト毎に 5 つの例がある。 スパースアテンションはシミュレーションでのみ評価される。 キャリブレーションされたグリッドでは、36の配置のうち18がパレート・フロンティアに到達している。 結合されたメソッドは個々のメソッドよりも頻繁に到達し、15のコンビネーションのうち9つは21のメソッドの9である。 品質テストは勝者を変える。 AWQ 4bitはトークン毎のレイテンシをL4の0.34倍に削減するが、厳密なGSM8K精度の5.9%を失う。 フレキシブルな解抽出はFP16の精度と一致し、その損失は算術よりもフォーマッティングによるものであることを示唆している。 FP8の重みは、ベースライン精度の99.4%を0.61から0.65倍のレイテンシで保持し、4つのレギュラーの勝者のうち3つに表示される。 単純なFP8 KVキャッシュは通常のスループットを維持するが、200の質問のどれにも正しく答えず、なぜ速度だけで不十分なのかを示す。 2つの急進的な設計の下で、n グラムの投機的復号法は0.90倍から0.98倍のベースラインであり、このスタックに何の利益も与えない。 H100はタイトなレイテンシで勝ち、A100はスループットと低コストで0.106ドルのトークンで勝ちます。

関連論文リスト

• What Input Resolution Is Required for Bird Species Identification, and What Is Its Latency Cost on an Edge Device? A Study of 14 Input Resolutions and Six Architectures with On-Device Measurements [0.060917028769172786]
  風力発電所における鳥害の軽減には、数万ピクセルにしか及ばない遠方の鳥を識別する必要がある。 14側長さのN(16～224),6つのアーキテクチャ,2つのトレーニング・評価体制,30個のランダムシードを用いて検討した。
  論文  参考訳（メタデータ） (2026-09-13T02:52:42Z)
• Post-Training Ternarization of Qwen3-4B Capability, Effective Bit Budget, Storage Compression, and Deployment [0.0]
  ウルトラロービット言語モデルは、ストレージとメモリ帯域幅を削減できるが、名目上の"1.58ビット"ラベルは、格納された表現、保持機能、実行時の動作を完全に記述していない。 KOTMS回転,E2M-ATQ三元化,およびTWLAからのGPTQスタイルの誤り補償を用いた4B-パラメータモデルQwenの終端学習後変換について検討した。 有効ビット会計,タスク能力保持,複雑度,キャリブレーション感度,チェックポイント構成,デプロイメント動作を評価した。
  論文  参考訳（メタデータ） (2026-09-02T00:42:54Z)
• On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
  Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。 トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
  論文  参考訳（メタデータ） (2026-08-31T06:35:07Z)
• Q-RAIL: A Reliability-Aware Framework for Quantum Federated Learning on Heterogeneous Noisy Hardware [2.717526933594264]
  Q-RAIL(Quantum Reliability-Aware Federated Inference and Learning)は、ハードウェア・ヘテロジニアスQFLのための回路・キャリブレーション・アウェア・アウェア・アグリゲーション手法である。 Q-RAILはアブレーション研究を含む複数の実験条件で評価され、3つのデータセットの最先端手法に対してベンチマークされた。 その結果、不均一量子ハードウェア上でのロバストQFLへの実用的な経路として、キャリブレーション駆動の回路認識アグリゲーションがサポートされた。
  論文  参考訳（メタデータ） (2026-05-25T12:29:52Z)
• Uncertainty Makes It Stable: Curiosity-Driven Quantized Mixture-of-Experts [6.221156050218661]
  本稿では、資源制約のあるデバイス上でのディープニューラルネットワークのための好奇心駆動型量子化混合処理フレームワークを提案する。 われわれの4ビット量子化は、16ビットの精度(0.858対0.859 F1)の99.9%を維持し、4倍の圧縮と41%の省エネを実現している。 我々の情報理論的ルーティングは、適応量子化が精度(0.858 F1, 1.2M params)、エネルギー効率(3.87 F1/mJ)、予測可能なエッジモデルをもたらすことを示す。
  論文  参考訳（メタデータ） (2025-11-13T15:32:41Z)
• INT v.s. FP: A Comprehensive Study of Fine-Grained Low-bit Quantization Formats [51.72056104795248]
  NvidiaのBlackwellアーキテクチャのような現代のAIハードウェアは、低精度浮動小数点(FP)フォーマットをますます受け入れている。 本稿では,FPフォーマットと整数(INT)フォーマットのトレードオフを系統的に検討する。 FPは粗粒度量子化に優れるが、きめ細かい(ブロックワイド)レベルでの比較はよりニュアンスが高い。
  論文  参考訳（メタデータ） (2025-10-29T15:11:53Z)
• "Give Me BF16 or Give Me Death"? Accuracy-Performance Trade-Offs in LLM Quantization [67.3213104337679]
  量子化は大規模言語モデル(LLM)推論を高速化するための強力なツールであるが、異なるフォーマット間での精度と性能のトレードオフは依然として不明である。 FP8,INT8,INT4の量子化を学術ベンチマークや実世界のタスクで評価し,これまでで最も包括的な実証的研究を行った。
  論文  参考訳（メタデータ） (2024-11-04T18:21:59Z)
• HAWQV3: Dyadic Neural Network Quantization [73.11579145354801]
  現在の低精度量子化アルゴリズムは、浮動小数点から量子化された整数値への変換の隠れコストを持つことが多い。 HAWQV3は、新しい混合精度整数のみの量子化フレームワークである。
  論文  参考訳（メタデータ） (2020-11-20T23:51:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。