論文の概要: Reproducible LLM Inference Benchmarking: A Sequential Isolation Protocol for Regression Testing

• arxiv url: http://arxiv.org/abs/2610.09778v1
• Date: Wed, 07 Oct 2026 09:58:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.848281
• Title: Reproducible LLM Inference Benchmarking: A Sequential Isolation Protocol for Regression Testing
• Title（参考訳）: 再現可能なLCM推論ベンチマーク:回帰テストのための逐次分離プロトコル
• Abstract要約: 本稿では,作業負荷を意図的に変化させながら測定のばらつきを低減するために,制御されたベンチマークおよび回帰テストプロトコルを提案する。 NVIDIA A100 80GB上で,6つのコンテキストサイズと8つのGPUレベルの vLLM 0.9.1 を用いて,3つの代表的なオープンソース LLM の評価を行った。 このプロトコルは、制御されていないプロダクショントラフィックの下で絶対的な振る舞いを予測するのではなく、再現可能な比較と回帰テストのための安定した参照を提供することを目的としている。
• 参考スコア（独自算出の注目度）: 0.4517136393988457
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reproducible benchmarking of Large Language Model (LLM) inference is challenging because repeated measurements can vary with execution and system state. We present the Sequential Isolation Methodology, a controlled benchmarking and regression-testing protocol designed to reduce between-run measurement variance while deliberately varying workload concurrency. We evaluate three representative open-source LLMs on an NVIDIA A100 80GB GPU using vLLM 0.9.1 across six context sizes and eight concurrency levels, with five repetitions per configuration. The final protocol reduces average coefficient of variation (CV) from 15.2% in the least controlled methodology stage to 2.2% under the final protocol; using CV computed across the five repetition-level median (P50) TTFT values per configuration, 113 of 144 configurations (78.5%) achieve CV below 3%. The measurements also show a marked latency transition between 200 and 500 concurrent users on the tested stack and descriptive differences in P99 latency across the three models. We additionally provide an explicit cost break-even model with sensitivity to API pricing. The protocol is intended to provide a stable reference for reproducible comparison and regression testing rather than to predict absolute behavior under uncontrolled production traffic. Infrastructure-as-Code and benchmark scripts support replication of the experimental environment.
• Abstract（参考訳）: 大規模言語モデル(LLM)推論の再現可能なベンチマークは、繰り返し測定が実行時とシステム状態によって異なる可能性があるため、困難である。 本稿では,作業負荷の並列性を意図的に変化させながら,実行間測定のばらつきを低減するための,制御されたベンチマークおよび回帰テストプロトコルであるシークエンシャル・アイソレーション・方法論を提案する。 NVIDIA A100 80GB GPU上で,6つのコンテキストサイズと8つの並行処理レベルにまたがるvLLM 0.9.1を用いて,3つの代表的なオープンソースLCMを評価した。 最終プロトコルは、最小制御の方法論段階において平均変動係数(CV)を15.2%から2.2%に減らし、連続レベル中央値(P50)の5つのTTFT値で計算されたCVを用いて、144構成中113(78.5%)は、CVを3%以下に抑える。 また、テストスタック上の200から500人の同時ユーザ間の遅延遷移と、3つのモデル間でのP99レイテンシの説明上の違いが顕著に示されている。 また、APIの価格に敏感な、明示的なコスト削減モデルも提供します。 このプロトコルは、制御されていないプロダクショントラフィックの下で絶対的な振る舞いを予測するのではなく、再現可能な比較と回帰テストのための安定した参照を提供することを目的としている。 Infrastructure-as-Codeとベンチマークスクリプトは、実験環境のレプリケーションをサポートする。

関連論文リスト

• Towards Robust Time Series Learning via Capacity-Centric Modulation [76.23489485385964]
  本稿では,CCM(Capacity-Centric Modulation)を相補的,サンプル適応正規化原理として提案する。 SACM(Sample-Adaptive Capacity Modulation)は,スペクトル空間の分散を利用して,サンプルワイドドロップアウト確率を割り当てるタスク非依存のフレームワークである。 301個の実世界のデータセット-バックボーンペアのうち、SACMは平均でMSEの予測を6.7%削減し、分類精度を3.04%改善し、ポイント調整されたF1を17.05%改善した。
  論文  参考訳（メタデータ） (2026-09-30T10:51:23Z)
• TriCalRAG: A Three-Strategy, Retrieval-Augmented Benchmark for On-Premise LLM-Based Root Cause Analysis in AIOps [1.8136615181861766]
  クラウドホスト型大規模言語モデル(LLM)は、AIOpsパイプラインの根本原因分析(RCA)にますます使用されている。 データプライバシのリスク、ネットワークレイテンシ、および運用ログボリュームの低いクエリ単位のコストを導入している。 我々は,従来のLSTMを用いたログ異常検出器に対して,vLLMを介して局所的に提供されるオープンウェイトの評価ベンチマークであるRAGを提示する。
  論文  参考訳（メタデータ） (2026-09-13T19:52:46Z)
• Comparing SGLD and a fixed-noise Predictor-Corrector adaptation in canonical Joint Energy-Based Models on CIFAR-10 [0.0]
  我々は、WideResNet-28-10上の標準合同エネルギーベースモデル(JEM)を、2つの独立したランで正規化レイヤなしで再現する。 我々は3つのプロトコルで固定ノイズPC適応(退化ノイズ予測器を決定論的ステップに置き換える)をテストする。 復元精度92.88%、バッファFID44.46(標準:92.9%、38.40)
  論文  参考訳（メタデータ） (2026-08-05T16:28:57Z)
• How Much Capacity Does EEG Denoising Need? Ultra-Compact Networks reveal Benchmark Saturation and Metric-Utility Gap [0.0]
  深層学習EEG(Deep Learning EEG Denoising Architectures)は、数万から数千万のパラメータに拡張されているが、実験変数としてモデルキャパシティを分離した以前の研究はない。 アーキテクチャ,損失,データ分割,トレーニングレシピの両ギャップに対処し,最小限の深さ分離可能な畳み込みU-Netで1.05Kから40.26Kパラメータまでのチャネル幅を網羅する。
  論文  参考訳（メタデータ） (2026-06-07T12:17:25Z)
• Evaluating Small Language Models for Front-Door Routing: A Harmonized Benchmark and Synthetic-Traffic Experiment [0.05586191108738562]
  小型言語モデル(SLM)は、サブ秒、ゼロマージナルコスト、セルフホストタスクの分類に十分な推論能力を持つ。 Study 1はPhi-3.5-mini、Qwen2.5-1.5B、Qwen-2.5-3Bを同一のAzure T4ハードウェア、サービススタック、量子化、固定60ケースコーパスで同期したオフラインベンチマークである。 研究2は、合成トラフィック下で事前登録された4本腕ランダム化実験であり、有効サンプルサイズは腕あたり60ケースである。
  論文  参考訳（メタデータ） (2026-03-26T15:57:46Z)
• Tiny Inference-Time Scaling with Latent Verifiers [56.696619768584675]
  Verifier on Hidden States (VHS) は、Diffusion Transformer (DiT) の中間的な隠れ表現で動作する。 VHSは、画素空間に復号することなくジェネレータ機能を解析することにより、候補毎の検証コストを削減できる。 VHSは同じ推論時予算でGenEvalを+2.7%改善する。
  論文  参考訳（メタデータ） (2026-03-23T19:00:02Z)
• ATTS: Asynchronous Test-Time Scaling via Conformal Prediction [112.54016379556073]
  大規模な言語モデル(LLM)は、テスト時のスケーリングの恩恵を受けるが、しばしば高い推論遅延によって妨げられる。 統計的に保証された適応スケーリングフレームワークであるATTS(Asynchronous Test-Time Scaling)を紹介する。 ATTSは、テストタイムのスケーリングにおいて最大56.7倍のスピードアップと4.14倍のスループット向上を実現している。
  論文  参考訳（メタデータ） (2025-09-18T16:55:09Z)
• Signal and Noise: A Framework for Reducing Uncertainty in Language Model Evaluation [103.66549325018741]
  現在のベンチマークの違いを示す2つの重要な指標を紹介します。 より優れた信号対雑音比を持つベンチマークは、小規模で意思決定を行う場合、より信頼性が高いことを示す。 結論は、新しいベンチマークを作成する人や、どの既存のベンチマークを使うかを選択する人は、高い信号と低いノイズを目標にすることを推奨する。
  論文  参考訳（メタデータ） (2025-08-18T17:56:04Z)
• Reducing Variance in Temporal-Difference Value Estimation via Ensemble of Deep Networks [109.59988683444986]
  MeanQは単純なアンサンブル法であり、ターゲット値をアンサンブル平均として推定する。 本稿では,Atari Learning Environmentベンチマークを用いた実験において,MeanQが顕著なサンプル効率を示すことを示す。
  論文  参考訳（メタデータ） (2022-09-16T01:47:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。