論文の概要: Diagnose Before You Compress: Prediction-Independent Bottleneck Witness Refinement for LLM Serving Traces

• arxiv url: http://arxiv.org/abs/2608.00423v1
• Date: Sat, 01 Aug 2026 03:43:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-06 14:55:29.716757
• Title: Diagnose Before You Compress: Prediction-Independent Bottleneck Witness Refinement for LLM Serving Traces
• Title（参考訳）: 圧縮前の診断: LLMサービングトレースの予測非依存型ボツネック・ウィットネス・リファインメント
• Abstract要約: 既存のトレース削減方法は、主にワークロードの分散や代表的要求を保存する。 本稿では,コンパクトで診断に信頼性の高いLLMリプレイ用フレームワークであるBottleneck-Preserving Witnessing (BPW)を提案する。 BurstGPT、ServeGen、Mooncakeの実験では、BPWが検証されたゲートにコンパクトなワークロードセットで到達し、16のポリシーを上回っている。
• 参考スコア（独自算出の注目度）: 7.708772481142802
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Production LLM serving generates millions of diverse requests, making full-trace replay across serving configurations increasingly expensive. Existing trace reduction methods mainly preserve workload distributions or representative requests, but bottleneck-revealing workloads may be rare and non-representative. Moreover, evidence for one component cannot compensate for missing evidence in another, while using predicted bottlenecks as target truth creates circular evaluation. These limitations make it necessary to preserve evidence for every bottleneck component rather than rely on workload representativeness alone. We propose Bottleneck-Preserving Witnessing (BPW), a quality-constrained framework for compact and diagnostically reliable LLM serving replay suites. BPW first performs Workload Candidate Nomination using response-blind workload features and closed source-side measurements. This stage identifies workloads that may expose scheduler, prefill, decode, or KV-cache bottlenecks. Coverage-Priority Sequence Construction then organizes multi-component proposals as reusable hyperedges and prioritizes weak and uncovered dimensions. Finally, Bottleneck Truth Verification derives prediction-independent labels solely from direct target-system measurements. The verified results determine the earliest prefix satisfying the direct two-witness requirement for every component. Experiments on BurstGPT, ServeGen, and Mooncake show that BPW reaches the verified gate with a compact workload set and outperforms 16 policies, achieving relative improvements of 2.3% and 16.3% in Mean prefix Macro-F1 and WBRC-AUC, respectively. Stage-resolved and sensitivity analyses confirm the distinct contributions and local stability of its three stages. Our code is publicly available at https://github.com/llmllmllm/BPW
• Abstract（参考訳）: プロダクションLLMは数百万の多様なリクエストを生成し、サービス構成をまたいだフルトレースのリプレイがますます高価になる。 既存のトレースリダクション手法は主にワークロードの分散や代表的要求を保存するが、ボトルネック対応のワークロードはまれで非表現的である。 さらに、あるコンポーネントのエビデンスは、他のコンポーネントに欠けているエビデンスを補うことはできない。 これらの制限は、ワークロードの代表性のみに依存するのではなく、すべてのボトルネックコンポーネントのエビデンスを保存する必要がある。 本稿では,コンパクトで診断に信頼性の高いLLMリプレイ用フレームワークであるBottleneck-Preserving Witnessing (BPW)を提案する。 BPWはまず、応答盲のワークロード機能とクローズドソース側の測定を使用して、ワークロード候補の命名を実行する。 このステージでは、スケジューラ、プリフィル、デコード、KV-cacheボトルネックを公開するワークロードを特定します。 Coverage-Priority Sequence Constructionは、複数のコンポーネントの提案を再利用可能なハイパーエッジとして整理し、弱点と未発見次元を優先順位付けする。 最後に、Bottleneck Truth Verificationは、直接的標的系測定のみから予測非依存ラベルを導出する。 検証結果は、各コンポーネントの直接2ビット要件を満たす最初期のプレフィックスを決定する。 BurstGPT(英語版)、ServeGen(英語版)、Mooncake(英語版)の実験ではBPWが検証ゲートに到達し、コンパクトなワークロードセットで16のポリシーを上回り、平均接頭辞Macro-F1とWBRC-AUCでそれぞれ2.3%と16.3%の改善を達成した。 ステージ分解および感度分析により,3段階の異なる寄与と局所安定性が確認された。 私たちのコードはhttps://github.com/llmllmllm/BPWで公開されています。

関連論文リスト

• When and Why LLM Causal Priors Help: Closed-Loop Prior Selection for Amortized Causal Inference [0.0]
  因果効果の推定は、介入、医学、経済学、公共政策の下で結果がどのように変化するかを問う。 大規模言語モデル (LLMs) は、与えられたドメインに対して「妥当な因果グラフ」を描画できるようになった。 本稿では,プレインジェクションを候補事前プールに対する予算制約付き最適化として活用する,閉ループ事前選択フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-09-07T02:24:11Z)
• Revisiting Lossy Verification in Speculative Decoding: Mechanisms, Trade-offs, and Failure Modes [19.68865985432786]
  本稿では,損失検証法によって誘導される分布の原理的解析について述べる。 一見異なる多くのアプローチが表面的にのみ異なることを示し、トラルニケーションに基づく検証と協調的な検証の2つのカテゴリに分類できる。
  論文  参考訳（メタデータ） (2026-07-29T08:54:27Z)
• LLM-as-a-Verifier: A General-Purpose Verification Framework [74.40111651545979]
  本稿では,汎用検証フレームワーク LLM-as-a-Verifier を紹介する。 追加のトレーニングを必要とせずに、エージェントタスクに対してきめ細かいフィードバックを提供する。 いくつかのベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-07-06T17:59:35Z)
• DISA: Offline Importance Sampling for Distribution-Matching LLM-RL [56.9445657766829]
  本稿では、このキャリブレーション問題をRLループの外に移動させるdisAを紹介する。 DISAは提案トラジェクトリをオフラインに描画し、重要サンプリングによってパーティション関数を推定し、結果として発生するパーティション関数の推定を凍結する。 6つの数学と3つのコードベンチマークにまたがる2つのオープンウェイトなバックボーンでは、DisdisAはオンラインに結合した分散マッチングベースラインフローにマッチするか、超えている。
  論文  参考訳（メタデータ） (2026-05-17T07:14:44Z)
• LiveFMBench: Unveiling the Power and Limits of Agentic Workflows in Specification Generation [75.05397479715576]
  大規模言語モデル(LLM)とエージェントは有望な進歩を示しているが、その真の能力と失敗モードは未だ不明である。 CプログラムのためのLCMおよびエージェントベースの形式仕様生成に関する、最初の体系的および汚染に配慮した研究を提案する。
  論文  参考訳（メタデータ） (2026-05-02T11:31:33Z)
• When Benchmarks Lie: Evaluating Malicious Prompt Classifiers Under True Distribution Shift [0.0]
  有害なリクエスト、ジェイルブレイク、間接的なプロンプトインジェクション、抽出攻撃にまたがる18のデータセットのベンチマークを用いて、包括的な分析を行う。 我々は,真のアウト・オブ・ディストリビューションの一般化を評価するために,LODO(Leave-One-Dataset-Out)評価を提案する。
  論文  参考訳（メタデータ） (2026-02-15T14:21:43Z)
• TriSpec: Ternary Speculative Decoding via Lightweight Proxy Verification [63.65902785448346]
  投機的復号化は、その軽量なドラフトと並列検証機構を通じて、大幅なスピードアップを提供する。 計算コストを大幅に削減する軽量なプロキシを新たに導入した3次SDフレームワークであるTriSpecを提案する。 Qwen3およびDeepSeek-R1-Distill-Qwen/LLaMAファミリーの実験は、TriSpecが標準SDよりも最大35%のスピードアップを達成したことを示している。
  論文  参考訳（メタデータ） (2026-01-30T17:04:18Z)
• The 4/$δ$ Bound: Designing Predictable LLM-Verifier Systems for Formal Method Guarantee [5.345468714252351]
  この研究は LLM-Verifier Convergence Theorem の開発によってギャップを埋める。 LLMと検証器の相互作用を離散時間マルコフ連鎖としてモデル化する。 われわれはこの予測を90,000件以上の治験を含む広範囲な実証キャンペーンでストレステストした。
  論文  参考訳（メタデータ） (2025-11-30T22:19:09Z)
• Unsupervised Conformal Inference: Bootstrapping and Alignment to Control LLM Uncertainty [49.19257648205146]
  生成のための教師なし共形推論フレームワークを提案する。 我々のゲートは、分断されたUPPよりも厳密で安定した閾値を提供する。 その結果は、ラベルのない、API互換の、テスト時間フィルタリングのゲートになる。
  論文  参考訳（メタデータ） (2025-09-26T23:40:47Z)
• A Fano-Style Accuracy Upper Bound for LLM Single-Pass Reasoning in Multi-Hop QA [65.38186593873313]
  MHQA(Multi-Hop Question Answering)は、ノイズ下でのシーケンシャルな推論を通じて、分散した相互依存的な証拠を統合する必要がある。 我々はMHQAのための概念実証マルチコールフレームワークをInfoQAで紹介する。 我々は、理論とフレームワークを検証するために、厳密で騒音に富んだベンチマークを構築した。
  論文  参考訳（メタデータ） (2025-09-25T14:11:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。