論文の概要: Accelerating PayPal's Commerce Agent with Speculative Decoding: An Empirical Study on EAGLE3 with Fine-Tuned Nemotron Models

• arxiv url: http://arxiv.org/abs/2604.19767v1
• Date: Fri, 27 Mar 2026 03:23:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-04 02:32:14.059531
• Title: Accelerating PayPal's Commerce Agent with Speculative Decoding: An Empirical Study on EAGLE3 with Fine-Tuned Nemotron Models
• Title（参考訳）: PayPalのコマースエージェントを投機的デコードで高速化する - 微調整されたネモトロンモデルによるEAGLE3の実証研究
• Authors: Ally Qin, Jian Wan, Sarat Mudunuri, Srinivasan Manoharan,
• Abstract要約: 1つのH100上での投機的復号化は、2つのH100上でNIMを上回り、GPUコストの50%削減を可能にする。 Lambda3.1-nemotron-nano-8B-v1 微調整されたラマ3.1-nemotron-nano-8B-v1 モデルを搭載したLambda3.1-nemotron-nano-8B-v1。 Gamma=3スループットの改善と、追加のハードウェアコストで18～33%のレイテンシ削減を実現した。
• 参考スコア（独自算出の注目度）: 1.2633421050364024
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We evaluate speculative decoding with EAGLE3 as an inference-time optimization for PayPal's Commerce Agent, powered by a fine-tuned llama3.1-nemotron-nano-8B-v1 model. Building on prior work (NEMO-4-PAYPAL) that reduced latency and cost through domain-specific fine-tuning, we benchmark EAGLE3 via vLLM against NVIDIA NIM on identical 2xH100 hardware across 40 configurations spanning speculative token counts (gamma=3, gamma=5), concurrency levels (1-32), and sampling temperatures (0, 0.5). Key findings: (1) gamma=3 achieves 22-49% throughput improvement and 18-33% latency reduction at zero additional hardware cost; (2) acceptance rates remain stable at approximately 35.5% for gamma=3 across all conditions; (3) gamma=5 yields diminishing returns (approximately 25% acceptance rate); (4) LLM-as-Judge evaluation confirms fully preserved output quality; and (5) speculative decoding on a single H100 matches or exceeds NIM on two H100s, enabling 50% GPU cost reduction.
• Abstract（参考訳）: EAGLE3による投機的復号化をPayPalのコマースエージェントの推測時間最適化として評価し, 微調整したラーマ3.1-nemotron-nano-8B-v1モデルを用いた。 従来の作業(NEMO-4-PAYPAL)に基づいて、ドメイン固有の微調整によってレイテンシとコストを低減し、投機的トークン数(1-32)、サンプリング温度(0,0.5)にまたがる40の構成で、同一の2xH100ハードウェア上でNVIDIA NIMに対してEAGLE3をベンチマークした。 主な発見:(1)ガンマ=3は22～49%のスループット向上と18～33%のレイテンシ低下をゼロのハードウェアコストで達成し、(2)ガンマ=3は全ての条件で約35.5%安定し、(3)ガンマ=5はリターンの低下(約25%の受け入れ率)、(4)LLM-as-Judge評価は完全に保存された出力品質を確認し、(5)1つのH100での投機的復号化は2つのH100で一致し、50%のGPUコスト削減を可能にした。

関連論文リスト

• A Delta-Aware Orchestration Framework for Scalable Multi-Agent Edge Computing [0.0]
  Synergistic Collapseは、100以上のエージェントをスケーリングすることで、個々の最適化が防止できない超線形パフォーマンスの低下を引き起こす。 これまでの研究は、指数的行動空間成長、空間的隣接エージェント間の計算冗長性、タスクに依存しないハードウェアスケジューリングなど、それぞれの要因に対処してきた。 1) 中間層活性化を記憶し入力デルタのみを演算する微分ニューラルキャッシング、(2) エージェントを優先度階層に整理し、調整の複雑さを O(n2) から O(n log n) へ6%未満の最適で減少させる臨界ベースのアクションスペースプラニング、の3つに同時に対処するフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-04-22T02:54:35Z)
• WISV: Wireless-Informed Semantic Verification for Distributed Speculative Decoding in Device-Edge LLM Inference [56.297697169678095]
  WISV(Wireless-Informed Semantic Verification)は、分散投機的復号化フレームワークである。 WISVは最大60.8%の許容長の増加、37.3%の対話ラウンドの削減、31.4%のエンドツーエンドレイテンシの改善を実現している。 NVIDIA Jetson AGX OrinとA40搭載サーバからなるハードウェアテストベッド上でWISVを検証する。
  論文  参考訳（メタデータ） (2026-04-20T01:29:56Z)
• Quantization Impact on the Accuracy and Communication Efficiency Trade-off in Federated Learning for Aerospace Predictive Maintenance [0.0]
  フェデレートラーニング(FL)は、分散航空宇宙艦隊間のプライバシ保護による予測メンテナンスを可能にする。 本稿では,対称均一量子化がカスタム設計軽量畳み込みモデルの精度-効率トレードオフに与える影響について検討する。 Int4はFD001とFD002でFP32と区別できない精度を実現する。
  論文  参考訳（メタデータ） (2026-04-09T17:13:15Z)
• BWTA: Accurate and Efficient Binarized Transformer by Algorithm-Hardware Co-design [71.97035034203275]
  バイナライゼーションにおけるゼロ点歪みを解析し,BWTA量子化方式を提案する。 本稿では,Smooth Multi-Stage Quantizationを提案し,レベルワイド・デグラデーション・ストラテジーとMagnitude Alignment Projection Factorを組み合わせた。 実験の結果、BWTAはTransformerベースのモデルに対して、GLUEでは平均3.5%、タスクでは2%未満の精度でフル精度のパフォーマンスにアプローチしていることがわかった。
  論文  参考訳（メタデータ） (2026-04-05T04:25:07Z)
• SlideSparse: Fast and Flexible (2N-2):2N Structured Sparsity [86.71343842875878]
  NVIDIAの2:4 Sparse Coresは2倍のスループットを提供するが、厳しい50%のプルーニングを要求する。 Milder $(2N-2):2N$パターンは正確さを維持しながらハードウェアサポートを受けない。 Sparse Coreアクセラレーションをアンロックする最初のシステムであるSlideSparseを紹介する。
  論文  参考訳（メタデータ） (2026-03-05T14:49:16Z)
• Step 3.5 Flash: Open Frontier-Level Intelligence with 11B Active Parameters [169.7981969517903]
  Step 3.5 Flashは、フロンティアレベルのエージェントインテリジェンスと計算効率を橋渡しする。 エージェントを構築する上で最も重要なもの、すなわち、シャープな推論と高速で信頼性の高い実行に重点を置いています。
  論文  参考訳（メタデータ） (2026-02-11T07:53:51Z)
• Private LLM Inference on Consumer Blackwell GPUs: A Practical Guide for Cost-Effective Local Deployment in SMEs [0.0]
  中小企業はますます、クラウドLLM APIに代わるものを求めている。 専用クラウドGPUインスタンスは、プライバシを改善するが、保証と継続的なコストが制限される。 NVIDIAのBlackwellコンシューマGPUのシステマティックな評価を行う。
  論文  参考訳（メタデータ） (2026-01-14T14:49:07Z)
• HGO-YOLO: Advancing Anomaly Behavior Detection with Hierarchical Features and Lightweight Optimized Detection [0.0]
  HGO-YOLOはGhostHGNetv2と最適化されたパラメータ共有ヘッド(OptiConvDetect)を組み合わせた軽量検出器である。 3つの異常データセット上では、HGO-YOLOは87.4%のmAP@0.5と81.1%のリコールを、たった4.3 GFLOPsと4.6MBのYOLOv8nを+3.0% mAP、-51.7% FLOPs、1.7*の速度で1つのCPU上で56 FPSで達成している。
  論文  参考訳（メタデータ） (2025-03-10T14:29:12Z)
• SVDQuant: Absorbing Outliers by Low-Rank Components for 4-Bit Diffusion Models [61.474101404805545]
  拡散モデルは高品質なイメージを生成することができるが、スケールするにつれて、メモリ要求が増加し、より高いレイテンシがデプロイメント上の課題を引き起こす。 この制限を克服する新しい4ビット量子化パラダイムであるSVDQuantを提案する。 We reduce the memory usage for the 12B FLUX.1 models by 3.5$times$, achieved 3.0$times$ speedup over the 4-bit weight-only Quantization (W4A16) baseline。
  論文  参考訳（メタデータ） (2024-11-07T18:59:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。