論文の概要: Benchmarking Confidential GPU Inference on NVIDIA H100 under Intel TDX

• arxiv url: http://arxiv.org/abs/2607.19353v1
• Date: Wed, 20 May 2026 22:52:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-27 00:46:13.126563
• Title: Benchmarking Confidential GPU Inference on NVIDIA H100 under Intel TDX
• Title（参考訳）: Intel TDX下でNVIDIA H100上での機密GPU推論のベンチマーク
• Abstract要約: 本稿では,1個のNVIDIA H100 80GB GPU上での標準非機密実行と秘密計算モードとの比較を行った。 その結果、秘密のGPU推論は、負荷下で使用可能なスループットを維持することができるが、キャパシティプランニングは、安定したスループットペナルティと、より大きなモデルで観測された初期の飽和挙動の両方を考慮しなければならない。
• 参考スコア（独自算出の注目度）: 2.6853734738584047
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Confidential computing is becoming a practical deployment requirement for AI inference workloads that process sensitive inputs or protect proprietary model assets. However, the performance cost of enabling confidential execution for GPU-accelerated large language model serving remains workload dependent and operationally important. This paper presents a benchmark study comparing standard non-confidential execution with confidential computing mode on a single NVIDIA H100 80GB GPU hosted in an Intel TDX confidential instance. The evaluation uses two representative language models, Mistral-7B v0.1 and Qwen3-30B-A3B, and measures time to first token, end-to-end request latency, per-request token generation throughput, global token throughput, and closed-loop request throughput under increasing concurrency. In fixed request-rate experiments, confidential mode increases average TTFT by 21.8% for Mistral-7B and 27.8% for Qwen3-30B-A3B, while global token throughput drops by 17.7% and 21.1%, respectively. In closed-loop concurrency experiments, throughput gaps remain in the 11.5-20.2% range, but the larger model reaches its saturation knee earlier under confidential mode. The results suggest that confidential GPU inference can retain usable throughput under load, but capacity planning must account for both the steady throughput penalty and the earlier saturation behavior observed for larger models.
• Abstract（参考訳）: 機密コンピューティングは、機密性の高い入力を処理するか、プロプライエタリなモデル資産を保護するAI推論ワークロードの実践的なデプロイ要件になりつつある。 しかし、GPUが加速する大規模言語モデルのシークレット実行を可能にするパフォーマンスコストは、作業負荷に依存し、運用上重要なままである。 本稿では、Intel TDXシークレットインスタンスにホストされた1つのNVIDIA H100 80GB GPU上で、標準の非機密実行と秘密計算モードを比較したベンチマーク研究を提案する。 この評価では、Mistral-7B v0.1とQwen3-30B-A3Bという2つの代表的な言語モデルを使用し、並列性の向上の下で、ファーストトークン、エンドツーエンドの要求遅延、リクエスト単位のトークン生成スループット、グローバルトークンスループット、クローズドループ要求スループットを測定する。 固定要求レート実験では、秘密モードはMistral-7Bでは平均で21.8%、Qwen3-30B-A3Bでは27.8%、グローバルトークンスループットでは17.7%、21.1%となっている。 クローズドループ並列実験では、スループットギャップは11.5-20.2%の範囲に留まるが、より大きなモデルは秘密モードでより早く飽和膝に達する。 その結果、秘密のGPU推論は、負荷下で使用可能なスループットを維持することができるが、キャパシティプランニングは、安定したスループットペナルティと、より大きなモデルで観測された初期の飽和挙動の両方を考慮しなければならない。

関連論文リスト

• Benchmarking Confidential Computing Performance on NVIDIA Blackwell GPUs [0.0]
  本稿では,信頼された実行環境内での大規模言語モデル推論とトレーニングの実行によるパフォーマンスへの影響を計測する。 パフォーマンスへの影響は、単一の物理ホスト上でのシークレットと非シークエンシャル実行のペアから生じる。 それぞれのコストを特定の暗号化されたバウンダリにローカライズし、サブミッションカウント内のサービスペナルティを予測するマイクロベンチマークを提供し、具体的なデプロイメントガイダンスで終了する。
  論文  参考訳（メタデータ） (2026-08-27T03:37:35Z)
• BoltNet: An Ultra-Lightweight Convolutional Network for On-Device Plant Species Identification [3.860597465886636]
  BoltNetはSpatial Redistribution BottleneckとLogit PreSamplingを組み合わせた超軽量の完全な畳み込みアーキテクチャである。 Pl@ntNet300Kでは、BoltNetは0.682F1スコアに達し、341Kパラメータ(1.37MB)は2MB以下の評価モデルの中で最高である。 BoltNetは最も効率的なモデルであり、GPUとNPUで最高のFPS/W、CPUで2番目に良い。
  論文  参考訳（メタデータ） (2026-08-12T09:34:52Z)
• Operating Multi-Node Full Fine-Tuning on NVIDIA B300: A Field Report on Telemetry-Based Triage, Negative Results, and Operational Hardening [6.384763560610076]
  我々は16 x NVIDIA B300(FSDP/Zero-3)上の32.76Bパラメータ密度モデル(Qwen3-32B)をフルチューニングした運用経験を報告する。 我々の貢献は、新しいハードウェア上でのフィールド体験と調整された一連の測定である。 我々は、PyTorchの文書化されたJoin / equalize-to-minimumプラクティスに対するインスタンスを配置する。
  論文  参考訳（メタデータ） (2026-08-06T12:11:25Z)
• KernelSight-LM: A Kernel-Level LLM Inference Simulator [27.54401355597591]
  本稿では,トークンレベルの実行をモデル化し,カーネルレベルの遅延分解を生成する,詳細な推論シミュレータであるKernelSight-LMを提案する。 それぞれのサービスステップを学習された効率項、通信モデル、ホストオーバーヘッドモデルでカーネルモデルに分解する。 カーネルレベルのボトルネックはハードウェア/ソフトウェアの共同設計とキャパシティプランニングをサポートする。
  論文  参考訳（メタデータ） (2026-06-26T19:43:38Z)
• KernelBench-Verified: Do LLM-Generated Kernels Actually Beat PyTorch? [13.026983194416168]
  大きな言語モデル(LLM)は、KernelBenchのようなベンチマークでPyTorchを上回っているように見えるカスタムカーネルを生成することができる。 We demonstrate that frontier models often involved in reward hacking to artificially inflate performance。
  論文  参考訳（メタデータ） (2026-06-26T03:22:50Z)
• The Model Parking Tax: Quantifying the Hidden Energy Cost of Always-On GPU Model Deployment [0.0]
  AI産業は、コールドスタートのレイテンシを回避するために、メモリにロードされたモデルを時計の周りに保持する。 しかし、このコストの構造は経験的に分解されることはなかった。 VRAMアロケーションの関数として、アイドルGPUパワーを初めてクロスアーキテクチャで測定する。
  論文  参考訳（メタデータ） (2026-04-15T09:01:24Z)
• GPU-Accelerated Optimization of Transformer-Based Neural Networks for Real-Time Inference [0.0]
  本稿では,混合精度最適化を用いたNVIDIARTを用いた変圧器モデルのためのGPU加速型推論パイプラインの設計と評価を行う。 このシステムはCPUベースラインの64.4倍のスピードアップ、シングルサンプル推論の10ms以下のレイテンシ、メモリ使用量の63%削減を実現している。
  論文  参考訳（メタデータ） (2026-03-30T17:27:33Z)
• Can We Predict Before Executing Machine Learning Agents? [74.39460101251792]
  データ中心のソリューション優先のタスクを形式化し、18,438対比較の包括的コーパスを構築する。 検証データ解析レポートを作成した場合, LLM は重要な予測能力を示すことを示す。 このフレームワークをForEAGENT(Predict-then-Verifyループを利用するエージェント)でインスタンス化し、実行ベースラインを+6%超えながらコンバージェンスを6倍高速化する。
  論文  参考訳（メタデータ） (2026-01-09T16:44:17Z)
• dParallel: Learnable Parallel Decoding for dLLMs [77.24184219948337]
  拡散大言語モデル(dLLM)は並列トークン予測と低推論遅延を提供する。 既存のオープンソースモデルは、パフォーマンスを確保するためにトークン長のデコードステップをほとんど必要としています。 高速サンプリングのためにdLLMs固有の並列性を解き放つシンプルで効果的な方法であるdParallelを導入する。
  論文  参考訳（メタデータ） (2025-09-30T16:32:52Z)
• Goedel-Prover-V2: Scaling Formal Theorem Proving with Scaffolded Data Synthesis and Self-Correction [95.91743732150233]
  一連のオープンソースの言語モデルであるGoedel-Prover-V2は、自動定理の新たな最先端を証明した。 我々は、より複雑な定理をマスターするためにモデルを訓練することの困難さを増す合成タスクを生成する。 Goedel-Prover-V2-32Bは、標準モードのpass@32でMiniF2Fの88.1%、自己補正モードの90.4%を達成する。
  論文  参考訳（メタデータ） (2025-08-05T16:28:22Z)
• 70% Size, 100% Accuracy: Lossless LLM Compression for Efficient GPU Inference via Dynamic-Length Float [52.079202872069835]
  大規模言語モデル(LLM)や拡散モデル(DM)といった大規模AIモデルは急速に成長している。 圧縮フレームワークであるDynamic-Length Float (DFloat11) を導入し, LLM と DM サイズを30%削減した。
  論文  参考訳（メタデータ） (2025-04-15T22:38:38Z)
• START: Self-taught Reasoner with Tools [51.38785489790888]
  ツール統合長チェーン・オブ・シークレット(CoT)推論LSMであるSTART(Self-Taught Reasoner with Tools)を紹介する。 STARTは複雑な計算、自己チェック、多様な方法の探索、そして自己老化を行うことができる。 基礎となるQwQ-32Bを著しく上回り、最先端のオープンウェイトモデルR1-Distill-Qwen-32Bに匹敵する性能を達成する。
  論文  参考訳（メタデータ） (2025-03-06T17:11:51Z)
• DeepGEMM: Accelerated Ultra Low-Precision Inference on CPU Architectures using Lookup Tables [49.965024476651706]
  DeepGEMMはSIMDハードウェア上で超高精度畳み込みニューラルネットワークを実行するためのルックアップテーブルベースのアプローチである。 実装は、x86プラットフォーム上で、対応する8ビット整数カーネルを最大1.74倍の性能で上回る。
  論文  参考訳（メタデータ） (2023-04-18T15:13:10Z)
• ETAD: A Unified Framework for Efficient Temporal Action Detection [70.21104995731085]
  時間的行動検出(TAD)のようなトリミングされていないビデオ理解は、しばしば計算資源に対する膨大な需要の苦痛に悩まされる。 我々は、効率的なエンド・ツー・エンドの時間的行動検出(ETAD)のための統合されたフレームワークを構築している。 ETADはTHUMOS-14とActivityNet-1.3の両方で最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2022-05-14T21:16:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。