論文の概要: Operating Multi-Node Full Fine-Tuning on NVIDIA B300: A Field Report on Telemetry-Based Triage, Negative Results, and Operational Hardening
- arxiv url: http://arxiv.org/abs/2608.05944v1
- Date: Thu, 06 Aug 2026 12:11:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-07 17:43:06.75077
- Title: Operating Multi-Node Full Fine-Tuning on NVIDIA B300: A Field Report on Telemetry-Based Triage, Negative Results, and Operational Hardening
- Title（参考訳）: NVIDIA B300上でのマルチノードフルファインチューニングの運用:テレメトリジ, 負の結果, およびオペレーショナルハードニングのフィールドレポート
- Abstract要約: 我々は16 x NVIDIA B300(FSDP/Zero-3)上の32.76Bパラメータ密度モデル(Qwen3-32B)をフルチューニングした運用経験を報告する。
我々の貢献は、新しいハードウェア上でのフィールド体験と調整された一連の測定である。
我々は、PyTorchの文書化されたJoin / equalize-to-minimumプラクティスに対するインスタンスを配置する。
- 参考スコア（独自算出の注目度）: 6.384763560610076
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We report operational experience full-fine-tuning a 32.76B-parameter dense model (Qwen3-32B) on 16 x NVIDIA B300 (two nodes, FSDP / ZeRO-3) -- among the first published field accounts on this accelerator. We claim no new algorithm. The individual mechanisms we use are established practice; our contribution is the integrated field experience and a set of calibrated measurements on new hardware. Concretely we offer four practitioner artifacts. (1) A B300-calibrated power-draw triage table that distinguishes compute / communication / data-starvation / checkpoint-or-deadlock / idle by board wattage (utilization% reads 100% during an NCCL hang). (2) A set of honest negative results that dispel common optimization folklore at this scale: a controlled A/B in which per-step NFS reading matches a pretokenized local cache (~53k tok/s) because the corpus fits in page cache and the job is compute-bound; and a reconstruction of an earlier "throughput collapse" as NFS/CPU contention rather than a storage-medium limit. (3) Calibrated 4/8/16-GPU strong-scaling and GPU-hour numbers on B300 (near-linear, as expected in this regime; we report absolute values as reference data). (4) A worked failure case -- an epoch-end NCCL deadlock from per-rank token-packing imbalance -- together with a 2.7-second pre-run invariant gate and an external watcher that turn multi-hour silent failures into instant rejections. This deadlock and its remedy correspond to PyTorch's documented Join / equalize-to-minimum practice; we position our instantiation against that prior art and report the GPU-hours the failure cost and the gate saves. The transferable takeaway is operational, not algorithmic: for data-dependent data-parallel jobs, watch power rather than utilization, and verify invariants before launch -- a passing smoke test is not evidence of a safe full run.
- Abstract（参考訳）: 我々は16xNVIDIA B300(FSDP/ZeRO-3)上で32.76Bパラメータ密度モデル(Qwen3-32B)をフルチューニングした運用経験を報告した。
我々は新しいアルゴリズムを主張しない。
私たちが使用する個々のメカニズムは確立された実践であり、我々の貢献は、統合されたフィールドエクスペリエンスと、新しいハードウェア上での校正された測定のセットである。
具体的には、4つの実践的なアーティファクトを提供します。
1)計算/通信/データ飢餓/チェックポイント・オア・デッドロック/アイドルをボードワットで区別するB300校正パワードロートリアージテーブル(利用%はNCCLハング中に100%読み取る)。
2) ページキャッシュに収まるコーパスとジョブが計算バウンドであるため、ステップ毎のNFS読み出しがプリトークン化されたローカルキャッシュ(~53k tok/s)と一致する制御されたA/Bと、ストレージ-medium制限ではなくNFS/CPU競合として以前の"スループット崩壊"の再構築である。
(3) B300 上での 4/8/16-GPU の強いスケーリングと GPU 時間の数値の校正を行った。
(4) 動作中の障害ケース – ランク単位のトークンパッケージング不均衡からエポックエンドのNCCLデッドロック – と,2.7秒の事前実行不変ゲートと,複数時間のサイレント障害を即時拒否に変換する外部監視機能を備えた。
このデッドロックとその治療法は、PyTorch氏のドキュメントであるJoin / equalize-to-minimumのプラクティスに対応しています。
データ依存型データ並列ジョブでは、使用ではなく電力を監視し、ローンチ前に不変性を検証します -- パススモークテストは、安全なフル実行の証拠ではありません。
関連論文リスト
- Carry-Through Checksum: A Lightweight Fault-Detection for CNN Inference at the Edge [0.21748200848556343]
組込みGPU上でのCNN推論におけるソフトエラー検出の基本的な新しい手法であるキャリースルーを提案する。
提案手法はFP32とFP16の臨界断層の95.86%と86.56%を画像当たりのオーバーヘッドで検出する。
論文 参考訳（メタデータ） (2026-09-15T07:15:30Z) - VC-Attention: Value Smoothing and Softmax Casting for Low-bit Attention [47.30761996669105]
トレーニング不要な低ビットアテンションフレームワークであるVC-Attentionを提案する。
V-Smoothは、オンラインの軽量クラスタリングによってバリュートークンを再注文するので、融合ハードウェアブロック内のトークンは、共に量子化される。
ログドメインのスコアを直接E4M3確率符号に1つの融合乗算加算でマッピングし、FP32指数関数とフォーマット変換を排除した。
論文 参考訳（メタデータ） (2026-09-14T16:17:35Z) - TriCalRAG: A Three-Strategy, Retrieval-Augmented Benchmark for On-Premise LLM-Based Root Cause Analysis in AIOps [1.8136615181861766]
クラウドホスト型大規模言語モデル(LLM)は、AIOpsパイプラインの根本原因分析(RCA)にますます使用されている。
データプライバシのリスク、ネットワークレイテンシ、および運用ログボリュームの低いクエリ単位のコストを導入している。
我々は,従来のLSTMを用いたログ異常検出器に対して,vLLMを介して局所的に提供されるオープンウェイトの評価ベンチマークであるRAGを提示する。
論文 参考訳（メタデータ） (2026-09-13T19:52:46Z) - Phase-Decoupled, Model-Calibrated Power Control for Disaggregated LLM Serving [1.249668212599889]
NVIDIAのMax-Q推論プロファイルを分離したB200システムにデプロイする。
エージェント負荷下でQwen3-Coder-480B (FP8) を提供する8x B200ノード上では、バランスの取れたモードは、+20.4%トークン/Jを+3.5%平均e2eで提供する。
論文 参考訳（メタデータ） (2026-09-10T06:23:37Z) - SPORK: Self-Speculative Forking to Accelerate Agentic LLM Inference [6.978795233982147]
SPORKは推測されたツールコールを早期にディスパッチし、残りのチェーン・オブ・ソート・デコードでその実行を重複させる。
SPORKは、推測されたツールコールを早期にディスパッチする、トレーニング不要のコントローラである。
論文 参考訳（メタデータ） (2026-07-03T13:51:32Z) - Benchmarking Confidential GPU Inference on NVIDIA H100 under Intel TDX [2.6853734738584047]
本稿では,1個のNVIDIA H100 80GB GPU上での標準非機密実行と秘密計算モードとの比較を行った。
その結果、秘密のGPU推論は、負荷下で使用可能なスループットを維持することができるが、キャパシティプランニングは、安定したスループットペナルティと、より大きなモデルで観測された初期の飽和挙動の両方を考慮しなければならない。
論文 参考訳（メタデータ） (2026-05-20T22:52:12Z) - From Detection to Recovery: Operational Analysis on LLM Pre-training with 504 GPUs [1.2875754718643733]
この技術報告では63ノードのNVIDIA B200の生産クラスタを実証分析した。
5つのパーティ(SKT、Upstage、Lablup、NVIDIA Korea、VAST Data)が統合された監視パイプラインを共有している。
これにより、2-4ノードスケールでは見られない60ノードスケールのストレージI/Oボトルネックの診断が可能となった。
論文 参考訳（メタデータ） (2026-05-10T06:46:06Z) - Nondeterminism-Aware Optimistic Verification for Floating-Point Neural Networks [11.159101812934503]
不均一加速器上での浮動小数点実行のための非決定論的アウェア最適検証プロトコル
NAOをPyTorch互換ランタイムとして実装し、現在Horeskyテストネット上にデプロイされているコントラクト層を運用しています。
論文 参考訳（メタデータ） (2025-10-15T21:10:39Z) - Sequential Kernelized Independence Testing [77.237958592189]
我々は、カーネル化依存度にインスパイアされたシーケンシャルなカーネル化独立試験を設計する。
シミュレーションデータと実データの両方にアプローチのパワーを実証する。
論文 参考訳（メタデータ） (2022-12-14T18:08:42Z) - Discriminative-Generative Dual Memory Video Anomaly Detection [81.09977516403411]
近年,ビデオ異常検出(VAD)には,トレーニングプロセス中に通常のデータに代えて,いくつかの異常を使おうと試みている。
本稿では,いくつかの異常を生かしてデータの不均衡を解決するために,識別生成型デュアルメモリ(dream)異常検出モデルを提案する。
論文 参考訳（メタデータ） (2021-04-29T15:49:01Z) - Beta-CROWN: Efficient Bound Propagation with Per-neuron Split
Constraints for Complete and Incomplete Neural Network Verification [151.62491805851107]
私たちは、ニューロン毎の分割を完全にエンコードできるバウンド伝搬ベースの検証器である$beta$-crownを開発した。
Beta$-CROWNはLPベースのBaB法よりも3桁近い速さで堅牢性検証が可能です。
BaBを早期に終了することにより、不完全な検証にも使用できます。
論文 参考訳（メタデータ） (2021-03-11T11:56:54Z) - I-BERT: Integer-only BERT Quantization [78.43819756382103]
トランスフォーマーモデルのための新しい量子化手法であるI-BERTを提案する。
I-BERTは浮動小数点演算なしでエンドツーエンドの整数のみのBERT推論を実行する。
いずれの場合も,I-BERTは全精度ベースラインと同等(かつ若干高い)精度が得られた。
論文 参考訳（メタデータ） (2021-01-05T02:42:58Z) - AQD: Towards Accurate Fully-Quantized Object Detection [94.06347866374927]
本稿では,浮動小数点演算を除去するために,AQDと呼ばれる高精度な量子化オブジェクト検出ソリューションを提案する。
我々のAQDは、非常に低ビットのスキームの下での完全精度と比較して、同等またはそれ以上の性能を実現しています。
論文 参考訳（メタデータ） (2020-07-14T09:07:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。