論文の概要: From Noisy Telemetry to Actionable Warnings: GPU Failure Prediction in Industrial Clusters
- arxiv url: http://arxiv.org/abs/2609.34473v1
- Date: Mon, 28 Sep 2026 07:27:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-03 13:15:48.461216
- Title: From Noisy Telemetry to Actionable Warnings: GPU Failure Prediction in Industrial Clusters
- Title(参考訳): ノイズテレメトリからアクション可能な警告へ - 産業クラスタにおけるGPU故障予測
- Abstract要約: ByteDance GPUクラスタからのチケットリンクテレメトリについて検討し,ワークロード構築テレメトリ,異種障害前駆体,ウィンドウレベルの予測と動作可能な警告のギャップという3つの障害を同定した。
これらの発見はFalconを動機付けている。Falconは、時間的およびピア相対的な特徴の欠如を意識した、障害特異的警告フレームワークである。
テストセットでは、ファルコンは4つのベースラインの中で最も高いF1を達成し、最高性能のフォールトタイプで70.6%のF1に達した。
- 参考スコア(独自算出の注目度): 23.66058072303999
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: GPU clusters are critical infrastructure for AI services, but accurate and actionable GPU failure prediction remains a problem in production settings. We study ticket-linked telemetry from a ByteDance GPU cluster and identify three obstacles: workload-confounded telemetry, heterogeneous fault precursors, and the gap between window-level predictions and actionable alerts. These findings motivate Falcon, a fault-specific warning framework combining missingness-aware temporal and peer-relative features, fault-specific learner selection, and an event policy based on thresholding, persistence, and cooldown. On the test set, Falcon achieves the highest F1 among four baselines and reaches 70.6% F1 on the best-performing fault type. Detected cases provide median lead times of 17.34-35.57 hours. We further report a production deployment, where Falcon is calibrated toward high-precision alerts to reflect false-positive costs. Together, these results show that fault-specific modeling improves early warning from noisy production GPU telemetry.
- Abstract(参考訳): GPUクラスタはAIサービスにとって重要なインフラストラクチャであるが、正確で実行可能なGPU障害予測は、運用環境において依然として問題である。
ByteDance GPUクラスタからのチケットリンクテレメトリについて検討し,ワークロード構築テレメトリ,異種障害前駆体,ウィンドウレベルの予測と動作可能な警告のギャップという3つの障害を同定した。
これらの発見はFalconを動機付けている。これは、時間的およびピア相対的な特徴の欠如、障害固有の学習者選択、しきい値、永続性、冷却に基づくイベントポリシーを組み合わせた、障害固有の警告フレームワークである。
テストセットでは、ファルコンは4つのベースラインの中で最も高いF1を達成し、最高性能のフォールトタイプで70.6%のF1に達した。
検出されたケースは、平均リード時間17.34-35.57時間である。
さらに、ファルコンが偽陽性のコストを反映して高精度のアラートに調整される運用展開を報告します。
これらの結果から,故障特異的なモデリングにより,ノイズの多いGPUテレメトリからの早期警告が向上することが示唆された。
関連論文リスト
- Bend the Clock: Predicting Ahead to Beat Latency in Event-Based Object Detection [2.6812215263618473]
イベントカメラは高速ロボットシステムの低遅延知覚を約束する。
しかし、現代の事象検知器は予測が利用可能になる前に数ミリ秒の計算を必要とする。
我々はChronoFuseを紹介した。ChronoFuseは因果的アベイラビリティー時間検出器で、その出力がいつ利用可能になったかを予測する。
論文 参考訳(メタデータ) (2026-09-22T18:15:23Z) - CARE: Experience-Guided Atomic Corrective Execution for Vision-Language-Action Policies [52.32735203969873]
VLA(Vision-Language-Action)ポリシーは、ロボット操作において強力なパフォーマンスを達成するが、実行が名目上の軌道から逸脱した後も不安定なままである。
本稿では,実行時に発生する障害から学習することで回復を改善するフレームワークであるCARE(Corrective Atomic Robotic Execution)を提案する。
論文 参考訳(メタデータ) (2026-09-21T05:14:34Z) - TriCalRAG: A Three-Strategy, Retrieval-Augmented Benchmark for On-Premise LLM-Based Root Cause Analysis in AIOps [1.8136615181861766]
クラウドホスト型大規模言語モデル(LLM)は、AIOpsパイプラインの根本原因分析(RCA)にますます使用されている。
データプライバシのリスク、ネットワークレイテンシ、および運用ログボリュームの低いクエリ単位のコストを導入している。
我々は,従来のLSTMを用いたログ異常検出器に対して,vLLMを介して局所的に提供されるオープンウェイトの評価ベンチマークであるRAGを提示する。
論文 参考訳(メタデータ) (2026-09-13T19:52:46Z) - Strictly Causal Streaming Video Anomaly Detection with a Theoretically-Grounded State-Space Core [2.648500779572419]
ルックアヘッドもクリップバッファリングも不要な因果ストリーミング異常検出器を導入する。
その時空コアは、入力と状態依存の崩壊ゲートを持つ対角線状状態空間の再発である。
繰り返し減衰スペクトルと検出遅延と、確実に捕捉できる最も短い異常との間に閉じた形状関係を導出する。
論文 参考訳(メタデータ) (2026-08-25T16:52:32Z) - The Low Frequency Trap: Video Language Models Fail at Simple Event Bookkeeping [70.07961857926377]
3つの制御されたビデオタスクにおけるイベントカウントのためのトレーサグラウンドパラメトリックプロファイリングを導入する。
2,190本のビデオでは,レンダリングを保ちながらイベントカウントNと周波数Fが異なる。
80%の信頼性しきい値において、Gemini 3.6 Flashは、0.5Hzと1.0Hzの12イベントまでの永続的な状態遷移を確実にカウントするが、過渡的点滅イベントに対する信頼性の高い正カウント領域は示さない。
論文 参考訳(メタデータ) (2026-08-06T17:57:06Z) - VideoZeroBench: Probing the Limits of Video MLLMs with Spatio-Temporal Evidence Verification [73.02304272829785]
VideoBenchは、証拠を厳格に検証する長ビデオ応答のための階層的なベンチマークだ。
これは、13のドメインに500の注釈付き質問を手動で記述し、時間間隔と空間境界ボックスを組み合わせて証拠とする。
GeminiPro-3-Proでさえ、標準のエンドツーエンドのQA設定で17%未満の質問に正しく答えている。
その結果,表面レベルでの回答の正しさと真正な証拠に基づく推論との間に大きなギャップが生じた。
論文 参考訳(メタデータ) (2026-04-02T03:29:43Z) - When GPUs Fail Quietly: Observability-Aware Early Warning Beyond Numeric Telemetry [0.0]
GPUノードは現代のHPCおよびAIワークロードの中心であるが、多くの障害が即時障害として現れない。
本稿では,GPUテレメトリにおける利用感熱ドリフトシグネチャを共同でモデル化した,可観測性を考慮した早期警戒フレームワークを提案する。
その結果, 剥離故障は最小の数値前駆体を示し, 構造的テレメトリ崩壊によって主に観測可能であることがわかった。
論文 参考訳(メタデータ) (2026-03-17T13:07:41Z) - Guardian: Detecting Robotic Planning and Execution Errors with Vision-Language Models [53.20969621498248]
本稿では,多種多様な計画および実行障害を生成するために,軌道を手続き的に乱す自動ロボット故障合成手法を提案する。
RLBench-Fail, BridgeDataV2-Fail, UR5-Failの3つの新しい故障検出ベンチマークを構築した。
次に、詳細な障害推論と検出のためのマルチビューイメージを備えたVLMであるGuardianをトレーニングします。
論文 参考訳(メタデータ) (2025-12-01T17:57:27Z) - AI-Enabled Operations at Fermi Complex: Multivariate Time Series Prediction for Outage Prediction and Diagnosis [0.6282171844772421]
フェルミラボ・アクセラレーター・コンプレックスのメイン・コントロール・ルームは、ビームを監視する何千ものセンサーから時系列データを継続的に収集する。
旅行や電圧変動などの未計画の出来事は、しばしばビームの停止を引き起こし、運用上のダウンタイムを引き起こす。
このダウンタイムは、問題を診断し対処するオペレーターの労力を消費するだけでなく、ビーム復元を待つアイドルマシンによる不要なエネルギー消費につながる。
論文 参考訳(メタデータ) (2025-01-02T19:31:48Z) - Detecting train driveshaft damages using accelerometer signals and
Differential Convolutional Neural Networks [67.60224656603823]
本稿では,高度2次元畳み込みニューラルネットワーク(CNN)アーキテクチャに基づく鉄道軸状態監視システムの開発を提案する。
その結果,鉄道軸受振動信号を時間周波数領域表現,すなわち分光図に変換し,そのひび割れに応じて2次元CNNを訓練する。
論文 参考訳(メタデータ) (2022-11-15T15:04:06Z) - Probing Model Signal-Awareness via Prediction-Preserving Input
Minimization [67.62847721118142]
モデルが正しい脆弱性信号を捕捉して予測する能力を評価する。
SAR(Signal-Aware Recall)と呼ばれる新しい指標を用いて,モデルの信号認識を計測する。
その結果,90年代以降のリコールから60年代以降のリコールは,新たな指標で大幅に減少した。
論文 参考訳(メタデータ) (2020-11-25T20:05:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。