論文の概要: CCL-D: A High-Precision Diagnostic System for Slow and Hang Anomalies in Large-Scale Model Training

• arxiv url: http://arxiv.org/abs/2605.04478v1
• Date: Wed, 06 May 2026 04:07:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-07 18:41:07.64028
• Title: CCL-D: A High-Precision Diagnostic System for Slow and Hang Anomalies in Large-Scale Model Training
• Title（参考訳）: CCL-D:大規模モデルトレーニングにおけるスロー・ハング異常の高精度診断システム
• Abstract要約: CCL-Dは、大規模分散トレーニングにおいて、遅い/変化する異常を検出し、検出するように設計された診断システムである。 ランクレベルのリアルタイムプローブとインテリジェントな意思決定アナライザを統合する。 6分以内に、既知のスロー/ハング異常をほぼ完全にカバーし、損傷したランクを特定できた。
• 参考スコア（独自算出の注目度）: 22.30049662104133
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As training scales grow, collective communication libraries (CCL) increasingly face anomalies arising from complex interactions among hardware, software, and environmental factors. These anomalies typically manifest as slow/hang communication, the most frequent and time-consuming category to diagnose. However, traditional diagnostic methods remain inaccurate and inefficient, frequently requiring hours or even days for root cause analysis. To address this, we propose CCL-D, a high-precision diagnostic system designed to detect and locate slow/hang anomalies in large-scale distributed training. CCL-D integrates a rank-level real-time probe with an intelligent decision analyzer. The probe measures cross-layer anomaly metrics using a lightweight distributed tracing framework to monitor communication traffic. The analyzer performs automated anomaly detection and root-cause location, precisely identifying the faulty GPU rank. Deployed on a 4,000-GPU cluster over one year, CCL-D achieved near-complete coverage of known slow/hang anomalies and pinpointed affected ranks within 6 minutes-substantially outperforming existing solutions.
• Abstract（参考訳）: トレーニングの規模が大きくなるにつれて、ハードウェア、ソフトウェア、環境要因間の複雑な相互作用から生じる、集合通信ライブラリ(CCL)はますます異常に直面している。 これらの異常は一般的に、診断に最も頻度が高く、時間を要するカテゴリーである、遅い/速い通信として現れる。 しかし、従来の診断法は不正確で非効率であり、根本原因分析に何時間も何日も必要とされない。 そこで我々はCCL-Dを提案する。CCL-Dは大規模分散トレーニングにおいて,遅い/速い異常を検出し,検出するための高精度診断システムである。 CCL-Dは、ランクレベルのリアルタイムプローブとインテリジェントな意思決定アナライザを統合する。 このプローブは、通信トラフィックを監視するために、軽量な分散トレースフレームワークを使用して、層間異常メトリクスを測定する。 アナライザは自動異常検出とルート起因位置を実行し、故障したGPUランクを正確に識別する。 1年以上にわたって4,000-GPUクラスタ上にデプロイされたCCL-Dは、既知のスロー/ハングの異常をほぼ完全にカバーし、既存のソリューションよりも6分以内に影響を受けたランクを特定できた。

関連論文リスト

• Multi-Level Temporal Graph Networks with Local-Global Fusion for Industrial Fault Diagnosis [0.4779196219827507]
  本稿では,産業的故障診断のための局所的特徴融合を用いた構造対応多レベル時間グラフネットワークを提案する。 提案手法は,特に複雑な故障シナリオにおいて,優れた故障診断性能を実現する。
  論文  参考訳（メタデータ） (2026-04-20T19:20:29Z)
• Kunlun Anomaly Troubleshooter: Enabling Kernel-Level Anomaly Detection and Causal Reasoning for Large Model Distributed Inference [15.448826510384302]
  大規模モデル分散推論(LMDI)の異常なトラブルシューティングは依然として重要な課題である。 LMDIに適した最初の異常トラブルシューティングフレームワークであるKunlun Anomaly Troubleshooter(KAT)を紹介する。
  論文  参考訳（メタデータ） (2025-11-08T11:53:08Z)
• Scalable Temporal Anomaly Causality Discovery in Large Systems: Achieving Computational Efficiency with Binary Anomaly Flag Data [0.0]
  本研究は異常因果発見法(AnomalyCD)を提案する。 バイナリフラグデータセットから因果グラフを生成する際の精度と計算上の課題に対処する。 その結果,計算オーバーヘッドの大幅な低減と時間因果発見の精度の適度な向上が示された。
  論文  参考訳（メタデータ） (2024-12-16T14:11:28Z)
• Domain Adaptation-based Edge Computing for Cross-Conditions Fault Diagnosis [30.725677655656472]
  本稿では,エッジコンピューティングに適したドメイン適応型軽量故障診断フレームワークを提案する。 リアルタイム診断機能を確保しつつ、クロスワーク条件下で正確な故障診断を実現することを目的としている。
  論文  参考訳（メタデータ） (2024-11-15T16:40:43Z)
• DeepHYDRA: Resource-Efficient Time-Series Anomaly Detection in Dynamically-Configured Systems [3.44012349879073]
  我々はDeepHYDRA(Deep Hybrid DBSCAN/reduction-based Anomaly Detection)を提案する。 DBSCANと学習ベースの異常検出を組み合わせる。 大規模なデータセットと複雑なデータセットの両方において、異なるタイプの異常を確実に検出できることが示されている。
  論文  参考訳（メタデータ） (2024-05-13T13:47:15Z)
• Correlation-aware Spatial-Temporal Graph Learning for Multivariate Time-series Anomaly Detection [67.60791405198063]
  時系列異常検出のための相関対応時空間グラフ学習(CST-GL)を提案する。 CST-GLは、多変量時系列相関学習モジュールを介してペアの相関を明示的にキャプチャする。 新規な異常スコアリング成分をCST-GLにさらに統合し、純粋に教師なしの方法で異常の度合いを推定する。
  論文  参考訳（メタデータ） (2023-07-17T11:04:27Z)
• Are we certain it's anomalous? [57.729669157989235]
  時系列における異常検出は、高度に非線形な時間的相関のため、異常は稀であるため、複雑なタスクである。 本稿では,異常検出(HypAD)におけるハイパボリック不確実性の新しい利用法を提案する。 HypADは自己指導で入力信号を再構築する。
  論文  参考訳（メタデータ） (2022-11-16T21:31:39Z)
• Causality-Based Multivariate Time Series Anomaly Detection [63.799474860969156]
  我々は、因果的観点から異常検出問題を定式化し、多変量データを生成するための通常の因果的メカニズムに従わない事例として、異常を考察する。 次に、まずデータから因果構造を学習し、次に、あるインスタンスが局所因果機構に対して異常であるかどうかを推定する因果検出手法を提案する。 我々は、実世界のAIOpsアプリケーションに関するケーススタディと同様に、シミュレートされたデータセットとパブリックなデータセットの両方を用いて、私たちのアプローチを評価します。
  論文  参考訳（メタデータ） (2022-06-30T06:00:13Z)
• TELESTO: A Graph Neural Network Model for Anomaly Classification in Cloud Services [77.454688257702]
  機械学習(ML)と人工知能(AI)はITシステムの運用とメンテナンスに適用される。 1つの方向は、修復自動化を可能にするために、繰り返し発生する異常タイプを認識することである。 与えられたデータの次元変化に不変な手法を提案する。
  論文  参考訳（メタデータ） (2021-02-25T14:24:49Z)
• TadGAN: Time Series Anomaly Detection Using Generative Adversarial Networks [73.01104041298031]
  TadGANは、GAN(Generative Adversarial Networks)上に構築された教師なしの異常検出手法である。 時系列の時間相関を捉えるために,ジェネレータと批評家のベースモデルとしてLSTMリカレントニューラルネットワークを用いる。 提案手法の性能と一般化性を示すため,いくつかの異常スコアリング手法を検証し,最も適した手法を報告する。
  論文  参考訳（メタデータ） (2020-09-16T15:52:04Z)
• SUOD: Accelerating Large-Scale Unsupervised Heterogeneous Outlier Detection [63.253850875265115]
  外乱検出(OD)は、一般的なサンプルから異常物体を識別するための機械学習(ML)タスクである。 そこで我々は,SUODと呼ばれるモジュール型加速度システムを提案する。
  論文  参考訳（メタデータ） (2020-03-11T00:22:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。