論文の概要: When Log Parsing Removes What Matters: Detecting Failures in Distributed GPU Workloads
- arxiv url: http://arxiv.org/abs/2610.14009v1
- Date: Tue, 29 Sep 2026 01:15:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-18 21:02:54.464176
- Title: When Log Parsing Removes What Matters: Detecting Failures in Distributed GPU Workloads
- Title（参考訳）: ログ解析が重要なことを取り除くとき:分散GPUワークロードの障害を検出する
- Abstract要約: GF-Benchは、分散GPUワークロードでさまざまな障害を生成するためのPyTorchベースのフレームワークとデータセットである。
解析ログ上では3つのシーケンスベース手法(DeepLog, LogAnomaly, LogBERT)とLLMベースのLogPromptを評価し,さらに生ログ上でLogPromptを評価する。
ローインプットは、インコンテキストのLogPromptのF1スコアを0.983に引き上げ、平均インプットトーケン使用率を9.0倍、ラン当たりコストを8.7倍とした。
- 参考スコア（独自算出の注目度）: 6.0891078426115826
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large AI models increasingly rely on distributed GPU execution, yet it remains unclear whether established failure analysis methods transfer effectively to this setting. We introduce GF-Bench, a PyTorch-based framework and dataset for generating diverse failures in distributed GPU workloads. The framework supports extensible workload and fault-injection logic; based on this design, the current release targets failures visible in multi-GPU communication logs and provides 220 labeled two-GPU executions covering normal runs, CUDA out-of-memory fail-stop failures, and persistent straggler fail-slow failures. Using GF-Bench, we evaluate three sequence-based methods (DeepLog, LogAnomaly, and LogBERT) and the LLM-based LogPrompt on parsed logs, and additionally evaluate LogPrompt on raw logs. On parsed inputs, no method reliably detects both failure classes, and the highest overall F1 score is 0.667. Raw inputs raise the overall F1 score of in-context LogPrompt to 0.983, at 9.0x its average input-token usage and 8.7x its per-run cost. These results expose a substantial trade-off between effectiveness and efficiency: generic log parsing lowers operational cost but discards the distributed execution context required for accurate failure detection. GF-Bench provides a reproducible basis for studying cost-efficient analysis methods and can be extended to additional GPU workloads and failure types.
- Abstract（参考訳）: 大規模なAIモデルは、分散GPUの実行にますます依存しているが、確立された障害解析手法がこの設定に効果的に移行するかどうかは不明だ。
PyTorchベースのフレームワークで,分散GPUワークロードのさまざまな障害を生成するデータセットであるGF-Benchを紹介する。
フレームワークは拡張可能なワークロードとフォールトインジェクションロジックをサポートしている。この設計に基づいて、現在のリリースでは、マルチGPU通信ログで見える障害をターゲットとしており、220のラベル付き2GPU実行が通常の実行、CUDAのメモリ外フェールストップ障害、永続的なトラグラーフェールスロー障害をカバーしている。
GF-Benchを用いて,解析ログ上での3つのシーケンスベース手法(DeepLog,LogAnomaly,LogBERT)とLLMベースのLogPromptを評価し,生ログ上でLogPromptを評価する。
解析された入力では、両方の障害クラスを確実に検出するメソッドはなく、F1スコアの最高値は0.667である。
ローインプットは、インコンテキストのLogPromptのF1スコアを0.983に引き上げ、平均インプットトーケン使用率を9.0倍、ラン当たりコストを8.7倍とした。
ジェネリックログ解析は運用コストを下げるが、正確な障害検出に必要な分散実行コンテキストを破棄する。
GF-Benchはコスト効率のよい分析手法を研究するための再現可能な基盤を提供する。
関連論文リスト
- Carry-Through Checksum: A Lightweight Fault-Detection for CNN Inference at the Edge [0.21748200848556343]
組込みGPU上でのCNN推論におけるソフトエラー検出の基本的な新しい手法であるキャリースルーを提案する。
提案手法はFP32とFP16の臨界断層の95.86%と86.56%を画像当たりのオーバーヘッドで検出する。
論文 参考訳（メタデータ） (2026-09-15T07:15:30Z) - Leveraging Trajectory Graphs for Pre-Execution Error Diagnosis in Agentic LLM Systems [47.66236392009794]
LLM(Large Language Model)ベースのエージェントは、様々な複雑な対話的タスクにおいて、例外的なパフォーマンスを示す。
textitTrajectory Graph Copilot は LLM エージェントの副操縦士' として機能する新しいフレームワークで,実行前に潜在的な動作エラーを診断する。
論文 参考訳（メタデータ） (2026-07-29T20:14:43Z) - VeriPilot: An LLM-Powered Verilog Debugging Framework [28.151772567640354]
We propose VeriPilot, a framework to enable fine-fine bug localization and repair in Verilog design。
VeriPilotは、Verilog設計とそれに対応する黄金モデルの間に内部変数のセマンティクスを整合させることで、出力レベルの比較を越えている。
その後、静的解析から派生した制御データフローグラフ(CDFG)を用いてステップバイステップの信号追跡を行う。
論文 参考訳（メタデータ） (2026-06-22T09:15:40Z) - AlgoVeri: An Aligned Benchmark for Verified Code Generation on Classical Algorithms [54.99368693313797]
既存のベンチマークでは、個々の言語/ツールのみをテストするため、パフォーマンス番号は直接比較できない。
このギャップに対処するAlgoVeriは、Dafny、Verus、Leanで77ドルの古典的アルゴリズムのベリコーディングを評価するベンチマークです。
論文 参考訳（メタデータ） (2026-02-10T06:58:26Z) - InspectCoder: Dynamic Analysis-Enabled Self Repair through interactive LLM-Debugger Collaboration [71.18377595277018]
大きな言語モデル(LLM)は、診断が難しい複雑なロジックエラーを伴うバグの多いコードを生成することが多い。
対話型デバッガ制御による動的解析を LLM に委ねる初のエージェントプログラム修復システムである InspectCoder を提案する。
論文 参考訳（メタデータ） (2025-10-21T06:26:29Z) - DeepPrune: Parallel Scaling without Inter-trace Redundancy [53.62015294143274]
並列推論トレースの80%以上は、実質的な無駄な計算を代表して、同じ最終回答をもたらす。
動的プルーニングによる効率的な並列スケーリングを実現する新しいフレームワークであるDeepPruneを提案する。
我々の研究は並列推論のための新しい標準を確立し、高性能推論をより効率的にする。
論文 参考訳（メタデータ） (2025-10-09T17:24:54Z) - PDLogger: Automated Logging Framework for Practical Software Development [7.860311994179783]
既存の自動ロギング技術は、分離されたサブタスクに焦点を当てている。
PDLoggerは、実用的なマルチログシナリオ向けに設計された最初のエンドツーエンドのログ生成技術である。
F1は69.2%、レベル精度は82.3%、変数精度は131.8%、メッセージ品質(BERTScore)は65.7%である。
論文 参考訳（メタデータ） (2025-07-26T13:35:57Z) - NGPU-LM: GPU-Accelerated N-Gram Language Model for Context-Biasing in Greedy ASR Decoding [54.88765757043535]
この研究は、統計的なn-gram言語モデルのデータ構造を再考し、GPU最適化推論の高速かつ並列な操作を可能にする。
我々のアプローチは NGPU-LM と呼ばれ、7% 未満の計算オーバーヘッドを持つ全ての主要な ASR モデルに対して、カスタマイズ可能なgreedy decoding を導入している。
提案手法は,ビーム探索による顕著な遅延を回避しつつ,greedy と beam search の精度ギャップの50%以上を排除できる。
論文 参考訳（メタデータ） (2025-05-28T20:43:10Z) - HELP: Hierarchical Embeddings-based Log Parsing [0.25112747242081457]
ログは、ソフトウェアのメンテナンスと障害診断のための、第一級の情報ソースである。
ログ解析は、異常検出、トラブルシューティング、根本原因分析などの自動ログ解析タスクの前提条件である。
既存のオンライン解析アルゴリズムは、ログドリフトの影響を受けやすい。
論文 参考訳（メタデータ） (2024-08-15T17:54:31Z) - Failure Identification from Unstable Log Data using Deep Learning [0.27998963147546146]
故障同定手法としてCLogを提案する。
ログデータをログイベントのシーケンスではなくサブプロセスのシーケンスとして表現することにより、不安定なログデータの効果を低減する。
実験の結果,学習したサブプロセス表現が入力の不安定性を低下させることが示された。
論文 参考訳（メタデータ） (2022-04-06T07:41:48Z) - Self-Supervised Log Parsing [59.04636530383049]
大規模ソフトウェアシステムは、大量の半構造化ログレコードを生成する。
既存のアプローチは、ログ特化や手動ルール抽出に依存している。
本稿では,自己教師付き学習モデルを用いて解析タスクをマスク言語モデリングとして定式化するNuLogを提案する。
論文 参考訳（メタデータ） (2020-03-17T19:25:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。