論文の概要: GPUAlert: A Zero-Instrumentation Process-Boundary Monitor for Diagnosing GPU Training-Job Failures
- arxiv url: http://arxiv.org/abs/2607.01409v1
- Date: Wed, 01 Jul 2026 19:15:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-03 19:45:08.563248
- Title: GPUAlert: A Zero-Instrumentation Process-Boundary Monitor for Diagnosing GPU Training-Job Failures
- Title(参考訳): GPUAlert:GPUトレーニングジョブ障害の診断のためのゼロ計測プロセス境界モニタ
- Abstract要約: GPUAlertは、プロセス境界における任意のトレーニングコマンドを監視するコマンドラインラッパーである。
機密化された障害原因、耐久性のあるログ、出力アーティファクトを含む、完了に関する構造化された通知をメールで送る。
我々は15の障害クラスにまたがる474のGPUトレーニングログのラベル付きコーパスと再現可能な評価ハーネスをリリースする。
- 参考スコア(独自算出の注目度): 34.01019358995093
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: GPU training jobs fail often, roughly two in five on large production clusters, yet the operator typically learns of a failure only by reconnecting hours later. Experiment trackers require editing the training script and maintaining a cloud connection; the scheduler's mail hook delivers a single status line with no cause and no logs. GPUAlert is a command-line wrapper that monitors any training command at the process boundary, and with no change to that command, emails a structured notification on completion carrying a classified failure cause, durable logs, and output artifacts. The tool is organized around three reliability primitives: a pre-launch log guarantee that establishes the durable destination before the child process can crash, notifier isolation that makes the wrapper's exit code a pure function of the child's status regardless of whether the email succeeds, and a non-silent artifact budget that bounds attachment size without ever dropping output silently. We release a labelled corpus of 474 GPU training logs across 15 failure classes and a reproducible evaluation harness. On the twelve hardware-reproduced classes, the ordered-rule classifier reaches 0.997 macro-F1, against 0.830 for unordered keyword matching and 0.133 for exit-code inspection. Wrapper overhead is a constant approximately 3ms per job; the pre-launch guarantee preserves a log where a shell redirect yields nothing; and across all 15 failure modes the wrapper returns the child's exit code unchanged even when the SMTP relay is unreachable.
- Abstract(参考訳): 大規模な運用クラスタでは、GPUトレーニングジョブが5分の2ほど失敗することが多いが、運用担当者は通常、数時間後に再接続するだけで障害を認識できる。
トレーニングスクリプトの編集とクラウド接続の維持が必要だ。スケジューラのメールフックは、原因もなく、ログもない単一のステータスラインを提供する。
GPUAlertは、プロセスバウンダリでのトレーニングコマンドを監視するコマンドラインラッパーで、そのコマンドを変更することなく、機密化された障害原因、耐久性のあるログ、出力アーティファクトを含む完了に関する構造化された通知をメールする。
このツールは、3つの信頼性プリミティブで構成されている: 子プロセスがクラッシュする前に耐久性のある宛先を確立するための事前起動ログ保証、ラッパーの出口コードを、Eメールが成功するかどうかに関わらず、子供のステータスの純粋機能にする通知分離、出力を静かに落とすことなくアタッチメントサイズを束縛する非サイレントなアーティファクト予算である。
我々は15の障害クラスにまたがる474のGPUトレーニングログのラベル付きコーパスと再現可能な評価ハーネスをリリースする。
12のハードウェア再生成クラスでは、順序ルール分類器が0.997のマクロF1に達し、未順序のキーワードマッチングでは0.830、出口コード検査では0.133となる。
ラップのオーバーヘッドはジョブあたり約3msであり、プレローンチ保証はシェルリダイレクトが何も生成しないログを保存する。そして15の障害モード全体で、SMTPリレーが到達できない場合でも、ラッパーは子供の終了コードを返す。
関連論文リスト
- Privacy-Preserving Topology-Guided Safety for LLM-Based Multi-Agent Systems via Federated Graph Learning [67.04448659688579]
FGLGuardは、AgentDojoのグランドサクセスレートを、ほぼ無防備なユーティリティ、APIコストゼロ、無視可能な機能損失で43%削減する。
フェデレーションはオプションではなく、オフ・ザ・シェルフ・トランスファーは流通シフトによって崩壊する。
Live FGLGuardは、AgentDojoのグランドサクセスレートを、ほぼ無防備なユーティリティ、APIコストゼロ、無視可能な機能損失で43%削減する。
論文 参考訳(メタデータ) (2026-09-02T07:57:12Z) - LMSM: LLM Security Framework Inspired by Linux Security Modules [56.93644694627783]
大規模言語モデル(LLM)は階層化されたディフェンスでデプロイされることが多いが、悪意のあるプロンプトはそれらをバイパスすることができる。
我々は,Language Model Security Modules (LMSM) という,Linux Security Modules (LSM) の背後にある分離を LLM サービスに適応させるセキュリティフレームワークを提案する。
論文 参考訳(メタデータ) (2026-08-26T12:13:05Z) - SCOUT: Symmetric Consensus Outlier Detection for Failure Localization in LLM Pre-Training [7.018753691717986]
事前トレーニングでは、同期は、ランクローカルなストール、スローダウン、数値的なエラーをジョブワイドな症状へと伝播し、その起源を隠蔽する。
SCOUTは1つの設計原則に基づいて構築された統一型ランタイム障害局所化フレームワークである。
SCOUTはトレーニングループやフレームワークソースの変更なしに、PyTorch、TorchTitan、Megatron-Core、DeepSpeedと統合されている。
論文 参考訳(メタデータ) (2026-08-11T15:12:14Z) - Resume Means Resume: A Machine-Checked Conformance Contract for Checkpoint, Interrupt, and Resume Semantics in Workflow Persistence Layers [0.0]
実行状態を維持して、実行を中断し、クラッシュを生き残るためのフレームワークは、すでに発生した影響に対して、再開が何を意味するのかを判断し続けなければなりません。
5つの広くデプロイされたエージェントワークフローフレームワークがそれぞれ異なる答えを出し、マシンチェック可能なコントラクトを公開することはない。
LangGraph 1.2.9は2度目の履歴書値を記録し、それを参照せず、無意味な状態を静かに持続し、実際のSIGKILLの後、永続的に記録された作業を再実行する。
論文 参考訳(メタデータ) (2026-08-04T15:45:31Z) - Fantastic Adaptive Taxonomies and How to Use Them [100.20614173157708]
AdaMASTは、実行トレースをコンパクトでエビデンスに基づく障害分類に変換する。
コードには手書きのコードはなく、人間による注釈もない。
エージェント・システム・サーチでは、失敗候補の分類コード診断が自由形式より優れている。
論文 参考訳(メタデータ) (2026-07-17T17:41:16Z) - Taming the Drift: Context-aware Repair of Dockerfile Drift during Software Evolution [52.50730821321986]
Cadreは、Dockerfileの自動ドリフト修復のためのコンテキスト認識フレームワークである。
CDGは、各Dockerfile命令をファイルレベルとインストラクション間の依存関係にマップする。
DodeXはGitHub Actions CIログから現実のDockerfileドリフトインスタンスをマイニングする。
論文 参考訳(メタデータ) (2026-07-14T09:12:26Z) - Early Diagnosis of Wasted Computation in Multi-Agent LLM Systems via Failure-Aware Observability [8.036549927091286]
本稿では,マルチエージェントLSMトレースにおける無駄な計算を診断するための,故障を考慮した可観測性フレームワークを提案する。
このフレームワークを3エージェントの質問応答システムでインスタンス化し、165のGAIA検証トレース上で同一の実行上限で評価する。
論文 参考訳(メタデータ) (2026-05-31T17:50:11Z) - FAME: Failure-Aware Mixture-of-Experts for Message-Level Log Anomaly Detection [6.975728318257755]
FAME(Failure-Aware Mixture-of-Experts)は,ラベル効率の高いメッセージレベルのミックス・オブ・エキスパートフレームワークである。
FAMEは軽量ルータと、オンプレミスで実行し、異常予測を出力するドメインエキスパートを訓練する。
BGLでは、F1 = 98.16をK = 100で達成し、76倍のアノテーションの労力を削減し、目に見えないEventIDから86.3%の異常を検出する。
論文 参考訳(メタデータ) (2026-05-21T17:34:53Z) - MemLineage: Lineage-Guided Enforcement for LLM Agent Memory [3.058164432275431]
我々は,LLMエージェントメモリの防衛機能であるMemLineageを紹介した。
最近のコンカレントな作業は、信頼できないコンテンツを永続的なエージェントの状態に書き込むことができ、後続のセッションを命令として再入力できることを示している。
MemLineageは、これをフィルタリング問題ではなく、チェーンオブカストディ問題として扱う。
論文 参考訳(メタデータ) (2026-05-14T06:07:54Z) - ReCoVer: Resilient LLM Pre-Training System via Fault-Tolerant Collective and Versatile Workload [18.933354857797056]
大規模GPUクラスタ上での大規模言語モデルの事前トレーニングは、ハードウェア障害を稀ではなく日常的なものにしている。
一つの不変量を保持するレジリエントな事前学習システムであるReCoVerを提案する。
チェックポイントとリスタートのベースラインと比較して、ReCoVerは連続する障害の後、より効果的なスループットを2.23タイムで示す。
論文 参考訳(メタデータ) (2026-05-11T20:28:31Z) - PrefixGuard: From LLM-Agent Traces to Online Failure-Warning Monitors [14.336100401626062]
大規模言語モデル(LLM)エージェントは、最終結果チェックが介入するには遅すぎるような、長時間のツール使用タスクを実行する。
PrefixGuardは、オフラインのStepView誘導ステップと監視監視トレーニングを備えたトレース・ツー・モニタフレームワークである。
WebArena, $2$-Bench, SkillsBench, TerminalBench, 最も強力なPrefixGuardモニタは0.900/0.70.533/0.557 AUPRCである。
論文 参考訳(メタデータ) (2026-05-07T15:49:48Z) - Compiling Activation Steering into Weights via Null-Space Constraints for Stealthy Backdoors [48.881343993730844]
安全性に整合した大規模言語モデル(LLM)は、現実世界のパイプラインにますますデプロイされている。
敵は通常の評価では動作しないバックドアのチェックポイントを配布することができる。
最近のポストホック重み付け法は、そのようなバックドアを注入するための効率的なアプローチを提供する。
論文 参考訳(メタデータ) (2026-04-14T06:48:33Z) - SemGuard: Real-Time Semantic Evaluator for Correcting LLM-Generated Code [46.20378145112059]
ポストホック修復パイプラインは、実行後にのみそのような障害を検出する。
本稿では,実時間で行レベルのセマンティック監視を行うセマンティック評価フレームワークSemGuardを紹介する。
論文 参考訳(メタデータ) (2025-09-29T09:21:32Z) - Get my drift? Catching LLM Task Drift with Activation Deltas [55.75645403965326]
タスクドリフトは攻撃者がデータを流出させたり、LLMの出力に影響を与えたりすることを可能にする。
そこで, 簡易線形分類器は, 分布外テストセット上で, ほぼ完全なLOC AUCでドリフトを検出することができることを示す。
このアプローチは、プロンプトインジェクション、ジェイルブレイク、悪意のある指示など、目に見えないタスクドメインに対して驚くほどうまく一般化する。
論文 参考訳(メタデータ) (2024-06-02T16:53:21Z) - Unsupervised Continual Anomaly Detection with Contrastively-learned
Prompt [80.43623986759691]
UCADと呼ばれる新しい非教師付き連続異常検出フレームワークを提案する。
このフレームワークは、対照的に学習したプロンプトを通じて、UDAに継続的な学習能力を持たせる。
我々は総合的な実験を行い、教師なし連続異常検出とセグメンテーションのベンチマークを設定した。
論文 参考訳(メタデータ) (2024-01-02T03:37:11Z) - Self-Supervised Log Parsing [59.04636530383049]
大規模ソフトウェアシステムは、大量の半構造化ログレコードを生成する。
既存のアプローチは、ログ特化や手動ルール抽出に依存している。
本稿では,自己教師付き学習モデルを用いて解析タスクをマスク言語モデリングとして定式化するNuLogを提案する。
論文 参考訳(メタデータ) (2020-03-17T19:25:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。