論文の概要: SCOUT: Symmetric Consensus Outlier Detection for Failure Localization in LLM Pre-Training
- arxiv url: http://arxiv.org/abs/2608.11034v1
- Date: Tue, 11 Aug 2026 15:12:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-12 19:14:46.098268
- Title: SCOUT: Symmetric Consensus Outlier Detection for Failure Localization in LLM Pre-Training
- Title（参考訳）: SCOUT: LLM事前試験における故障位置検出のための対称性コンセンサス・アウトリア検出
- Abstract要約: 事前トレーニングでは、同期は、ランクローカルなストール、スローダウン、数値的なエラーをジョブワイドな症状へと伝播し、その起源を隠蔽する。
SCOUTは1つの設計原則に基づいて構築された統一型ランタイム障害局所化フレームワークである。
SCOUTはトレーニングループやフレームワークソースの変更なしに、PyTorch、TorchTitan、Megatron-Core、DeepSpeedと統合されている。
- 参考スコア（独自算出の注目度）: 7.018753691717986
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In LLM pre-training, synchronization propagates rank-local stalls, slowdowns, and numerical errors into job-wide symptoms, obscuring their origin. Existing diagnosis often relies on in-process monitors that cannot report after the trainer blocks or terminates, or on post-mortem logs that preserve only synchronized symptoms; offline health tests lose the workload and operating conditions that triggered the failure. We present SCOUT, a unified runtime failure-localization framework built on one design principle: identify outliers through strict-majority consensus among equivalent replicas. SCOUT aligns replica progress, timing, and numerical evidence, then uses its Consensus Collective Communication (C3) abstraction to identify ranks whose compact signatures disagree with their peers. An out-of-band CPU observer remains responsive when training hangs, whereas in-situ replay exercises recurring stragglers and silent data corruption (SDC) beside the live job with its model state, kernels, allocations, communication path, and thermal and memory pressure present. Collective fingerprints expose rank-local protocol divergence. Clean replay coverage certifies checkpoint numerical integrity, preventing recovery from selecting state corrupted by SDC. SCOUT integrates with PyTorch, TorchTitan, Megatron-Core, and DeepSpeed without training-loop or framework-source modifications. SCOUT is open source at https://github.com/LMResiliency/lm-resiliency.
- Abstract（参考訳）: LLMの事前トレーニングでは、同期は、ランクローカルのストール、スローダウン、数値エラーをジョブワイドな症状へと伝播し、その起源を隠蔽する。
既存の診断は、トレーナーのブロックや終了後に報告できないプロセス内モニターや、同期症状のみを保存する事後ログに依存していることが多い。
SCOUTは1つの設計原則に基づいて構築された統一型ランタイム障害局所化フレームワークである。
SCOUTは、複製の進行、タイミング、数値的な証拠を整列し、コンセンサス・集団コミュニケーション(C3)抽象化を使用して、コンパクトな署名が仲間と一致しない位置を特定する。
トレーニングハング時、帯域外CPUオブザーバはレスポンシブであり、その場でのリプレイは、モデル状態、カーネル、アロケーション、通信パス、サーマルおよびメモリプレッシャーと共に、ライブジョブの横で繰り返しストラグラーとサイレントデータ汚職(SDC)を繰り返す。
集合指紋は、ランク-ローカルプロトコルのばらつきを露呈する。
クリーンリプレイカバレッジは、チェックポイント数値の整合性を証明し、SDCによって破損した状態の回復を防止する。
SCOUTはトレーニングループやフレームワークソースの変更なしに、PyTorch、TorchTitan、Megatron-Core、DeepSpeedと統合されている。
SCOUTはhttps://github.com/LMResiliency/lm-resiliencyでオープンソースである。
関連論文リスト
- LMSM: LLM Security Framework Inspired by Linux Security Modules [56.93644694627783]
大規模言語モデル(LLM)は階層化されたディフェンスでデプロイされることが多いが、悪意のあるプロンプトはそれらをバイパスすることができる。
我々は,Language Model Security Modules (LMSM) という,Linux Security Modules (LSM) の背後にある分離を LLM サービスに適応させるセキュリティフレームワークを提案する。
論文 参考訳（メタデータ） (2026-08-26T12:13:05Z) - TELLER: Non-intrusive Cross-Layer Root-Cause Analysis for LLM Inference [47.62941623025392]
本稿では,非侵入的でログ対応なLLM推論フレームワークであるTELLERについて紹介する。
TELLERはモデルバイナリを変更することなく、NVTX/CUPTIトレースとサービスログを収集する。
リクエスト毎のコールチェーンツリーを再構築し、ログ行と対応する実行ステップをアライメントする。
これらの表現に加えて、TELLERは数値的候補のローカライゼーションとマルチモーダルな根起因モデルを組み合わせる。
論文 参考訳（メタデータ） (2026-08-03T09:39:11Z) - PhyAgentOS: A Self-Evolving Operating System for Embodied Agents with Decoupled Cognitive Planning and Physical Execution [49.776611937968]
我々は、スケジューリング、検証、メモリ、ベンチマーク、安全性をシステムレベルのサービスとして提供するPhyAgentOSを紹介します。
セッション中心のセッションは、スケジューリング、互換性、監督された実行、エビデンス収集、受け入れの最小単位として、アクションではなくセッションを扱う。
SessionVerifierは、実行終了とセマンティックタスク完了を、成功、失敗、または再計画のエビデンスに基づいて判断する。
ベンチマークはデプロイメントセッションと検証パスを再利用するので、結果は実際の実行に遡る。
論文 参考訳（メタデータ） (2026-07-18T04:46:53Z) - DSpark: Confidence-Scheduled Speculative Decoding with Semi-Autoregressive Generation [69.8840101036735]
投機的復号化はLarge Language Model (LLM)推論を加速させる。
最近の並列起草者は、1つの前方通過で長いトークン列を効率的に提案するが、トークン間の依存関係が欠如しているため、急速に受け入れが低下する。
我々はDSparkという投機的復号化フレームワークを導入し、高いスループットの並列生成を適応的かつロードアウェアな検証と統合する。
論文 参考訳（メタデータ） (2026-07-06T14:28:06Z) - Governed Shared Memory for Multi-Agent LLM Systems [1.2178992475191557]
本稿では,フリートメモリの問題を定式化し,基礎的障害モードを4つ同定する。
システムレベルの明示的なプリミティブを定義する。スコープ付き検索,時間的スーパーセッション,プロファイランストラッキング,ポリシが支配するメモリ伝搬である。
これらのプリミティブは、プロダクションマルチテナントメモリサービスであるMemClawで実装され、ArgusFleet経由で評価される。
論文 参考訳（メタデータ） (2026-06-23T13:04:14Z) - VCT: A Verifiable Transcript System for LLM Conversations [5.3181399750078535]
Verifiable Conversation Transcriptは、非線形LLMセマンティック操作を、アカウントレベルの認証状態遷移に組み込む。
セキュリティ分析は、標準的な暗号的仮定の下では、VCTがアカウントレベルの会話記録の完全性、一貫性、検証可能な共有性、非監査を保証することを証明している。
論文 参考訳（メタデータ） (2026-06-22T08:17:39Z) - FERA: Uncertainty-Aware Federated Reasoning for Large Language Models [60.52562148874846]
我々は、サーバがプライベートなデモンストレーションを行う異種クライアントと協調することで、多段階推論を改善するフェデレーション推論について研究する。
重要な課題は、クライアントの信頼性がクエリ依存であるのに対して、サーバはクライアントデータを検査して、どのコントリビューションが信頼できるかを判断できません。
本稿では,サーバクライアントの反復的コリファインメントに基づくトレーニングフリーフレームワークである Uncertainty-Aware Federated Reasoning (FERA) を提案する。
論文 参考訳（メタデータ） (2026-05-11T07:04:51Z) - Compiling Activation Steering into Weights via Null-Space Constraints for Stealthy Backdoors [48.881343993730844]
安全性に整合した大規模言語モデル(LLM)は、現実世界のパイプラインにますますデプロイされている。
敵は通常の評価では動作しないバックドアのチェックポイントを配布することができる。
最近のポストホック重み付け法は、そのようなバックドアを注入するための効率的なアプローチを提供する。
論文 参考訳（メタデータ） (2026-04-14T06:48:33Z) - OrgForge: A Multi-Agent Simulation Framework for Verifiable Synthetic Corporate Corpora [0.0]
本稿では,厳密な物理認識境界を強制するオープンソースのマルチエージェントシミュレーションフレームワークOrgForgeを紹介する。
アクターローカルクロックは、すべてのアーティファクトタイプにわたって因果タイムスタンプの正しさを強制する。
N日間のシミュレーションを実行すると、OrgForgeはインターリーブされたSlackスレッド、チケット、Confluenceページ、Gitのプルリクエスト、Eメールを生成する。
論文 参考訳（メタデータ） (2026-03-16T09:02:24Z) - STAMP: Outlier-Aware Test-Time Adaptation with Stable Memory Replay [76.06127233986663]
テスト時間適応(TTA)は、トレーニングデータとテストデータの間の分散シフトに、未ラベルのデータのみを用いて対処することを目的としている。
本稿では,サンプル認識とオフリエ拒絶の両方を行う問題に注意を払っている。
本稿では,STAble Memory rePlay (STAMP) と呼ばれる新しい手法を提案する。
論文 参考訳（メタデータ） (2024-07-22T16:25:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。