論文の概要: Training with Confidence: Catching Silent Errors in Deep Learning Training with Automated Proactive Checks

• arxiv url: http://arxiv.org/abs/2506.14813v1
• Date: Fri, 06 Jun 2025 05:34:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-22 23:32:14.698123
• Title: Training with Confidence: Catching Silent Errors in Deep Learning Training with Automated Proactive Checks
• Title（参考訳）: 信頼によるトレーニング: 自動前向きチェックによる深層学習における無作為なエラーのキャッチ
• Authors: Yuxuan Jiang, Ziming Zhou, Boyu Xu, Beijie Liu, Runhui Xu, Peng Huang,
• Abstract要約: ディープラーニング(DL)モデルのトレーニングは複雑なプロセスであり,検出と診断が困難なサイレントエラーに陥りやすい。 本稿では,サイレントトレーニングエラーに対処するために,積極的にチェックを行うフレームワークであるTRAINCHECKを提案する。
• 参考スコア（独自算出の注目度）: 1.3989375281199534
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Training deep learning (DL) models is a complex process, making it prone to silent errors that are challenging to detect and diagnose. This paper presents TRAINCHECK, a framework that takes a proactive checking approach to address silent training errors. TRAINCHECK automatically infers invariants tailored for DL training. It uses these invariants to proactively detect silent errors during the training process while providing debugging help. To evaluate TRAINCHECK, we reproduce 20 real-world silent training errors with diverse root causes. TRAINCHECK successfully detects 18 errors within a single training iteration. It also uncovers 6 unknown bugs in popular training libraries that lead to silent errors.
• Abstract（参考訳）: ディープラーニング(DL)モデルのトレーニングは複雑なプロセスであり,検出と診断が困難なサイレントエラーに陥りやすい。 本稿では,サイレントトレーニングエラーに対処するために,積極的にチェックを行うフレームワークであるTRAINCHECKを提案する。 TRAINCHECKはDLトレーニングに適した不変量を自動推論する。 これらの不変性を使用して、トレーニングプロセス中にサイレントエラーを積極的に検出し、デバッグ支援を提供する。 TRAINCHECKを評価するために,多種多様な根本原因を持つ実世界のサイレントトレーニングエラーを20回再現する。 TRAINCHECKは、単一のトレーニングイテレーションで18のエラーを正常に検出する。 また、一般的なトレーニングライブラリの6つの未知のバグを発見し、サイレントエラーを引き起こしている。

関連論文リスト

• TTrace: Lightweight Error Checking and Diagnosis for Distributed Training [11.495985629423041]
  TTraceは、分散トレーニングにおいて、サイレントバグを検出し、ローカライズする最初のシステムである。 TTraceは、BF16およびFP8を含む低精度なレシピを含む様々なトレーニングレシピに有効である。
  論文  参考訳（メタデータ） (2025-06-10T22:39:14Z)
• Technical Report for Egocentric Mistake Detection for the HoloAssist Challenge [5.257305312436567]
  手続き的エラーと実行的エラーの両方を処理するオンライン誤り検出フレームワークを導入する。 誤りを検知すると、説明的フィードバックを生成するために大きな言語モデル(LLM)を使用する。 HoloAssistベンチマークの実験により,本手法の有効性が確認された。
  論文  参考訳（メタデータ） (2025-06-06T15:39:09Z)
• Subtle Errors in Reasoning: Preference Learning via Error-injected Self-editing [59.405145971637204]
  eRror-Injected Self-Editing (RISE) と呼ばれる新しい好み学習フレームワークを提案する。 RISEは、事前定義された微妙なエラーをピボットトークンに注入する。 RISEの有効性を検証する実験では、Qwen2-7B-Instructでの優先学習により、GSM8Kでは3.0%、MATHでは7.9%が顕著に改善され、トレーニングサンプルは4.5Kに留まった。
  論文  参考訳（メタデータ） (2024-10-09T07:43:38Z)
• How the Training Procedure Impacts the Performance of Deep Learning-based Vulnerability Patching [14.794452134569475]
  本稿では、脆弱性パッチ作成のための自己教師付きおよび教師付き事前訓練の既存のソリューションを比較した。 データ収集のコストは高いが、DLベースの脆弱性パッチングを大幅に改善することを発見した。 この教師付き事前訓練モデルの上にプロンプトチューニングを適用すると、性能が著しく向上することはない。
  論文  参考訳（メタデータ） (2024-04-27T13:08:42Z)
• A Close Look into the Calibration of Pre-trained Language Models [56.998539510508515]
  事前訓練された言語モデル(PLM)は、予測の不確かさを確実に見積もることに失敗する可能性がある。 トレーニングにおけるPLMの校正性能の動的変化について検討する。 最近提案された2つの学習可能な手法を拡張して、モデルを直接収集し、合理的な信頼度を推定する。
  論文  参考訳（メタデータ） (2022-10-31T21:31:07Z)
• Robust Unlearnable Examples: Protecting Data Against Adversarial Learning [77.6015932710068]
  本稿では,誤り最小化ノイズを付加することにより,ディープラーニングモデルにデータを学習不能にすることを提案する。 本稿では,敵の訓練から保護される頑健な学習不可能な事例を生成するための新しい手法を設計する。 実験により, 強靭な誤り最小化ノイズによる難読性は, 種々のシナリオにおいて, 敵の訓練からデータを効果的に保護できることが示唆された。
  論文  参考訳（メタデータ） (2022-03-28T07:13:51Z)
• Unsupervised Class-Incremental Learning Through Confusion [0.4604003661048266]
  入ってくるデータを新しいクラスとして訓練することによるネットワークの混乱を生かした新規性検出手法を提案する。 この検出方法中にクラスアンバランスを組み込むことで、パフォーマンスが大幅に向上することがわかった。
  論文  参考訳（メタデータ） (2021-04-09T15:58:43Z)
• Cockpit: A Practical Debugging Tool for Training Deep Neural Networks [27.96164890143314]
  学習機械の内部動作をより深く観察することのできる機器のコレクションを提示する。 これらの機器は勾配分布と曲率に関する新しい高次情報を利用する。
  論文  参考訳（メタデータ） (2021-02-12T16:28:49Z)
• On the Robustness of Language Encoders against Grammatical Errors [66.05648604987479]
  我々は、非ネイティブ話者から実際の文法的誤りを収集し、これらの誤りをクリーンテキストデータ上でシミュレートするために敵攻撃を行う。 結果,全ての試験モデルの性能は影響するが,影響の程度は異なることがわかった。
  論文  参考訳（メタデータ） (2020-05-12T11:01:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。