論文の概要: Evaluation-Strategy Gap in Fault Diagnosis of Deep Learning Programs

• arxiv url: http://arxiv.org/abs/2606.26492v1
• Date: Thu, 25 Jun 2026 00:52:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-26 18:46:32.12404
• Title: Evaluation-Strategy Gap in Fault Diagnosis of Deep Learning Programs
• Title（参考訳）: 深層学習プログラムの故障診断における評価戦略ギャップ
• Abstract要約: ディープラーニング(DL)プログラムは、多くの理由でトレーニング中に失敗する可能性がある。 このような障害を診断する技術は、プログラム内のクロスバリデーションを用いて一般的に評価される。 このギャップを実世界38のDLプログラムから5,542の故障注入訓練トレースをコーパスとしてDynFaultを用いて検討する。
• 参考スコア（独自算出の注目度）: 0.8883733362171032
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep Learning (DL) programs can fail during training for many reasons, and diagnosing the cause is a costly and time-consuming maintenance task. Techniques for diagnosing such failures are commonly assessed using within-program cross-validation, which may be inadequate for deployment settings involving previously unseen programs. It is therefore necessary to assess how performance differs across these settings and to identify the causes of any performance gap in established fault diagnosis techniques for DL. We investigate this gap using DynFault, a corpus of 5,542 fault-injected training traces from 38 real-world DL programs. We found a gap of 0.190 in balanced accuracy for existing fault diagnosis techniques between within-program evaluation and holding out whole programs. We also found the gap comes from program-level structure in the features, which led us to examine two runtime feature sets, curvature features and optimizer features, and their behavior on unseen programs. We found that curvature features are useful for instability detection on unseen programs, while optimizer and activation features help only on programs seen during training.
• Abstract（参考訳）: ディープラーニング(DL)プログラムは、多くの理由でトレーニング中に失敗する可能性がある。 このような障害を診断するためのテクニックは、プログラム内のクロスバリデーションを使って一般的に評価される。 したがって、これらの設定間で性能がどう異なるかを評価し、DLのための確立された故障診断技術において、パフォーマンスギャップの原因を特定する必要がある。 このギャップを実世界38のDLプログラムから5,542の故障注入訓練トレースをコーパスとしてDynFaultを用いて検討する。 プログラム内評価とプログラム全体の保持の間には,既存の故障診断手法のバランス精度に0.190のギャップがあることが判明した。 また、このギャップはプログラムレベルの機能構造から生じており、2つの実行時機能セット、曲率機能とオプティマイザ機能、そして見当たらないプログラム上での動作について調べることができた。 学習中のプログラムのみに最適化機能とアクティベーション機能が有効であるのに対して,曲率機能は目に見えないプログラムの不安定性検出に有用であることがわかった。

関連論文リスト

• Can Large Language Models Generate Observability-Aware Code? [51.30941152293301]
  本稿では,エージェント生成システムにおける可観測性に関する系統的研究を行う。 その結果,ソースレベルでの診断的セマンティクスと実行時の障害信号との間には,一貫したギャップがあることが判明した。 本稿では,診断的意味論と故障信号暴露の両方を改善するためのガイダンスとして,可観測性指向のスキルを導入する。
  論文  参考訳（メタデータ） (2026-07-07T03:20:52Z)
• FreeGAD: A Training-Free yet Effective Approach for Graph Anomaly Detection [54.576802512108685]
  Graph Anomaly Detection (GAD)は、グラフ内の多数から逸脱するノードを特定することを目的としている。 既存のアプローチは、複雑でリソース集約的なトレーニングプロセスのために、高デプロイメントコストとスケーラビリティの不足に悩まされることが多い。 新たなGAD法であるFreeGADを提案する。
  論文  参考訳（メタデータ） (2025-08-14T12:37:20Z)
• Specification-Guided Repair of Arithmetic Errors in Dafny Programs using LLMs [79.74676890436174]
  本稿では,障害の局所化と修復のためのオラクルとして形式仕様を用いたDafny用のAPRツールを提案する。 プログラム内の各ステートメントの状態を決定するために、Hoareロジックの使用を含む一連のステップを通じて、障害をローカライズします。 また, GPT-4o miniが74.18%と高い修理成功率を示した。
  論文  参考訳（メタデータ） (2025-07-04T15:36:12Z)
• Training Language Models to Generate Quality Code with Program Analysis Feedback [66.0854002147103]
  大規模言語モデル(LLM)によるコード生成は、ますます本番環境で採用されているが、コード品質の保証には失敗している。 実運用品質のコードを生成するためにLLMにインセンティブを与える強化学習フレームワークであるREALを提案する。
  論文  参考訳（メタデータ） (2025-05-28T17:57:47Z)
• How Execution Features Relate to Failures: An Empirical Study and Diagnosis Approach [11.857060911501016]
  障害のローカライゼーションは、障害の原因となる可能性のあるコード領域を特定することを目的としている。 従来のテクニックは主にステートメントの実行と失敗を関連付けています。 我々は17の実行特徴を分析し,その相関性を評価した。
  論文  参考訳（メタデータ） (2025-02-25T22:00:05Z)
• Improved Detection and Diagnosis of Faults in Deep Neural Networks Using Hierarchical and Explainable Classification [3.2623791881739033]
  本稿では,DeFaultについて紹介する。Deep Neural Networks (DNN)プログラムの欠陥を検出し診断する新しい手法である。 提案手法は, 実世界のDNNプログラムの検出において94%のリコール, 63%のリコールを達成し, 欠陥の根本原因の診断において, 最先端技術よりも3.92%～11.54%高いパフォーマンスを示した。
  論文  参考訳（メタデータ） (2025-01-22T00:55:09Z)
• Analysing software failure using runtime verification and LTL [0.0]
  自己修復ソフトウェアシステムは、人間の介入なしに故障やエラーを検出し、診断し、自動的に回復するように設計されている。 本研究では,4種類のエラーをコンポーネントレベルで診断するための実行時検証手法を提案する。
  論文  参考訳（メタデータ） (2024-02-15T13:37:45Z)
• Weak Supervision Performance Evaluation via Partial Identification [46.73061437177238]
  Programmatic Weak Supervision (PWS) は、地上の真理ラベルに直接アクセスすることなく、教師付きモデルトレーニングを可能にする。 本稿では,モデル評価を部分的同定問題としてフレーミングすることで,この問題に対処する新しい手法を提案する。 提案手法は,従来の弱監督評価手法において,ラベル付きデータを必要とせず,重要な指標に信頼性のあるバウンダリを導出する。
  論文  参考訳（メタデータ） (2023-12-07T07:15:11Z)
• PULL: Reactive Log Anomaly Detection Based On Iterative PU Learning [58.85063149619348]
  本稿では,推定故障時間ウィンドウに基づくリアクティブ異常検出のための反復ログ解析手法PULLを提案する。 我々の評価では、PULLは3つの異なるデータセットで10のベンチマークベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2023-01-25T16:34:43Z)
• Self-Supervised Training with Autoencoders for Visual Anomaly Detection [61.62861063776813]
  我々は, 正規サンプルの分布を低次元多様体で支持する異常検出において, 特定のユースケースに焦点を当てた。 我々は、訓練中に識別情報を活用する自己指導型学習体制に適応するが、通常の例のサブ多様体に焦点をあてる。 製造領域における視覚異常検出のための挑戦的なベンチマークであるMVTec ADデータセットで、最先端の新たな結果を達成する。
  論文  参考訳（メタデータ） (2022-06-23T14:16:30Z)
• DeepFD: Automated Fault Diagnosis and Localization for Deep Learning Programs [15.081278640511998]
  DeepFDは学習ベースの障害診断およびローカライゼーションフレームワークである。 フォールトローカライゼーションタスクを学習問題にマップする。 52%の欠陥DLプログラムを正しく診断し、最先端の成果によって達成された約半分(27%)と比較する。
  論文  参考訳（メタデータ） (2022-05-04T08:15:56Z)
• Estimating Structural Target Functions using Machine Learning and Influence Functions [103.47897241856603]
  統計モデルから特定可能な関数として生じる対象関数の統計的機械学習のための新しい枠組みを提案する。 このフレームワークは問題とモデルに依存しないものであり、応用統計学における幅広い対象パラメータを推定するのに使用できる。 我々は、部分的に観測されていない情報を持つランダム/二重ロバストな問題において、いわゆる粗大化に特に焦点をあてた。
  論文  参考訳（メタデータ） (2020-08-14T16:48:29Z)
• Probabilistic Diagnostic Tests for Degradation Problems in Supervised Learning [0.0]
  分類アルゴリズムにおけるクラス不均衡、重なり合い、小さな分散、ノイズラベル、スパース限界精度などの問題。 各問題の兆候と症状の同定に基づく確率診断モデルを示す。 いくつかの教師付きアルゴリズムの動作と性能は、トレーニングセットにそのような問題がある場合に研究される。
  論文  参考訳（メタデータ） (2020-04-06T20:32:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。