論文の概要: PEAT: Pseudo-Error Assessment for GPU Kernel Validation in DNN Training

• arxiv url: http://arxiv.org/abs/2609.13544v1
• Date: Fri, 11 Sep 2026 21:16:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 07:15:05.381221
• Title: PEAT: Pseudo-Error Assessment for GPU Kernel Validation in DNN Training
• Title（参考訳）: PEAT:DNNトレーニングにおけるGPUカーネル検証のための擬似エラー評価
• Abstract要約: 我々は、DNNアンダーラインTrainingにおけるGPUカーネル検証に関連するアンダーラインPseudo-underlineErrorアンダーライン評価のための軽量検査フレームワークPEATを提案する。 従来のフォールトインジェクション(FI)にインスパイアされたPEATのプロファイラは、トレーニングフロー内のオペレーションワイドカーネルを起動し、モデルの状態を収集する。 PEATのAnalyzerはプロファイルエラーを特徴付け、ゴールデンエラーと比較してカーネルのエラー分布からのいくつかのシグネチャを明らかにしている。
• 参考スコア（独自算出の注目度）: 1.0132958091492892
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Deep neural networks (DNNs) are widely adopted in various fields, driving an emerging trend in developing software stacks associated with DNN training systems. For example, many codes have been ported across different frameworks or developed to leverage the computing power of GPUs or domain-specific accelerators. However, validating a kernel implementation in DNN training is time-consuming and generally requires massive storage. Specifically, this poses a fundamental question: how to characterize the behavior of a new implementation when it is integrated into a DNN training flow. Unfortunately, this problem is not well investigated in the literature, to the best of our knowledge. To address this shortcoming, we present PEAT - a lightweight inspection framework for \underline{P}seudo-\underline{E}rror \underline{A}ssessment associated with GPU kernel validation in DNN \underline{T}raining. Firstly, inspired by conventional fault injection (FI), PEAT's Profiler invokes an operation-wise kernel in a training flow to collect a DNN model's states (e.g., checkpoints and activations). More importantly, the Profiler introduces two simple yet effective techniques, playback FI and frequency-based runtime FI, leveraging persistent kernel calling during the training process. Secondly, PEAT's Analyzer characterizes profiled errors, revealing some signatures from the error distribution of a kernel compared to the golden one. Lastly, PEAT's Detector provides some guidelines as a sufficient condition, which enables associating several well-known error models with signature patterns. We demonstrate the applicability of our approach by presenting the results and analysis using GPUs from the two most popular vendors, NVIDIA V100 and AMD MI250, on various AI models, from vision tasks to language models, for both pretraining and finetuning scenarios.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)は、さまざまな分野で広く採用されており、DNNトレーニングシステムに関連するソフトウェアスタックの開発において、新たなトレンドとなっている。 例えば、さまざまなフレームワークに移植されたり、GPUやドメイン固有のアクセラレータの計算能力を活用するために開発されたコードが多い。 しかし、DNNトレーニングにおけるカーネル実装の検証には時間がかかるため、一般的に大量のストレージを必要とする。 具体的には、DNNトレーニングフローに統合された場合、どのように新しい実装の振る舞いを特徴付けるか、という根本的な疑問が浮かび上がっています。 残念ながら、この問題は文献ではあまりよく研究されていない。 この欠点に対処するために、DNN \underline{T}レイニングにおけるGPUカーネルの検証に付随する、 \underline{P}seudo-\underline{E}rror \underline{A}ssessment用の軽量検査フレームワークPEATを提案する。 まず、従来のフォールトインジェクション(FI)にインスパイアされたPEATのプロファイラは、DNNモデルの状態(例えば、チェックポイントとアクティベーション)を収集するために、トレーニングフロー内のオペレーションワイドカーネルを起動する。 さらに重要なのは、Profilerは、トレーニングプロセス中に永続的なカーネル呼び出しを活用する、FIと周波数ベースのランタイムFIという、シンプルで効果的な2つのテクニックを導入していることだ。 第2に、PEATのAnalyzerはプロファイルエラーを特徴付け、黄金のものと比べ、カーネルのエラー分布からのいくつかのシグネチャを明らかにする。 最後に、PEAT の Detector は十分な条件としていくつかのガイドラインを提供しており、よく知られたエラーモデルとシグネチャパターンを関連付けることができる。 我々は、視覚タスクから言語モデルまで、さまざまなAIモデル上で、NVIDIA V100とAMD MI250の2つの最もポピュラーなベンダーのGPUを用いた結果と分析を事前学習と微調整のシナリオで提示することで、このアプローチの適用性を実証する。

関連論文リスト

• Achieving Near-Zero-Overhead Multi-Model Hierarchical Classification in Real-Time Detection Pipelines [0.0]
  ターゲット認識、監視、自動運転車、ドローンドメインにおけるエッジデプロイされた視覚システムは、階層的な推論パイプラインを必要とする。 GPU上ですべてのモデルを実行すると、パイプラインが成長するにつれてリアルタイムスループットを制限するシリアルボトルネックが発生する。 ゼロフォールバックDLAバックボーンに対する5段階の手法を提案する。
  論文  参考訳（メタデータ） (2026-08-12T08:14:22Z)
• ChipMATE: Multi-Agent Training via Reinforcement Learning for Enhanced RTL Generation [55.947962672433675]
  ChipMATEは、RTL生成のための最初の自己学習型マルチエージェントフレームワークである。 ChipMATEは産業的な実践に触発され、VerilogエージェントとPythonのリファレンスモデルエージェントをペアにし、相互に出力を検証する。 ChipMATEは、VerilogEval V2で75.0%と80.1%パス@1を4Bと9Bベースモデルで達成している。
  論文  参考訳（メタデータ） (2026-05-13T01:04:21Z)
• Speeding Up Mixed-Integer Programming Solvers with Sparse Learning for Branching [0.5352699766206809]
  強い分岐(SB)スコアの近似に焦点をあてる。 我々は、最先端グラフニューラルネットワーク(GNN)のパラメータの4%未満のモデルを構築している。 SCIPの組み込みブランチルールとGNNベースのモデルとは対照的に、CPUのみのモデルはデフォルトのソルバやGPUアクセラレーションGNNよりも高速です。
  論文  参考訳（メタデータ） (2026-03-31T18:17:56Z)
• Generative Modeling of Regular and Irregular Time Series Data via Koopman VAEs [50.25683648762602]
  モデルの新しい設計に基づく新しい生成フレームワークであるKoopman VAEを紹介する。 クープマン理論に触発され、線形写像を用いて潜在条件事前力学を表現する。 KoVAEは、いくつかの挑戦的な合成および実世界の時系列生成ベンチマークにおいて、最先端のGANおよびVAEメソッドより優れている。
  論文  参考訳（メタデータ） (2023-10-04T07:14:43Z)
• Exploring Tradeoffs in Spiking Neural Networks [0.0]
  Spiking Neural Networks(SNN)は、低消費電力コンピューティングのための従来のDeep Neural Networksに代わる有望な代替品として登場した。 スパイク制約の緩和は、より高速な収束、類似の空間性、同等の予測遅延、TTFS SNNと比較してノイズに対するロバスト性の向上といったメリットを享受しつつ、より高いパフォーマンスを提供することを示す。
  論文  参考訳（メタデータ） (2022-12-15T20:18:14Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Testing Feedforward Neural Networks Training Programs [13.249453757295083]
  ディープニューラルネットワークの動作の不整合を露呈するテストケースを生成するために、複数のテスト技術が提案されている。 これらのテクニックは、トレーニングプログラムがバグフリーで適切に設定されていることを暗黙的に仮定する。 本稿では,DNNトレーニングプログラムのエンドツーエンドなプロパティベースのデバッグ手法であるTheDeepCheckerを提案する。
  論文  参考訳（メタデータ） (2022-04-01T20:49:14Z)
• DNN Training Acceleration via Exploring GPGPU Friendly Sparsity [16.406482603838157]
  本稿では、従来のランダムなニューロンやシナプスのドロップアウトを、通常のオンラインの行ベースもしくはタイルベースのドロップアウトパターンに置き換える近似ランダムドロップアウトを提案する。 次に,SGDに基づく探索アルゴリズムを開発し,行ベースあるいはタイルベースのドロップアウトパターンの分布を生成し,潜在的な精度損失を補う。 また,入力特徴図をその感度に基づいて動的にドロップアウトし,前向きおよび後向きのトレーニングアクセラレーションを実現するための感度対応ドロップアウト手法を提案する。
  論文  参考訳（メタデータ） (2022-03-11T01:32:03Z)
• Rethinking Nearest Neighbors for Visual Classification [56.00783095670361]
  k-NNは、トレーニングセット内のテストイメージとトップk隣人間の距離を集約する遅延学習手法である。 我々は,教師付き手法と自己監督型手法のいずれでも,事前学習した視覚表現を持つk-NNを2つのステップで採用する。 本研究は,幅広い分類タスクに関する広範な実験により,k-NN統合の汎用性と柔軟性を明らかにした。
  論文  参考訳（メタデータ） (2021-12-15T20:15:01Z)
• Online Limited Memory Neural-Linear Bandits with Likelihood Matching [53.18698496031658]
  本研究では,探索学習と表現学習の両方が重要な役割を果たす課題を解決するために,ニューラルネットワークの帯域について検討する。 破滅的な忘れ込みに対して耐性があり、完全にオンラインである可能性の高いマッチングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-02-07T14:19:07Z)
• Binary Graph Neural Networks [69.51765073772226]
  グラフニューラルネットワーク(gnns)は、不規則データに対する表現学習のための強力で柔軟なフレームワークとして登場した。 本稿では,グラフニューラルネットワークのバイナライゼーションのための異なる戦略を提示し,評価する。 モデルの慎重な設計とトレーニングプロセスの制御によって、バイナリグラフニューラルネットワークは、挑戦的なベンチマークの精度において、適度なコストでトレーニングできることを示しています。
  論文  参考訳（メタデータ） (2020-12-31T18:48:58Z)
• Learning Low-rank Deep Neural Networks via Singular Vector Orthogonality Regularization and Singular Value Sparsification [53.50708351813565]
  各ステップにSVDを適用することなく、トレーニング中に低ランクDNNを明示的に達成する最初の方法であるSVDトレーニングを提案する。 SVDトレーニングがDNN層のランクを著しく低減し,同じ精度で計算負荷の低減を実現することを実証的に示す。
  論文  参考訳（メタデータ） (2020-04-20T02:40:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。