論文の概要: Impacts of floating-point non-associativity on reproducibility for HPC and deep learning applications
- arxiv url: http://arxiv.org/abs/2408.05148v3
- Date: Wed, 30 Oct 2024 16:52:42 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-08 12:00:36.019251
- Title: Impacts of floating-point non-associativity on reproducibility for HPC and deep learning applications
- Title（参考訳）: HPCとディープラーニングの再現性に及ぼす浮動小数点非連想性の影響
- Authors: Sanjif Shanmugavelu, Mathieu Taillefumier, Christopher Culver, Oscar Hernandez, Mark Coletti, Ada Sedova,
- Abstract要約: 浮動小数点非連想性に起因する並列プログラムにおける変数の実行は、アルゴリズムに大きな影響を与えることが知られている。
並列プログラミングモデルにおける浮動小数点非連想性の統計的性質について検討する。
我々は、ディープラーニングのためのGPUデプロイメントのコンテキスト内で、最近追加されたPyTorchの決定論的オプションについて検討する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Run to run variability in parallel programs caused by floating-point non-associativity has been known to significantly affect reproducibility in iterative algorithms, due to accumulating errors. Non-reproducibility can critically affect the efficiency and effectiveness of correctness testing for stochastic programs. Recently, the sensitivity of deep learning training and inference pipelines to floating-point non-associativity has been found to sometimes be extreme. It can prevent certification for commercial applications, accurate assessment of robustness and sensitivity, and bug detection. New approaches in scientific computing applications have coupled deep learning models with high-performance computing, leading to an aggravation of debugging and testing challenges. Here we perform an investigation of the statistical properties of floating-point non-associativity within modern parallel programming models, and analyze performance and productivity impacts of replacing atomic operations with deterministic alternatives on GPUs. We examine the recently-added deterministic options in PyTorch within the context of GPU deployment for deep learning, uncovering and quantifying the impacts of input parameters triggering run to run variability and reporting on the reliability and completeness of the documentation. Finally, we evaluate the strategy of exploiting automatic determinism that could be provided by deterministic hardware, using the Groq accelerator for inference portions of the deep learning pipeline. We demonstrate the benefits that a hardware-based strategy can provide within reproducibility and correctness efforts.
- Abstract（参考訳）: 浮動小数点非連想性に起因する並列プログラムにおける変数の実行は、誤りの蓄積による反復アルゴリズムの再現性に大きな影響を与えることが知られている。
非再現性は確率的プログラムの正当性テストの効率性と有効性に重大な影響を与える。
近年,浮動小数点非連想性に対する深層学習訓練や推論パイプラインの感度は極端であることが判明している。
商用アプリケーションの認証、堅牢性と感度の正確な評価、バグ検出を防止できる。
科学計算アプリケーションにおける新しいアプローチは、ディープラーニングモデルと高性能コンピューティングを結合し、デバッグとテストの課題が増大した。
本稿では、現代の並列プログラミングモデルにおける浮動小数点非連想性の統計的性質の調査を行い、原子演算をGPU上の決定論的代替品に置き換えることによる性能と生産性への影響を分析する。
我々は、ディープラーニングのためのGPUデプロイメントのコンテキスト内で、最近追加されたPyTorchの決定論的オプションを調べ、変数の実行を誘発する入力パラメータの影響を明らかにし、定量化し、ドキュメントの信頼性と完全性について報告する。
最後に,ディープラーニングパイプラインの推論部分にGroqアクセラレータを用いて,決定論的ハードウェアによって提供可能な自動決定性を活用する戦略を評価する。
再現性と正しさの努力の中で、ハードウェアベースの戦略がもたらすメリットを実証する。
関連論文リスト
- FGP: Feature-Gradient-Prune for Efficient Convolutional Layer Pruning [16.91552023598741]
本稿では,FGP (Feature-Gradient Pruning) と呼ばれる新しいプルーニング手法を提案する。
特徴に基づく情報と勾配に基づく情報を統合し、様々なターゲットクラスにおけるチャネルの重要性をより効果的に評価する。
複数のタスクやデータセットにまたがる実験により、FGPは計算コストを大幅に削減し、精度損失を最小化することが示された。
論文 参考訳（メタデータ） (2024-11-19T08:42:15Z) - Gradient Descent Efficiency Index [0.0]
本研究では,各イテレーションの有効性を定量化するために,新しい効率指標Ekを導入する。
提案した測定基準は、誤差の相対的変化と繰り返し間の損失関数の安定性の両方を考慮に入れている。
Ekは、機械学習アプリケーションにおける最適化アルゴリズムの選択とチューニングにおいて、より詳細な決定を導く可能性がある。
論文 参考訳（メタデータ） (2024-10-25T10:22:22Z) - Switchable Decision: Dynamic Neural Generation Networks [98.61113699324429]
本稿では,各データインスタンスのリソースを動的に割り当てることで,推論を高速化するスイッチブルな決定を提案する。
提案手法は, 同一の精度を維持しながら, 推論時のコスト低減に有効である。
論文 参考訳（メタデータ） (2024-05-07T17:44:54Z) - Equation Discovery with Bayesian Spike-and-Slab Priors and Efficient Kernels [57.46832672991433]
ケルネル学習とBayesian Spike-and-Slab pres (KBASS)に基づく新しい方程式探索法を提案する。
カーネルレグレッションを用いてターゲット関数を推定する。これはフレキシブルで表現力があり、データ空間やノイズに対してより堅牢である。
我々は,効率的な後部推論と関数推定のための予測伝搬予測最大化アルゴリズムを開発した。
論文 参考訳（メタデータ） (2023-10-09T03:55:09Z) - Improving robustness of jet tagging algorithms with adversarial training [56.79800815519762]
本研究では,フレーバータグ付けアルゴリズムの脆弱性について,敵攻撃による検証を行った。
シミュレーション攻撃の影響を緩和する対人訓練戦略を提案する。
論文 参考訳（メタデータ） (2022-03-25T19:57:19Z) - On Efficient Uncertainty Estimation for Resource-Constrained Mobile
Applications [0.0]
予測の不確実性は、モデル予測を補完し、下流タスクの機能を改善します。
Axolotlフレームワークを用いてモンテカルロ・ドロップアウト(MCDO)モデルを構築することでこの問題に対処する。
我々は,(1)CIFAR10データセットを用いた多クラス分類タスク,(2)より複雑な人体セグメンテーションタスクについて実験を行った。
論文 参考訳（メタデータ） (2021-11-11T22:24:15Z) - Convolutional generative adversarial imputation networks for
spatio-temporal missing data in storm surge simulations [86.5302150777089]
GAN(Generative Adversarial Imputation Nets)とGANベースの技術は、教師なし機械学習手法として注目されている。
提案手法を Con Conval Generative Adversarial Imputation Nets (Conv-GAIN) と呼ぶ。
論文 参考訳（メタデータ） (2021-11-03T03:50:48Z) - Probabilistic robust linear quadratic regulators with Gaussian processes [73.0364959221845]
ガウス過程(GP)のような確率モデルは、制御設計に続く使用のためのデータから未知の動的システムを学ぶための強力なツールです。
本稿では、確率的安定性マージンに関して堅牢なコントローラを生成する線形化GPダイナミクスのための新しいコントローラ合成について述べる。
論文 参考訳（メタデータ） (2021-05-17T08:36:18Z) - Bayesian Active Learning for Wearable Stress and Affect Detection [0.7106986689736827]
デバイス上での深層学習アルゴリズムによるストレス検出は、広汎なコンピューティングの進歩により増加傾向にある。
本稿では,ベイズニューラルネットワークの近似によるモデル不確実性を表現可能なフレームワークを提案する。
提案手法は, 提案手法により, 推定時の効率を著しく向上し, 獲得したプール点数がかなり少なくなる。
論文 参考訳（メタデータ） (2020-12-04T16:19:37Z) - Uncertainty Quantification for Deep Context-Aware Mobile Activity
Recognition and Unknown Context Discovery [85.36948722680822]
我々はα-βネットワークと呼ばれる深層モデルのコンテキスト認識混合を開発する。
高レベルの文脈を識別することで、精度とFスコアを10%向上させる。
トレーニングの安定性を確保するために、公開データセットと社内データセットの両方でクラスタリングベースの事前トレーニングを使用しました。
論文 参考訳（メタデータ） (2020-03-03T19:35:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。