論文の概要: Impacts of floating-point non-associativity on reproducibility for HPC and deep learning applications
- arxiv url: http://arxiv.org/abs/2408.05148v2
- Date: Fri, 23 Aug 2024 17:40:15 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-26 17:21:03.884611
- Title: Impacts of floating-point non-associativity on reproducibility for HPC and deep learning applications
- Title（参考訳）: HPCとディープラーニングの再現性に及ぼす浮動小数点非連想性の影響
- Authors: Sanjif Shanmugavelu, Mathieu Taillefumier, Christopher Culver, Oscar Hernandez, Mark Coletti, Ada Sedova,
- Abstract要約: 浮動小数点非連想性(FPNA)による並列プログラムのラン・バイ・ランの変動はアルゴリズムに大きな影響を与えることが知られている。
本稿では,並列プログラミングモデルにおけるFPNAの統計的特性について検討する。
我々は、最近追加されたPyTorchフレームワークにおける決定論的オプションについて、GPUデプロイメントのコンテキスト内で検討する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Run-by-run variability in parallel programs caused by floating-point non-associativity (FPNA) has been known to significantly affect reproducibility in iterative algorithms, due to accumulating errors. Non-reproducibility negatively affects efficiency and effectiveness of correctness testing for stochastic programs. Recently, the sensitivity of deep learning (DL) training and inference pipelines to FPNA have been found to be extreme, and can prevent certification for commercial applications, accurate assessment of robustness and sensitivity, and bug detection. New approaches in scientific computing applications have coupled DL models with high-performance computing (HPC) simulations, leading to an aggravation of debugging and testing challenges. Here we perform an investigation of the statistical properties of FPNA within modern parallel programming models, analyze performance and productivity impacts of replacing atomic operations with deterministic alternatives on GPUs, and examine the recently-added deterministic options within the PyTorch framework within the context of GPU deployment, uncovering and quantifying the impacts of input parameters triggering run-by-run variability and reporting on the reliability and completeness of the documentation. Finally, we evaluate the strategy of exploiting automatic determinism provided by deterministic hardware, using the Groq LPU$^{TM}$ accelerator for inference portions of the DL pipeline. We demonstrate the benefits that this strategy can provide within reproducibility and correctness efforts.
- Abstract（参考訳）: 浮動小数点非連想性(FPNA)による並列プログラムのラン・バイ・ランの変動は、反復アルゴリズムの再現性に大きな影響を与えることが知られている。
非再現性は確率的プログラムの正確性テストの効率と有効性に悪影響を及ぼす。
近年、深層学習(DL)トレーニングとFPNAへの推論パイプラインの感度は極端であり、商用アプリケーションへの認証、堅牢性と感度の正確な評価、バグ検出を防止できることが判明している。
科学計算アプリケーションにおける新しいアプローチは、DLモデルと高性能コンピューティング(HPC)シミュレーションを結合し、デバッグとテストの課題が増大した。
ここでは、現代の並列プログラミングモデルにおけるFPNAの統計的性質の調査、GPU上でのアトミック操作を決定論的代替品に置き換えるパフォーマンスと生産性への影響の分析、GPUデプロイメントのコンテキスト内で最近追加されたPyTorchフレームワーク内の決定論的オプションの検討、実行時の変動を誘発する入力パラメータの影響の解明と定量化、およびドキュメントの信頼性と完全性に関する報告を行う。
最後に,DLパイプラインの推論部分にGroq LPU$^{TM}$アクセラレータを用いて,決定論的ハードウェアによって提供される自動決定性を活用する戦略を評価する。
我々はこの戦略が再現性と正しさの努力の中でもたらす利益を実証する。
関連論文リスト
- Gradient Descent Efficiency Index [0.0]
本研究では,各イテレーションの有効性を定量化するために,新しい効率指標Ekを導入する。
提案した測定基準は、誤差の相対的変化と繰り返し間の損失関数の安定性の両方を考慮に入れている。
Ekは、機械学習アプリケーションにおける最適化アルゴリズムの選択とチューニングにおいて、より詳細な決定を導く可能性がある。
論文 参考訳（メタデータ） (2024-10-25T10:22:22Z) - Switchable Decision: Dynamic Neural Generation Networks [98.61113699324429]
本稿では,各データインスタンスのリソースを動的に割り当てることで,推論を高速化するスイッチブルな決定を提案する。
提案手法は, 同一の精度を維持しながら, 推論時のコスト低減に有効である。
論文 参考訳（メタデータ） (2024-05-07T17:44:54Z) - Quantum Algorithm Exploration using Application-Oriented Performance
Benchmarks [0.0]
Application-Oriented BenchmarksのQED-Cスイートは、量子コンピュータの性能特性を測定する機能を提供する。
我々は,このベンチマーク手法がより複雑なアプリケーションに適用される可能性を広げる上での課題について検討する。
論文 参考訳（メタデータ） (2024-02-14T06:55:50Z) - Equation Discovery with Bayesian Spike-and-Slab Priors and Efficient Kernels [57.46832672991433]
ケルネル学習とBayesian Spike-and-Slab pres (KBASS)に基づく新しい方程式探索法を提案する。
カーネルレグレッションを用いてターゲット関数を推定する。これはフレキシブルで表現力があり、データ空間やノイズに対してより堅牢である。
我々は,効率的な後部推論と関数推定のための予測伝搬予測最大化アルゴリズムを開発した。
論文 参考訳（メタデータ） (2023-10-09T03:55:09Z) - Improving robustness of jet tagging algorithms with adversarial training [56.79800815519762]
本研究では,フレーバータグ付けアルゴリズムの脆弱性について,敵攻撃による検証を行った。
シミュレーション攻撃の影響を緩和する対人訓練戦略を提案する。
論文 参考訳（メタデータ） (2022-03-25T19:57:19Z) - On Efficient Uncertainty Estimation for Resource-Constrained Mobile
Applications [0.0]
予測の不確実性は、モデル予測を補完し、下流タスクの機能を改善します。
Axolotlフレームワークを用いてモンテカルロ・ドロップアウト(MCDO)モデルを構築することでこの問題に対処する。
我々は,(1)CIFAR10データセットを用いた多クラス分類タスク,(2)より複雑な人体セグメンテーションタスクについて実験を行った。
論文 参考訳（メタデータ） (2021-11-11T22:24:15Z) - Convolutional generative adversarial imputation networks for
spatio-temporal missing data in storm surge simulations [86.5302150777089]
GAN(Generative Adversarial Imputation Nets)とGANベースの技術は、教師なし機械学習手法として注目されている。
提案手法を Con Conval Generative Adversarial Imputation Nets (Conv-GAIN) と呼ぶ。
論文 参考訳（メタデータ） (2021-11-03T03:50:48Z) - Probabilistic robust linear quadratic regulators with Gaussian processes [73.0364959221845]
ガウス過程(GP)のような確率モデルは、制御設計に続く使用のためのデータから未知の動的システムを学ぶための強力なツールです。
本稿では、確率的安定性マージンに関して堅牢なコントローラを生成する線形化GPダイナミクスのための新しいコントローラ合成について述べる。
論文 参考訳（メタデータ） (2021-05-17T08:36:18Z) - Bayesian Active Learning for Wearable Stress and Affect Detection [0.7106986689736827]
デバイス上での深層学習アルゴリズムによるストレス検出は、広汎なコンピューティングの進歩により増加傾向にある。
本稿では,ベイズニューラルネットワークの近似によるモデル不確実性を表現可能なフレームワークを提案する。
提案手法は, 提案手法により, 推定時の効率を著しく向上し, 獲得したプール点数がかなり少なくなる。
論文 参考訳（メタデータ） (2020-12-04T16:19:37Z) - Uncertainty Quantification for Deep Context-Aware Mobile Activity
Recognition and Unknown Context Discovery [85.36948722680822]
我々はα-βネットワークと呼ばれる深層モデルのコンテキスト認識混合を開発する。
高レベルの文脈を識別することで、精度とFスコアを10%向上させる。
トレーニングの安定性を確保するために、公開データセットと社内データセットの両方でクラスタリングベースの事前トレーニングを使用しました。
論文 参考訳（メタデータ） (2020-03-03T19:35:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。