論文の概要: Randomness In Neural Network Training: Characterizing The Impact of Tooling

• arxiv url: http://arxiv.org/abs/2106.11872v1
• Date: Tue, 22 Jun 2021 15:42:15 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-23 14:41:51.047947
• Title: Randomness In Neural Network Training: Characterizing The Impact of Tooling
• Title（参考訳）: ニューラルネットワークトレーニングにおけるランダム性:ツーリングの影響を特徴づける
• Authors: Donglin Zhuang, Xingyao Zhang, Shuaiwen Leon Song, Sara Hooker
• Abstract要約: さまざまなタイプのハードウェア、アクセラレータ、最先端のアートネットワーク、オープンソースのデータセットにわたる大規模な実験を行っています。 以上の結果から,非決定性がニュアンセドに与える影響が示唆された。 また、ニューラルネットワークアーキテクチャとハードウェアタイプの間で、決定性を保証するコストが劇的に変化することもわかりました。
• 参考スコア（独自算出の注目度）: 2.3650193864974973
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The quest for determinism in machine learning has disproportionately focused on characterizing the impact of noise introduced by algorithmic design choices. In this work, we address a less well understood and studied question: how does our choice of tooling introduce randomness to deep neural network training. We conduct large scale experiments across different types of hardware, accelerators, state of art networks, and open-source datasets, to characterize how tooling choices contribute to the level of non-determinism in a system, the impact of said non-determinism, and the cost of eliminating different sources of noise. Our findings are surprising, and suggest that the impact of non-determinism in nuanced. While top-line metrics such as top-1 accuracy are not noticeably impacted, model performance on certain parts of the data distribution is far more sensitive to the introduction of randomness. Our results suggest that deterministic tooling is critical for AI safety. However, we also find that the cost of ensuring determinism varies dramatically between neural network architectures and hardware types, e.g., with overhead up to $746\%$, $241\%$, and $196\%$ on a spectrum of widely used GPU accelerator architectures, relative to non-deterministic training. The source code used in this paper is available at https://github.com/usyd-fsalab/NeuralNetworkRandomness.
• Abstract（参考訳）: 機械学習における決定論の探求は、アルゴリズム設計の選択によってもたらされるノイズの影響を特徴づけることに集中している。 この研究では、ツールの選択がディープニューラルネットワークトレーニングにどのようにランダム性をもたらすのかという、あまりよく理解されず研究された疑問に対処する。 我々は、様々な種類のハードウェア、アクセラレーター、最先端のネットワーク、オープンソースのデータセットで大規模な実験を行い、ツールの選択がシステムにおける非決定性レベル、そのような非決定性の影響、そして異なるノイズの源を取り除くコストにどのように寄与するかを特徴付ける。 我々の発見は驚くべきものであり、非決定性がニュアンスに与える影響を示唆している。 top-1の精度のようなトップラインのメトリクスは顕著に影響を受けないが、データ分散の特定の部分でのモデルパフォーマンスはランダム性の導入にずっと敏感である。 我々の結果は、決定論的ツールがAIの安全性にとって重要であることを示唆している。 しかし、決定論を保証するコストは、ニューラルネットワークアーキテクチャとハードウェアタイプの間で劇的に異なり、例えば、非決定論的トレーニングと比較して、広く使われているgpuアクセラレータアーキテクチャのスペクトルに対して、最大746\%$、241\%$、および196\%$である。 本論文で使用されるソースコードは、https://github.com/usyd-fsalab/neuralnetworkrandomnessで利用可能である。

関連論文リスト

• Rolling the dice for better deep learning performance: A study of randomness techniques in deep neural networks [4.643954670642798]
  本稿では,Deep Neural Networks(DNN)における様々なランダム化手法について検討する。 テクニックは、損失関数にノイズを加える、ランダムな勾配更新をマスキングする、データ拡張と重み一般化の4つのタイプに分類される。 完全な実装とデータセットはGitHubで入手できる。
  論文  参考訳（メタデータ） (2024-04-05T10:02:32Z)
• Random-Set Neural Networks (RS-NN) [4.549947259731147]
  分類のための新しいランダムセットニューラルネットワーク(RS-NN)を提案する。 RS-NNは、一組のクラス上の確率ベクトルよりも信念関数を予測する。 限られたトレーニングセットによって、機械学習で引き起こされる「緊急」不確実性を符号化する。
  論文  参考訳（メタデータ） (2023-07-11T20:00:35Z)
• R(Det)^2: Randomized Decision Routing for Object Detection [64.48369663018376]
  本稿では,決定木とディープニューラルネットワークをエンドツーエンドの学習方法で組み合わせたオブジェクト検出手法を提案する。 効率的な学習を容易にするために,ノード選択型および連想型損失を伴うランダム化決定経路を提案する。 このアプローチをオブジェクト検出のためのランダム化決定ルーティングとして、R(Det)$2$と略す。
  論文  参考訳（メタデータ） (2022-04-02T07:54:58Z)
• NUQ: Nonparametric Uncertainty Quantification for Deterministic Neural Networks [151.03112356092575]
  本研究では,Nadaraya-Watson の条件付きラベル分布の非パラメトリック推定に基づく分類器の予測の不確かさの測定方法を示す。 種々の実世界の画像データセットにおける不確実性推定タスクにおいて,本手法の強い性能を示す。
  論文  参考訳（メタデータ） (2022-02-07T12:30:45Z)
• Scaling Structured Inference with Randomization [64.18063627155128]
  本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。 我々の手法は古典的DPベースの推論に広く適用できる。 また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
  論文  参考訳（メタデータ） (2021-12-07T11:26:41Z)
• The Causal Neural Connection: Expressiveness, Learnability, and Inference [125.57815987218756]
  構造因果モデル (Structuor causal model, SCM) と呼ばれるオブジェクトは、調査中のシステムのランダムな変動のメカニズムと源の集合を表す。 本稿では, 因果的階層定理 (Thm. 1, Bareinboim et al., 2020) がまだニューラルモデルに対して成り立っていることを示す。 我々はニューラル因果モデル(NCM)と呼ばれる特殊なタイプのSCMを導入し、因果推論に必要な構造的制約をエンコードする新しいタイプの帰納バイアスを定式化する。
  論文  参考訳（メタデータ） (2021-07-02T01:55:18Z)
• Attribute-Guided Adversarial Training for Robustness to Natural Perturbations [64.35805267250682]
  本稿では,属性空間への分類器の露出を最大化するために,新しいサンプルを生成することを学習する逆学習手法を提案する。 我々のアプローチは、ディープニューラルネットワークが自然に発生する摂動に対して堅牢であることを可能にする。
  論文  参考訳（メタデータ） (2020-12-03T10:17:30Z)
• Malicious Network Traffic Detection via Deep Learning: An Information Theoretic View [0.0]
  本研究では,ホメオモルフィズムがマルウェアのトラフィックデータセットの学習表現に与える影響について検討する。 この結果から,学習された表現の詳細と,すべてのパラメータの多様体上で定義された特定の座標系は,関数近似とは全く異なることが示唆された。
  論文  参考訳（メタデータ） (2020-09-16T15:37:44Z)
• Towards Deep Learning Models Resistant to Large Perturbations [0.0]
  敵対的堅牢性は、機械学習アルゴリズムの必須特性であることが証明されている。 とよばれるアルゴリズムは、大きくても合理的で摂動のマグニチュードが与えられたディープニューラルネットワークのトレーニングに失敗することを示した。
  論文  参考訳（メタデータ） (2020-03-30T12:03:09Z)
• Hidden Cost of Randomized Smoothing [72.93630656906599]
  本稿では、現在のランダム化平滑化による副作用を指摘する。 具体的には,1)スムーズな分類器の決定境界が小さくなり,クラスレベルでの精度の相違が生じること,2)学習過程における雑音増強の適用は,一貫性のない学習目的による縮小問題を必ずしも解決しない,という2つの主要なポイントを具体化し,証明する。
  論文  参考訳（メタデータ） (2020-03-02T23:37:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。