論文の概要: Nondeterminism and Instability in Neural Network Optimization

• arxiv url: http://arxiv.org/abs/2103.04514v1
• Date: Mon, 8 Mar 2021 02:28:18 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-09 15:28:33.544015
• Title: Nondeterminism and Instability in Neural Network Optimization
• Title（参考訳）: ニューラルネットワーク最適化における非決定性と不安定性
• Authors: Cecilia Summers, Michael J. Dinneen
• Abstract要約: ニューラルネットワーク最適化における非決定論はパフォーマンスの不確実性を生み出す。 すべての非決定論の源がモデルの多様性の尺度に類似した影響を持つことを示す。 不安定性が実行から実行までの可変性に与える影響を低減するための2つのアプローチを提案する。
• 参考スコア（独自算出の注目度）: 7.6146285961466
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Nondeterminism in neural network optimization produces uncertainty in performance, making small improvements difficult to discern from run-to-run variability. While uncertainty can be reduced by training multiple model copies, doing so is time-consuming, costly, and harms reproducibility. In this work, we establish an experimental protocol for understanding the effect of optimization nondeterminism on model diversity, allowing us to isolate the effects of a variety of sources of nondeterminism. Surprisingly, we find that all sources of nondeterminism have similar effects on measures of model diversity. To explain this intriguing fact, we identify the instability of model training, taken as an end-to-end procedure, as the key determinant. We show that even one-bit changes in initial parameters result in models converging to vastly different values. Last, we propose two approaches for reducing the effects of instability on run-to-run variability.
• Abstract（参考訳）: ニューラルネットワーク最適化における非決定性はパフォーマンスの不確実性を生み出し、実行から実行までの可変性から小さな改善を区別するのを困難にしている。 複数のモデルのコピーをトレーニングすることで不確実性を減らすことができるが、それを行うのに時間がかかり、コストがかかり、再現性が損なわれる。 本研究では、モデル多様性に対する非決定性最適化の効果を理解するための実験的プロトコルを構築し、様々な非決定性源の効果を分離する。 驚くべきことに、非決定主義のすべてのソースは、モデルの多様性の尺度に類似した効果を有する。 この興味深い事実を説明するために、我々は、エンドツーエンドの手順として取られるモデルトレーニングの不安定性を重要な決定要因として識別する。 初期パラメータが1ビット変化しても、非常に異なる値に収束するモデルが得られることを示す。 最後に,不安定性が実行変数に与える影響を低減するための2つの手法を提案する。

関連論文リスト

• Variational Voxel Pseudo Image Tracking [127.46919555100543]
  不確実性推定は、ロボット工学や自律運転といった重要な問題にとって重要なタスクである。 本稿では,3次元物体追跡のためのVoxel Pseudo Image Tracking (VPIT) の変分ニューラルネットワークによるバージョンを提案する。
  論文  参考訳（メタデータ） (2023-02-12T13:34:50Z)
• Modeling Uncertain Feature Representation for Domain Generalization [49.129544670700525]
  提案手法は,複数の視覚タスクにおけるネットワーク一般化能力を常に改善することを示す。 我々の手法は単純だが有効であり、トレーニング可能なパラメータや損失制約を伴わずにネットワークに容易に統合できる。
  論文  参考訳（メタデータ） (2023-01-16T14:25:02Z)
• Identifying Weight-Variant Latent Causal Models [82.14087963690561]
  推移性は潜在因果表現の識別性を阻害する重要な役割を担っている。 いくつかの軽微な仮定の下では、潜伏因果表現が自明な置換とスケーリングまで特定可能であることを示すことができる。 本稿では,その間の因果関係や因果関係を直接学習する構造的caUsAl変分自動エンコーダを提案する。
  論文  参考訳（メタデータ） (2022-08-30T11:12:59Z)
• How Tempering Fixes Data Augmentation in Bayesian Neural Networks [22.188535244056016]
  テンパリングは、拡張のモデリングから生じる誤特定を暗黙的に減らし、すなわちデータとして示す。 温度は有効サンプルサイズの役割を模倣し、増強によって提供される情報の利得を反映している。
  論文  参考訳（メタデータ） (2022-05-27T11:06:56Z)
• On the Prediction Instability of Graph Neural Networks [2.3605348648054463]
  トレーニングされたモデルの不安定性は、マシンラーニングシステムの信頼性、信頼性、信頼性に影響を与える可能性がある。 最新のグラフニューラルネットワーク(GNN)によるノード分類の不安定性の予測を系統的に評価する。 不正に分類されたノードの最大3分の1は、アルゴリズムの実行によって異なることがわかった。
  論文  参考訳（メタデータ） (2022-05-20T10:32:59Z)
• Uncertainty Modeling for Out-of-Distribution Generalization [56.957731893992495]
  特徴統計を適切に操作することで、ディープラーニングモデルの一般化能力を向上させることができると論じる。 一般的な手法では、特徴統計を学習した特徴から測定された決定論的値とみなすことが多い。 我々は、学習中に合成された特徴統計を用いて、領域シフトの不確かさをモデル化することにより、ネットワークの一般化能力を向上させる。
  論文  参考訳（メタデータ） (2022-02-08T16:09:12Z)
• Estimation of Bivariate Structural Causal Models by Variational Gaussian Process Regression Under Likelihoods Parametrised by Normalising Flows [74.85071867225533]
  因果機構は構造因果モデルによって記述できる。 最先端の人工知能の大きな欠点の1つは、説明責任の欠如である。
  論文  参考訳（メタデータ） (2021-09-06T14:52:58Z)
• Doubly Stochastic Variational Inference for Neural Processes with Hierarchical Latent Variables [37.43541345780632]
  本稿では,Double Variational Neural Process (DSVNP) と呼ぶニューラル・プロセス(NP)モデルを提案する。 本モデルでは,大域的潜伏変数と局所潜伏変数を組み合わせて予測を行い,このモデルをいくつかの実験で評価し,多出力回帰における競合予測性能と分類における不確実性評価を示す。
  論文  参考訳（メタデータ） (2020-08-21T13:32:12Z)
• Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
  経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。 分散による離散乗法雑音のパラメータによく現れることを示す。 最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
  論文  参考訳（メタデータ） (2020-06-11T09:58:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。