論文の概要: Analysis of NaN Divergence in Training Monocular Depth Estimation Model
- arxiv url: http://arxiv.org/abs/2311.03938v1
- Date: Tue, 7 Nov 2023 12:19:30 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-08 15:50:15.360347
- Title: Analysis of NaN Divergence in Training Monocular Depth Estimation Model
- Title（参考訳）: 訓練単眼深度推定モデルにおけるnan発散の解析
- Authors: Bum Jun Kim, Hyeonah Jang, Sang Woo Kim
- Abstract要約: 本研究では, 単分子深度推定ネットワークのトレーニング中のNaN損失の深さ解析を行った。
NaN損失を引き起こす3種類の脆弱性が同定された。
実験の結果, 単眼深度推定における最適化安定性と性能は, ガイドラインに従うことで改善できることがわかった。
- 参考スコア（独自算出の注目度）: 7.5367539931360135
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The latest advances in deep learning have facilitated the development of
highly accurate monocular depth estimation models. However, when training a
monocular depth estimation network, practitioners and researchers have observed
not a number (NaN) loss, which disrupts gradient descent optimization. Although
several practitioners have reported the stochastic and mysterious occurrence of
NaN loss that bothers training, its root cause is not discussed in the
literature. This study conducted an in-depth analysis of NaN loss during
training a monocular depth estimation network and identified three types of
vulnerabilities that cause NaN loss: 1) the use of square root loss, which
leads to an unstable gradient; 2) the log-sigmoid function, which exhibits
numerical stability issues; and 3) certain variance implementations, which
yield incorrect computations. Furthermore, for each vulnerability, the
occurrence of NaN loss was demonstrated and practical guidelines to prevent NaN
loss were presented. Experiments showed that both optimization stability and
performance on monocular depth estimation could be improved by following our
guidelines.
- Abstract（参考訳）: ディープラーニングの最近の進歩により、高精度な単眼深度推定モデルの開発が促進された。
しかし, 単分子深度推定ネットワークをトレーニングする際, 実験者や研究者は, 勾配降下最適化を阻害する数(NaN)の損失を観測していない。
幾人かの実践者が、トレーニングを悩ませるNaN損失の確率的かつ神秘的な発生を報告しているが、その根本原因は文献では議論されていない。
本研究は,単眼深度推定ネットワークのトレーニング中のNaN損失の詳細な分析を行い,NaN損失の原因となる3種類の脆弱性を同定した。
1) 四角根損失の使用は,不安定な勾配をもたらす。
2)数値安定性問題を示すlog-sigmoid関数
3)不正確な計算をもたらすある種の分散実装。
さらに,各脆弱性に対してNaN損失の発生を示し,NaN損失を防止するための実践的ガイドラインを提示した。
実験の結果, 単眼深度推定における最適化安定性と性能は, ガイドラインに従って改善できることがわかった。
関連論文リスト
- Uncertainty-guided Optimal Transport in Depth Supervised Sparse-View 3D Gaussian [49.21866794516328]
3次元ガウシアンスプラッティングは、リアルタイムな新規ビュー合成において顕著な性能を示した。
これまでのアプローチでは、3Dガウスの訓練に奥行き監視を取り入れ、オーバーフィッティングを軽減してきた。
本研究では,3次元ガウスの深度分布を可視化する新しい手法を提案する。
論文 参考訳（メタデータ） (2024-05-30T03:18:30Z) - Supervised Contrastive Representation Learning: Landscape Analysis with
Unconstrained Features [33.703796571991745]
最近の研究では、ゼロトレーニングを超えて訓練された過度パラメータ化されたディープニューラルネットワークが、最終層に特徴的な構造パターンを示すことが明らかになっている。
これらの結果から,これらのネットワークにおける最終層出力はクラス内変動が最小限であることがわかった。
論文 参考訳（メタデータ） (2024-02-29T06:02:45Z) - Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。
よりスムーズな関数との補間により、より一般化できることを示す。
論文 参考訳（メタデータ） (2023-05-30T19:37:44Z) - Generalization Guarantees of Gradient Descent for Multi-Layer Neural
Networks [55.86300309474023]
多層NNに対する勾配降下(GD)の総合的安定性と一般化解析を行う。
2層NNと3層NNの両方において、GDアルゴリズムに対するO(1/sqrtn)$の過剰リスク率を導出する。
論文 参考訳（メタデータ） (2023-05-26T12:51:38Z) - A PDE-based Explanation of Extreme Numerical Sensitivities and Edge of Stability in Training Neural Networks [12.355137704908042]
勾配降下型深層ネットワーク(SGD)の現在の訓練実践における抑制的数値不安定性を示す。
我々は、偏微分方程式(PDE)の数値解析を用いて理論的枠組みを提示し、畳み込みニューラルネットワーク(CNN)の勾配降下PDEを分析する。
これはCNNの降下に伴う非線形PDEの結果であり、離散化のステップサイズを過度に運転すると局所線形化が変化し、安定化効果がもたらされることを示す。
論文 参考訳（メタデータ） (2022-06-04T14:54:05Z) - On the Minimal Adversarial Perturbation for Deep Neural Networks with
Provable Estimation Error [65.51757376525798]
敵の摂動の存在は、証明可能な堅牢性に関する興味深い研究ラインを開いた。
検証可能な結果は、コミットしたエラーを見積り、バウンドするものではない。
本稿では,最小対向摂動を求めるための2つの軽量戦略を提案する。
その結果, 提案手法は, 分類に近い試料の理論的距離とロバスト性を近似し, 敵攻撃に対する確実な保証が得られた。
論文 参考訳（メタデータ） (2022-01-04T16:40:03Z) - Performance Analysis of Out-of-Distribution Detection on Various Trained
Neural Networks [12.22753756637137]
ディープニューラルネットワーク(DNN)の一般的な課題は、これまで見つからなかった配布外サンプルに晒されたときに発生する。
本稿では,2つの著名なDNNについて,2つのスーパーバイザをさまざまなトレーニング設定で分析する。
私達は訓練のプロシージャの質とoutlierの検出の性能が改善することを見つけます。
論文 参考訳（メタデータ） (2021-03-29T12:52:02Z) - Attribute-Guided Adversarial Training for Robustness to Natural
Perturbations [64.35805267250682]
本稿では,属性空間への分類器の露出を最大化するために,新しいサンプルを生成することを学習する逆学習手法を提案する。
我々のアプローチは、ディープニューラルネットワークが自然に発生する摂動に対して堅牢であることを可能にする。
論文 参考訳（メタデータ） (2020-12-03T10:17:30Z) - Advantage of Deep Neural Networks for Estimating Functions with
Singularity on Hypersurfaces [23.21591478556582]
我々は、ディープニューラルネットワーク(DNN)が他の標準手法よりも優れている理由を説明するために、ミニマックスレート分析を開発する。
本研究では,超曲面上の特異点を持つ非滑らか関数のクラスを推定することにより,このギャップを埋めようとしている。
論文 参考訳（メタデータ） (2020-11-04T12:51:14Z) - Higher-order Quasi-Monte Carlo Training of Deep Neural Networks [0.0]
本稿では,DNN (Deep Neural Network) によるDtO (Data-to-Observable) マップのトレーニングに準モンテカルロ点を用いた新しいアルゴリズム手法と誤差解析を提案する。
論文 参考訳（メタデータ） (2020-09-06T11:31:42Z) - A Generalized Neural Tangent Kernel Analysis for Two-layer Neural
Networks [87.23360438947114]
重み劣化を伴う雑音勾配降下は依然として「カーネル様」の挙動を示すことを示す。
これは、トレーニング損失が一定の精度まで線形に収束することを意味する。
また,重み劣化を伴う雑音勾配勾配勾配で学習した2層ニューラルネットワークに対して,新しい一般化誤差を確立する。
論文 参考訳（メタデータ） (2020-02-10T18:56:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。