論文の概要: Numerical Exploration of Training Loss Level-Sets in Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2011.04189v3
• Date: Sat, 24 Apr 2021 17:57:36 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-28 00:08:03.721920
• Title: Numerical Exploration of Training Loss Level-Sets in Deep Neural Networks
• Title（参考訳）: 深部ニューラルネットワークにおける訓練損失レベルセットの数値探査
• Authors: Naveed Tahir, Garrett E. Katz
• Abstract要約: パラメータ空間内の経路を、固定された近ゼロのトレーニング損失を持つ集合に制約する。 この経路内の異なる点における正則化関数とテスト損失を測定することにより、パラメータ空間内の同じ固定トレーニング損失の異なる点が一般化能力においてどのように比較されるかを検討する。 我々の結果は、ディープニューラルネットワークの損失状況に関する新しい情報と、テスト損失を減らすための新しい戦略を提供する。
• 参考スコア（独自算出の注目度）: 1.3706331473063877
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a computational method for empirically characterizing the training loss level-sets of deep neural networks. Our method numerically constructs a path in parameter space that is constrained to a set with a fixed near-zero training loss. By measuring regularization functions and test loss at different points within this path, we examine how different points in the parameter space with the same fixed training loss compare in terms of generalization ability. We also compare this method for finding regularized points with the more typical method, that uses objective functions which are weighted sums of training loss and regularization terms. We apply dimensionality reduction to the traversed paths in order to visualize the loss level sets in a well-regularized region of parameter space. Our results provide new information about the loss landscape of deep neural networks, as well as a new strategy for reducing test loss.
• Abstract（参考訳）: 本稿では,ディープニューラルネットワークの学習損失レベルセットを実験的に特徴付ける計算手法を提案する。 本手法は, パラメータ空間内の経路を, 固定された近ゼロの訓練損失を持つ集合に制約する。 この経路内の異なる点における正則化関数とテスト損失を測定することにより、パラメータ空間内の同じ固定トレーニング損失の異なる点を一般化能力の観点から比較する。 また, 正規化点を求める手法を, トレーニング損失と正規化項の重み付けされた目的関数を用いた, より典型的な手法と比較した。 パラメータ空間の整列領域における損失レベル集合を可視化するために,トラバースパスに次元性低減を適用する。 その結果,ディープニューラルネットワークの損失状況に関する新たな情報と,テスト損失低減のための新たな戦略が得られた。

関連論文リスト

• Newton Losses: Using Curvature Information for Learning with Differentiable Algorithms [80.37846867546517]
  カスタム目的の8つの異なるニューラルネットワークのトレーニング方法を示す。 我々はその2次情報を経験的フィッシャー行列を通して活用する。 ロスロスロスシブルアルゴリズムを用いて、少ない微分可能アルゴリズムに対する大幅な改善を実現する。
  論文  参考訳（メタデータ） (2024-10-24T18:02:11Z)
• Improving Generalization of Deep Neural Networks by Optimum Shifting [33.092571599896814]
  本稿では,ニューラルネットワークのパラメータを最小値からフラット値に変化させる,近位シフトと呼ばれる新しい手法を提案する。 本手法は,ニューラルネットワークの入力と出力が固定された場合,ネットワーク内の行列乗算を,未決定線形方程式系として扱うことができることを示す。
  論文  参考訳（メタデータ） (2024-05-23T02:31:55Z)
• Reduced Jeffries-Matusita distance: A Novel Loss Function to Improve Generalization Performance of Deep Classification Models [0.0]
  本稿では,深層分類モデルの学習における損失関数として,Reduced Jeffries-Matusitaという距離を導入する。 その結果、新しい距離測定はトレーニングプロセスを著しく安定化させ、一般化能力を高め、精度とF1スコアの指標におけるモデルの性能を向上させることを示した。
  論文  参考訳（メタデータ） (2024-03-13T10:51:38Z)
• Training a Two Layer ReLU Network Analytically [4.94950858749529]
  我々は、ReLUのような活性化と正方形損失を伴う2層ニューラルネットワークのトレーニングアルゴリズムについて検討する。 この方法は勾配降下法よりも高速で、チューニングパラメータがほとんどない。
  論文  参考訳（メタデータ） (2023-04-06T09:57:52Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Reparameterization through Spatial Gradient Scaling [69.27487006953852]
  リパラメータ化は、学習中に畳み込み層を等価なマルチブランチ構造に変換することによって、ディープニューラルネットワークの一般化を改善することを目的としている。 本稿では,畳み込みネットワークにおける重み間の学習焦点を再分配する空間勾配スケーリング手法を提案する。
  論文  参考訳（メタデータ） (2023-03-05T17:57:33Z)
• Topological obstructions in neural networks learning [67.8848058842671]
  損失勾配関数フローのグローバル特性について検討する。 損失関数とそのモースコンプレックスの位相データ解析を用いて,損失面の大域的特性と勾配軌道に沿った局所的挙動を関連付ける。
  論文  参考訳（メタデータ） (2020-12-31T18:53:25Z)
• Auto Seg-Loss: Searching Metric Surrogates for Semantic Segmentation [56.343646789922545]
  そこで本研究では,各計量に対する相異なるサロゲート損失を探索することにより,計量固有損失関数の設計を自動化することを提案する。 PASCAL VOCとCityscapesの実験では、探索されたサロゲート損失は手動で設計した損失関数よりも優れていた。
  論文  参考訳（メタデータ） (2020-10-15T17:59:08Z)
• Facilitate the Parametric Dimension Reduction by Gradient Clipping [1.9671123873378715]
  我々は、ニューラルネットワークのトレーニングにより、非パラメトリックからパラメトリックへ、よく知られた次元削減手法であるt分散隣接埋め込み(t-SNE)を拡張した。 本手法は, 一般化を楽しみながら, 非パラメトリックt-SNEと互換性のある埋め込み品質を実現する。
  論文  参考訳（メタデータ） (2020-09-30T01:21:22Z)
• Adversarially Robust Learning via Entropic Regularization [31.6158163883893]
  我々は、敵対的に堅牢なディープニューラルネットワークを訓練するための新しいアルゴリズムATENTを提案する。 我々の手法は、頑健な分類精度の観点から、競争力(またはより良い)性能を達成する。
  論文  参考訳（メタデータ） (2020-08-27T18:54:43Z)
• Beyond Dropout: Feature Map Distortion to Regularize Deep Neural Networks [107.77595511218429]
  本稿では,ディープニューラルネットワークの中間層に関連する実験的なRademacher複雑性について検討する。 上記の問題に対処するための特徴歪み法(Disout)を提案する。 より高い試験性能を有するディープニューラルネットワークを作製するための特徴写像歪みの優位性を解析し、実証した。
  論文  参考訳（メタデータ） (2020-02-23T13:59:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。