論文の概要: Taxonomizing local versus global structure in neural network loss landscapes

• arxiv url: http://arxiv.org/abs/2107.11228v1
• Date: Fri, 23 Jul 2021 13:37:14 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-26 13:49:40.707431
• Title: Taxonomizing local versus global structure in neural network loss landscapes
• Title（参考訳）: ニューラルネットワーク損失景観における局所構造とグローバル構造の分類
• Authors: Yaoqing Yang, Liam Hodgkinson, Ryan Theisen, Joe Zou, Joseph E. Gonzalez, Kannan Ramchandran, Michael W. Mahoney
• Abstract要約: ロスランドスケープが世界規模で良好に接続されている場合, 最適なテスト精度が得られることを示す。 また、モデルが小さい場合や、品質の低いデータに訓練された場合、世界規模で接続の不十分なランドスケープが生じる可能性があることも示しています。
• 参考スコア（独自算出の注目度）: 60.206524503782006
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Viewing neural network models in terms of their loss landscapes has a long history in the statistical mechanics approach to learning, and in recent years it has received attention within machine learning proper. Among other things, local metrics (such as the smoothness of the loss landscape) have been shown to correlate with global properties of the model (such as good generalization). Here, we perform a detailed empirical analysis of the loss landscape structure of thousands of neural network models, systematically varying learning tasks, model architectures, and/or quantity/quality of data. By considering a range of metrics that attempt to capture different aspects of the loss landscape, we demonstrate that the best test accuracy is obtained when: the loss landscape is globally well-connected; ensembles of trained models are more similar to each other; and models converge to locally smooth regions. We also show that globally poorly-connected landscapes can arise when models are small or when they are trained to lower quality data; and that, if the loss landscape is globally poorly-connected, then training to zero loss can actually lead to worse test accuracy. Based on these results, we develop a simple one-dimensional model with load-like and temperature-like parameters, we introduce the notion of an \emph{effective loss landscape} depending on these parameters, and we interpret our results in terms of a \emph{rugged convexity} of the loss landscape. When viewed through this lens, our detailed empirical results shed light on phases of learning (and consequent double descent behavior), fundamental versus incidental determinants of good generalization, the role of load-like and temperature-like parameters in the learning process, different influences on the loss landscape from model and data, and the relationships between local and global metrics, all topics of recent interest.
• Abstract（参考訳）: 損失ランドスケープの観点からニューラルネットワークモデルを見ることは、学習に対する統計力学アプローチにおいて長い歴史を持ち、近年は機械学習の適切な範囲で注目を集めている。 その中で、(損失景観の滑らかさのような)局所的な測度は、モデルのグローバルな性質(良い一般化など)と相関することが示されている。 ここでは、何千ものニューラルネットワークモデル、体系的に異なる学習タスク、モデルアーキテクチャ、および/またはデータの量/品質の損失ランドスケープ構造を詳細に分析する。 ロスランドスケープの異なる側面を捉えようとするさまざまな指標を考慮することで、ロスランドスケープがグローバルに接続されている場合、トレーニングされたモデルのアンサンブルが互いに似ており、モデルが局所的に滑らかな領域に収束している場合、最良のテスト精度が得られることを示す。 また, モデルが小さかったり, 品質の低いデータにトレーニングされたりした場合に, グローバルに接続が不十分なランドスケープが発生すること, また, 損失のランドスケープが世界的に低かった場合, ゼロロスへのトレーニングは, テスト精度を低下させる可能性があることを示した。 これらの結果をもとに, 負荷様および温度様パラメータを持つ簡易な1次元モデルを構築し, これらのパラメータに依拠して \emph{ effective loss landscape} の概念を導入し, 損失景観の \emph{rugged convexity} という観点から解析する。 このレンズを通して観察すると、詳細な実験結果から、学習のフェーズ(および関連する2次降下行動)、良い一般化の基本的な決定要因と付随的な決定要因、学習プロセスにおける負荷様および温度様パラメータの役割、モデルとデータによるロスランドスケープの異なる影響、そしてローカルとグローバルメトリクスの関係が明らかになった。

関連論文リスト

• Unraveling the Hessian: A Key to Smooth Convergence in Loss Function Landscapes [0.0]
  我々は、完全に連結されたニューラルネットワークにおける損失景観の収束を理論的に解析し、新しいオブジェクトをサンプルに追加する際の損失関数値の差について上限を導出する。 画像分類作業における損失関数面の収束を実証し,これらの結果を様々なデータセットで検証した。
  論文  参考訳（メタデータ） (2024-09-18T14:04:15Z)
• Understanding and Improving Model Averaging in Federated Learning on Heterogeneous Data [9.792805355704203]
  We study the loss landscape of model averaging in Federated Learning (FL)。 我々は,グローバルモデルの損失を,クライアントモデルに関連する5つの要因に分解する。 我々は,IMAを訓練後期のグローバルモデルに利用して,期待する速度からの偏差を低減することを提案する。
  論文  参考訳（メタデータ） (2023-05-13T06:19:55Z)
• Training trajectories, mini-batch losses and the curious role of the learning rate [13.848916053916618]
  検証された勾配勾配勾配は、ディープラーニングのほぼすべての応用において、基本的な役割を担っていることを示す。 本稿では,ミニバッチの勾配と全バッチの関係を解析する簡単なモデルと幾何学的解釈を提案する。 特に、非常に低い損失値は、十分な学習率で1段階の降下に到達することができる。
  論文  参考訳（メタデータ） (2023-01-05T21:58:46Z)
• Are All Losses Created Equal: A Neural Collapse Perspective [36.0354919583995]
  クロスエントロピー(CE)は、分類タスクのためにディープニューラルネットワークを訓練する最も一般的な損失である。 本研究では,一般的に使用されているラベルスムーシング (LS) や焦点損失 (FL) を含む広い範囲の損失関数がニューラル・コラプスを示すことを,グローバル・ソリューションとランドスケープ・アナリティクスを通じて示す。
  論文  参考訳（メタデータ） (2022-10-04T00:36:45Z)
• Towards Understanding and Mitigating Dimensional Collapse in Heterogeneous Federated Learning [112.69497636932955]
  フェデレートラーニングは、プライバシを考慮したデータ共有を必要とせずに、さまざまなクライアントでモデルをトレーニングすることを目的としている。 本研究では,データの不均一性がグローバル集約モデルの表現に与える影響について検討する。 フェデレーション学習における次元的崩壊を効果的に緩和する新しい手法である sc FedDecorr を提案する。
  論文  参考訳（メタデータ） (2022-10-01T09:04:17Z)
• FuNNscope: Visual microscope for interactively exploring the loss landscape of fully connected neural networks [77.34726150561087]
  ニューラルネットワークの高次元景観特性を探索する方法を示す。 我々は、小さなニューラルネットワークの観測結果をより複雑なシステムに一般化する。 インタラクティブダッシュボードは、いくつかのアプリケーションネットワークを開放する。
  論文  参考訳（メタデータ） (2022-04-09T16:41:53Z)
• Extracting Global Dynamics of Loss Landscape in Deep Learning Models [0.0]
  本稿では,DOODL3 (Dynamical Organization of Deep Learning Loss Landscapes) のためのツールキットを提案する。 DOODL3は、ニューラルネットワークのトレーニングを動的システムとして定式化し、学習プロセスを分析し、損失ランドスケープにおける軌跡の解釈可能なグローバルビューを示す。
  論文  参考訳（メタデータ） (2021-06-14T18:07:05Z)
• Anomaly Detection on Attributed Networks via Contrastive Self-Supervised Learning [50.24174211654775]
  本論文では,アトリビュートネットワーク上の異常検出のためのコントラスト型自己監視学習フレームワークを提案する。 このフレームワークは、新しいタイプのコントラストインスタンスペアをサンプリングすることで、ネットワークデータからのローカル情報を完全に活用します。 高次元特性と局所構造から情報埋め込みを学習するグラフニューラルネットワークに基づくコントラスト学習モデルを提案する。
  論文  参考訳（メタデータ） (2021-02-27T03:17:20Z)
• Stereopagnosia: Fooling Stereo Networks with Adversarial Perturbations [71.00754846434744]
  知覚不能な加法的摂動は,差分マップを著しく変更できることを示す。 敵データ拡張に使用すると、我々の摂動はより堅牢なトレーニングされたモデルをもたらすことを示す。
  論文  参考訳（メタデータ） (2020-09-21T19:20:09Z)
• Think Locally, Act Globally: Federated Learning with Local and Global Representations [92.68484710504666]
  フェデレートラーニング(Federated Learning)とは、複数のデバイスに分散したプライベートデータ上でモデルをトレーニングする手法である。 本稿では,各デバイス上でコンパクトな局所表現を共同で学習する新しいフェデレーション学習アルゴリズムを提案する。 また、プライバシが鍵となる実世界のモバイルデータから、パーソナライズされた気分予測のタスクを評価する。
  論文  参考訳（メタデータ） (2020-01-06T12:40:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。