論文の概要: Visualizing High-Dimensional Trajectories on the Loss-Landscape of ANNs
- arxiv url: http://arxiv.org/abs/2102.00485v1
- Date: Sun, 31 Jan 2021 16:30:50 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-02 16:09:13.446573
- Title: Visualizing High-Dimensional Trajectories on the Loss-Landscape of ANNs
- Title（参考訳）: ANNのロスランドスケープにおける高次元軌道の可視化
- Authors: Stefan Horoi, Jessie Huang, Guy Wolf, Smita Krishnaswamy
- Abstract要約: ニューラルネットワークを訓練するには、高度に非次元的な損失関数の最適化が必要である。
可視化ツールは、ANNの損失ランドスケープの鍵となる幾何学的特徴を明らかにする上で重要な役割を果たしてきた。
局所構造と大域構造の両方でSOTAを表すモダニティ低減手法を提案する。
- 参考スコア（独自算出の注目度）: 15.689418447376587
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Training artificial neural networks requires the optimization of highly
non-convex loss functions. Throughout the years, the scientific community has
developed an extensive set of tools and architectures that render this
optimization task tractable and a general intuition has been developed for
choosing hyper parameters that help the models reach minima that generalize
well to unseen data. However, for the most part, the difference in trainability
in between architectures, tasks and even the gap in network generalization
abilities still remain unexplained. Visualization tools have played a key role
in uncovering key geometric characteristics of the loss-landscape of ANNs and
how they impact trainability and generalization capabilities. However, most
visualizations methods proposed so far have been relatively limited in their
capabilities since they are of linear nature and only capture features in a
limited number of dimensions. We propose the use of the modern dimensionality
reduction method PHATE which represents the SOTA in terms of capturing both
global and local structures of high-dimensional data. We apply this method to
visualize the loss landscape during and after training. Our visualizations
reveal differences in training trajectories and generalization capabilities
when used to make comparisons between optimization methods, initializations,
architectures, and datasets. Given this success we anticipate this method to be
used in making informed choices about these aspects of neural networks.
- Abstract（参考訳）: 人工ニューラルネットワークの訓練は、非凸損失関数の最適化を必要とする。
長年にわたって、科学コミュニティは、この最適化タスクを抽出可能なツールとアーキテクチャの広範なセットを開発し、モデルが目に見えないデータにうまく一般化するミニマに到達するのに役立つハイパーパラメータを選択するための一般的な直観が開発されてきた。
しかし、ほとんどの場合、アーキテクチャやタスク間のトレーニング容易性の違い、さらにはネットワークの一般化能力のギャップさえも、まだ説明がつかないままである。
可視化ツールは、ANNの損失ランドスケープの重要な幾何学的特徴と、それがトレーニング容易性と一般化能力に与える影響を明らかにする上で重要な役割を担っている。
しかし, これまでに提案されている可視化手法の多くは, 線形な性質を持ち, 限られた次元でしか特徴を捉えないため, 比較的限定的であった。
高次元データのグローバル構造とローカル構造の両方をキャプチャするという点で、SOTAを表す現代の次元還元法PHATEの使用を提案します。
この手法を用いて,トレーニング中の損失状況の可視化を行う。
今回の可視化では,最適化法,初期化法,アーキテクチャ,データセットの比較において,訓練軌跡と一般化能力の違いが明らかになった。
この成功を考えると、ニューラルネットワークのこれらの側面についての情報に基づいた選択にこの方法を使用することが予想される。
関連論文リスト
- Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。
既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。
ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
論文 参考訳（メタデータ） (2024-10-29T19:02:54Z) - Towards Robust Out-of-Distribution Generalization: Data Augmentation and Neural Architecture Search Approaches [4.577842191730992]
我々は、ディープラーニングのための堅牢なOoD一般化への道を探る。
まず,認識に必須でない特徴間の素早い相関を解消するための,新しい効果的なアプローチを提案する。
次に,OoDシナリオにおけるニューラルアーキテクチャ探索の強化問題について検討する。
論文 参考訳（メタデータ） (2024-10-25T20:50:32Z) - Growing Tiny Networks: Spotting Expressivity Bottlenecks and Fixing Them Optimally [2.645067871482715]
機械学習タスクでは、ある機能空間内で最適な関数を探索する。
この方法で、トレーニング中の機能の進化を、選択したアーキテクチャで表現可能な領域内に配置させます。
表現力のボトルネックによる望ましいアーキテクチャ変更に関する情報は, 後処理の % から抽出可能であることを示す。
論文 参考訳（メタデータ） (2024-05-30T08:23:56Z) - Contrastive-Adversarial and Diffusion: Exploring pre-training and fine-tuning strategies for sulcal identification [3.0398616939692777]
対人学習、コントラスト学習、拡散認知学習、通常の再構成学習といった技術が標準となっている。
この研究は、ニューラルネットワークの学習プロセスを強化するために、事前学習技術と微調整戦略の利点を解明することを目的としている。
論文 参考訳（メタデータ） (2024-05-29T15:44:51Z) - Statistical Mechanics and Artificial Neural Networks: Principles, Models, and Applications [0.0]
神経科学の分野と人工ニューラルネットワーク(ANN)の発展は相互に影響を与えてきた。
この章の第1章では、ANNの原則、モデル、および応用の概要を紹介します。
この章の第2章では、幾何学的性質の定量化と、深いANNに関連する損失関数の可視化に焦点を当てている。
論文 参考訳（メタデータ） (2024-04-05T13:54:58Z) - Visual Prompting Upgrades Neural Network Sparsification: A Data-Model Perspective [64.04617968947697]
より優れた重量空間を実現するために、新しいデータモデル共設計視点を導入する。
具体的には、提案したVPNフレームワークでニューラルネットワークのスパーシフィケーションをアップグレードするために、カスタマイズされたVisual Promptが実装されている。
論文 参考訳（メタデータ） (2023-12-03T13:50:24Z) - Human as Points: Explicit Point-based 3D Human Reconstruction from
Single-view RGB Images [78.56114271538061]
我々はHaPと呼ばれる明示的なポイントベース人間再構築フレームワークを導入する。
提案手法は,3次元幾何学空間における完全明示的な点雲推定,操作,生成,洗練が特徴である。
我々の結果は、完全に明示的で幾何学中心のアルゴリズム設計へのパラダイムのロールバックを示すかもしれない。
論文 参考訳（メタデータ） (2023-11-06T05:52:29Z) - Robust Geometry-Preserving Depth Estimation Using Differentiable
Rendering [93.94371335579321]
我々は、余分なデータやアノテーションを必要とせずに、幾何学保存深度を予測するためにモデルを訓練する学習フレームワークを提案する。
包括的な実験は、我々のフレームワークの優れた一般化能力を強調します。
我々の革新的な損失関数は、ドメイン固有のスケール・アンド・シフト係数を自律的に復元するモデルを可能にします。
論文 参考訳（メタデータ） (2023-09-18T12:36:39Z) - What can linear interpolation of neural network loss landscapes tell us? [11.753360538833139]
ロスランドスケープは、人間が理解しやすい方法で可視化することが非常に難しいことで知られています。
この問題に対処する一般的な方法は、ランドスケープの線形スライスをプロットすることである。
論文 参考訳（メタデータ） (2021-06-30T11:54:04Z) - On Robustness and Transferability of Convolutional Neural Networks [147.71743081671508]
現代の深層畳み込みネットワーク(CNN)は、分散シフトの下で一般化しないとしてしばしば批判される。
現代画像分類CNNにおける分布外と転送性能の相互作用を初めて検討した。
トレーニングセットとモデルサイズを増大させることで、分散シフトロバスト性が著しく向上することがわかった。
論文 参考訳（メタデータ） (2020-07-16T18:39:04Z) - Understanding the Effects of Data Parallelism and Sparsity on Neural
Network Training [126.49572353148262]
ニューラルネットワークトレーニングにおける2つの要因として,データ並列性と疎性について検討する。
有望なメリットにもかかわらず、ニューラルネットワークトレーニングに対する彼らの影響を理解することは、依然として明白である。
論文 参考訳（メタデータ） (2020-03-25T10:49:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。