論文の概要: What can linear interpolation of neural network loss landscapes tell us?
- arxiv url: http://arxiv.org/abs/2106.16004v1
- Date: Wed, 30 Jun 2021 11:54:04 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-01 12:40:54.059733
- Title: What can linear interpolation of neural network loss landscapes tell us?
- Title（参考訳）: ニューラルネットワークロスランドスケープの線形補間で何がわかるのか?
- Authors: Tiffany Vlaar and Jonathan Frankle
- Abstract要約: ロスランドスケープは、人間が理解しやすい方法で可視化することが非常に難しいことで知られています。
この問題に対処する一般的な方法は、ランドスケープの線形スライスをプロットすることである。
- 参考スコア（独自算出の注目度）: 11.753360538833139
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Studying neural network loss landscapes provides insights into the nature of
the underlying optimization problems. Unfortunately, loss landscapes are
notoriously difficult to visualize in a human-comprehensible fashion. One
common way to address this problem is to plot linear slices of the landscape,
for example from the initial state of the network to the final state after
optimization. On the basis of this analysis, prior work has drawn broader
conclusions about the difficulty of the optimization problem. In this paper, we
put inferences of this kind to the test, systematically evaluating how linear
interpolation and final performance vary when altering the data, choice of
initialization, and other optimizer and architecture design choices. Further,
we use linear interpolation to study the role played by individual layers and
substructures of the network. We find that certain layers are more sensitive to
the choice of initialization and optimizer hyperparameter settings, and we
exploit these observations to design custom optimization schemes. However, our
results cast doubt on the broader intuition that the presence or absence of
barriers when interpolating necessarily relates to the success of optimization.
- Abstract（参考訳）: ニューラルネットワークの損失状況の研究は、基盤となる最適化問題の性質に関する洞察を提供する。
残念なことに、失われた風景は人間の理解に富んだ方法で可視化することは非常に難しい。
この問題に対処する一般的な方法は、例えば、ネットワークの初期状態から最適化後の最終状態まで、ランドスケープの線形スライスをプロットすることである。
この分析に基づいて,先行研究は最適化問題の難易度に関する幅広い結論を導き出している。
本稿では,このような推論をテストに適用し,データ変更時の線形補間と最終的な性能の変動,初期化の選択,その他のオプティマイザとアーキテクチャ設計の選択を体系的に評価する。
さらに,ネットワークの個々の層とサブ構造が果たす役割を研究するために線形補間を用いる。
我々は、特定の層が初期化とオプティマイザハイパーパラメータ設定の選択により敏感であることを見出し、これらの観察を利用してカスタム最適化スキームを設計する。
しかし,本研究の結果は,補間時の障壁の有無が最適化の成功に必ずしも関係していることに疑問を呈した。
関連論文リスト
- Large-scale global optimization of ultra-high dimensional non-convex
landscapes based on generative neural networks [0.0]
超高次元最適化を行うアルゴリズムを提案する。
ディープ・ジェネレーティブ・ネットワークをベースとしています
提案手法は, 最先端のアルゴリズムと比較して, 機能評価が少なく, 性能がよいことを示す。
論文 参考訳（メタデータ） (2023-07-09T00:05:59Z) - No Wrong Turns: The Simple Geometry Of Neural Networks Optimization
Paths [12.068608358926317]
1次最適化アルゴリズムは、ディープニューラルネットワークにおいて好ましいミニマを効率的に見つけることが知られている。
2つの鍵経路における標本最適化量の基本的な幾何学的性質に焦点をあてる。
以上の結果から,最適化トラジェクトリは大きな障害に遭遇しないだけでなく,ほとんどのトレーニングにおいて安定なダイナミクスも維持できる可能性が示唆された。
論文 参考訳（メタデータ） (2023-06-20T22:10:40Z) - Backpropagation of Unrolled Solvers with Folded Optimization [55.04219793298687]
ディープネットワークにおけるコンポーネントとしての制約付き最適化モデルの統合は、多くの専門的な学習タスクに有望な進歩をもたらした。
1つの典型的な戦略はアルゴリズムのアンローリングであり、これは反復解法の操作による自動微分に依存している。
本稿では,非ロール最適化の後方通過に関する理論的知見を提供し,効率よく解けるバックプロパゲーション解析モデルを生成するシステムに繋がる。
論文 参考訳（メタデータ） (2023-01-28T01:50:42Z) - Path Regularization: A Convexity and Sparsity Inducing Regularization
for Parallel ReLU Networks [75.33431791218302]
本稿では,ディープニューラルネットワークのトレーニング問題について検討し,最適化環境に隠された凸性を明らかにするための解析的アプローチを提案する。
我々は、標準のディープ・ネットワークとResNetを特別なケースとして含む、ディープ・パラレルなReLUネットワークアーキテクチャについて検討する。
論文 参考訳（メタデータ） (2021-10-18T18:00:36Z) - Non-Gradient Manifold Neural Network [79.44066256794187]
ディープニューラルネットワーク(DNN)は通常、勾配降下による最適化に数千のイテレーションを要します。
非次最適化に基づく新しい多様体ニューラルネットワークを提案する。
論文 参考訳（メタデータ） (2021-06-15T06:39:13Z) - Combinatorial Optimization for Panoptic Segmentation: An End-to-End
Trainable Approach [23.281726932718232]
本稿では,同時セマンティクスとインスタンスセグメンテーションのためのエンドツーエンドのトレーニング可能なアーキテクチャを提案する。
提案手法は,大規模実世界の課題において,ディープラーニングと協調して最適化を用いることの有用性を示す。
論文 参考訳（メタデータ） (2021-06-06T17:39:13Z) - Visualizing High-Dimensional Trajectories on the Loss-Landscape of ANNs [15.689418447376587]
ニューラルネットワークを訓練するには、高度に非次元的な損失関数の最適化が必要である。
可視化ツールは、ANNの損失ランドスケープの鍵となる幾何学的特徴を明らかにする上で重要な役割を果たしてきた。
局所構造と大域構造の両方でSOTAを表すモダニティ低減手法を提案する。
論文 参考訳（メタデータ） (2021-01-31T16:30:50Z) - Efficient and Sparse Neural Networks by Pruning Weights in a
Multiobjective Learning Approach [0.0]
本稿では、予測精度とネットワーク複雑性を2つの個別目的関数として扱うことにより、ニューラルネットワークのトレーニングに関する多目的視点を提案する。
模範的畳み込みニューラルネットワークの予備的な数値結果から、ニューラルネットワークの複雑性の大幅な低減と精度の低下が可能であることが確認された。
論文 参考訳（メタデータ） (2020-08-31T13:28:03Z) - A Flexible Framework for Designing Trainable Priors with Adaptive
Smoothing and Game Encoding [57.1077544780653]
我々は、前方通過を非滑らかな凸最適化問題として解釈できるニューラルネットワーク層の設計とトレーニングのための一般的なフレームワークを紹介する。
グラフのノードに代表されるローカルエージェントによって解決され、正規化関数を介して相互作用する凸ゲームに焦点を当てる。
このアプローチは、訓練可能なエンドツーエンドのディープモデル内で、古典的な画像の事前使用を可能にするため、画像の問題を解決するために魅力的である。
論文 参考訳（メタデータ） (2020-06-26T08:34:54Z) - The Hidden Convex Optimization Landscape of Two-Layer ReLU Neural
Networks: an Exact Characterization of the Optimal Solutions [51.60996023961886]
コーン制約のある凸最適化プログラムを解くことにより,グローバルな2層ReLUニューラルネットワークの探索が可能であることを示す。
我々の分析は新しく、全ての最適解を特徴づけ、最近、ニューラルネットワークのトレーニングを凸空間に持ち上げるために使われた双対性に基づく分析を活用できない。
論文 参考訳（メタデータ） (2020-06-10T15:38:30Z) - Layer-wise Conditioning Analysis in Exploring the Learning Dynamics of
DNNs [115.35745188028169]
条件付け解析を深層ニューラルネットワーク(DNN)に拡張し,その学習力学を解明する。
バッチ正規化(BN)はトレーニングを安定させるが、時には局所的な最小値の誤った印象を与える。
我々はBNが最適化問題の階層的条件付けを改善することを実験的に観察した。
論文 参考訳（メタデータ） (2020-02-25T11:40:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。