論文の概要: Visualizing the Loss Landscape of Winning Lottery Tickets
- arxiv url: http://arxiv.org/abs/2112.08538v1
- Date: Thu, 16 Dec 2021 00:17:26 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-18 08:26:14.652872
- Title: Visualizing the Loss Landscape of Winning Lottery Tickets
- Title（参考訳）: 勝利した宝くじの風景を可視化する
- Authors: Robert Bain
- Abstract要約: この研究は、こうした損失景観を計算するのに要する時間を大幅に削減し、反復的な等級プルーニングによる当選宝くじの研究に使用する。
また, ある損失景観予測法とモデル学習可能性, 一般化誤差との間には, 従来主張されていた相関関係が矛盾していることを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The underlying loss landscapes of deep neural networks have a great impact on
their training, but they have mainly been studied theoretically due to
computational constraints. This work vastly reduces the time required to
compute such loss landscapes, and uses them to study winning lottery tickets
found via iterative magnitude pruning. We also share results that contradict
previously claimed correlations between certain loss landscape projection
methods and model trainability and generalization error.
- Abstract（参考訳）: 深層ニューラルネットワークのロスランドスケープはトレーニングに大きな影響を与えるが、主に計算の制約により理論的に研究されている。
この研究は、こうした損失景観を計算するのに要する時間を大幅に削減し、反復的な等級プルーニングによる当選宝くじの研究に使用する。
また,ある損失ランドスケープ投影法とモデルトレーサビリティと一般化誤差との間には,従来主張されていた相関結果と矛盾する結果も共有した。
関連論文リスト
- Unraveling the Hessian: A Key to Smooth Convergence in Loss Function Landscapes [0.0]
我々は、完全に連結されたニューラルネットワークにおける損失景観の収束を理論的に解析し、新しいオブジェクトをサンプルに追加する際の損失関数値の差について上限を導出する。
画像分類作業における損失関数面の収束を実証し,これらの結果を様々なデータセットで検証した。
論文 参考訳（メタデータ） (2024-09-18T14:04:15Z) - Insights into the Lottery Ticket Hypothesis and Iterative Magnitude Pruning [6.725643794338811]
そこで本研究では,反復的等級切削工程の様々な段階で得られた溶液の体積/幾何学および損失景観特性について検討した。
抽選券仮説によって提案された特定の初期化が、一般化(および訓練)性能においてよりうまく機能する傾向にある理由を説明する。
論文 参考訳（メタデータ） (2024-03-22T08:11:14Z) - Understanding the Generalization Benefits of Late Learning Rate Decay [14.471831651042367]
ニューラルネットワークにおけるトレーニングとテスト損失の関係を示す。
本稿では、実際のニューラルネットワークで観測された損失景観を反映した非線形モデルを提案する。
学習率の高い拡張フェーズが、トレーニング損失の最小限の標準解に向けて、我々のモデルを導いてくれることを実証する。
論文 参考訳（メタデータ） (2024-01-21T21:11:09Z) - The instabilities of large learning rate training: a loss landscape view [2.4366811507669124]
本研究では,学習率の高いネットワークトレーニングにおいて,ヘッセン行列を考慮した損失景観について検討する。
我々は勾配降下の不安定性を特徴づけ、テクトランドスケープ平坦化とテクトランドスケープシフトの顕著な現象を観察する。
論文 参考訳（メタデータ） (2023-07-22T00:07:49Z) - Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity
on Pruned Neural Networks [79.74580058178594]
目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。
本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
論文 参考訳（メタデータ） (2021-10-12T01:11:07Z) - Mixing between the Cross Entropy and the Expectation Loss Terms [89.30385901335323]
クロスエントロピー損失は、トレーニング中にサンプルを分類するのが難しくなる傾向にある。
最適化目標に期待損失を加えることで,ネットワークの精度が向上することを示す。
実験により,新しいトレーニングプロトコルにより,多様な分類領域における性能が向上することが示された。
論文 参考訳（メタデータ） (2021-09-12T23:14:06Z) - Taxonomizing local versus global structure in neural network loss
landscapes [60.206524503782006]
ロスランドスケープが世界規模で良好に接続されている場合, 最適なテスト精度が得られることを示す。
また、モデルが小さい場合や、品質の低いデータに訓練された場合、世界規模で接続の不十分なランドスケープが生じる可能性があることも示しています。
論文 参考訳（メタデータ） (2021-07-23T13:37:14Z) - Generic Perceptual Loss for Modeling Structured Output Dependencies [78.59700528239141]
トレーニングされた重みではなく、ネットワーク構造が重要であることを示す。
我々は、出力の構造化依存関係をモデル化するためにランダムに重み付けされたディープcnnが使用できることを実証する。
論文 参考訳（メタデータ） (2021-03-18T23:56:07Z) - Loss Bounds for Approximate Influence-Based Abstraction [81.13024471616417]
影響に基づく抽象化は、システムの残りの部分が与える「影響」とともに、局所的なサブプロブレムをモデル化することでレバレッジを得ることを目的としている。
本稿では,理論的観点から,そのような手法の性能について考察する。
交叉エントロピーで訓練されたニューラルネットワークは、近似的な影響表現を学習するのに適していることを示す。
論文 参考訳（メタデータ） (2020-11-03T15:33:10Z) - On the Loss Landscape of Adversarial Training: Identifying Challenges
and How to Overcome Them [57.957466608543676]
機械学習モデルの損失景観に及ぼす対人訓練の影響を解析する。
曲率の増加と散乱勾配の増大により, 対向損失景観は最適化にはあまり好ましくないことを示す。
論文 参考訳（メタデータ） (2020-06-15T13:50:23Z) - Evaluation of Neural Architectures Trained with Square Loss vs
Cross-Entropy in Classification Tasks [23.538629997497747]
クロスエントロピー損失は、分類タスクの平方損失よりも経験的に優れていると広く信じられている。
これらのニューラルネットワークアーキテクチャは、正方形損失をトレーニングした場合に、相容れないか、より良く機能することを示す。
クロスエントロピーはコンピュータビジョンのタスクに多少の限界があるようだ。
論文 参考訳（メタデータ） (2020-06-12T17:00:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。