論文の概要: The learning phases in NN: From Fitting the Majority to Fitting a Few
- arxiv url: http://arxiv.org/abs/2202.08299v1
- Date: Wed, 16 Feb 2022 19:11:42 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-18 15:15:18.835953
- Title: The learning phases in NN: From Fitting the Majority to Fitting a Few
- Title（参考訳）: NNの学習フェーズ: 主要部分のフィットから小部分のフィットまで
- Authors: Johannes Schneider
- Abstract要約: 本研究では、学習中のパラメータの進化に基づいて、入力と予測性能の層再構成能力を分析する。
また、ResNetやVGGといったコンピュータビジョンから、共通のデータセットやアーキテクチャを用いて行動を評価する。
- 参考スコア（独自算出の注目度）: 2.5991265608180396
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The learning dynamics of deep neural networks are subject to controversy.
Using the information bottleneck (IB) theory separate fitting and compression
phases have been put forward but have since been heavily debated. We approach
learning dynamics by analyzing a layer's reconstruction ability of the input
and prediction performance based on the evolution of parameters during
training. We show that a prototyping phase decreasing reconstruction loss
initially, followed by reducing classification loss of a few samples, which
increases reconstruction loss, exists under mild assumptions on the data. Aside
from providing a mathematical analysis of single layer classification networks,
we also assess the behavior using common datasets and architectures from
computer vision such as ResNet and VGG.
- Abstract（参考訳）: ディープニューラルネットワークの学習ダイナミクスは議論の対象となっている。
情報ボトルネック(ib)理論を用いることで、フィッティングと圧縮のフェーズが分離されるが、それ以降は議論が続いている。
我々は,学習中のパラメータの進化に基づいて,入力と予測性能の層再構成能力を解析し,学習力学にアプローチする。
本研究は, 復元損失を減少させるプロトタイピング段階と, 復元損失を増大させる少数のサンプルの分類損失が, データに対する軽度な仮定の下で存在することを示す。
単層分類ネットワークの数学的解析を行うだけでなく,resnetやvggといったコンピュータビジョンからの共通データセットやアーキテクチャを用いて行動を評価する。
関連論文リスト
- On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。
アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
論文 参考訳（メタデータ） (2023-12-13T02:11:07Z) - Understanding and Leveraging the Learning Phases of Neural Networks [7.1169582271841625]
深層ニューラルネットワークの学習力学はよく理解されていない。
本研究では,入力および予測性能の層再構築能力について検討し,学習力学を包括的に解析する。
本稿では,ResNetやVGGといった共通データセットとアーキテクチャを用いた3つのフェーズの存在を示す。
論文 参考訳（メタデータ） (2023-12-11T23:20:58Z) - Deconstructing Data Reconstruction: Multiclass, Weight Decay and General
Losses [28.203535970330343]
Haim et al. (2022) は多層パーセプトロンバイナリ分類器からトレーニングサンプルを再構成する手法を提案した。
我々は、多クラスニューラルネットワークや畳み込みニューラルネットワークからの再構成を含む、いくつかの方向で研究結果を拡張した。
本稿では,ネットワークのこのような再建計画への感受性に寄与する諸要因について検討する。
論文 参考訳（メタデータ） (2023-07-04T17:09:49Z) - Reparameterization through Spatial Gradient Scaling [69.27487006953852]
リパラメータ化は、学習中に畳み込み層を等価なマルチブランチ構造に変換することによって、ディープニューラルネットワークの一般化を改善することを目的としている。
本稿では,畳み込みネットワークにおける重み間の学習焦点を再分配する空間勾配スケーリング手法を提案する。
論文 参考訳（メタデータ） (2023-03-05T17:57:33Z) - Rank Diminishing in Deep Neural Networks [71.03777954670323]
ニューラルネットワークのランクは、層をまたがる情報を測定する。
これは機械学習の幅広い領域にまたがる重要な構造条件の例である。
しかし、ニューラルネットワークでは、低ランク構造を生み出す固有のメカニズムはあいまいで不明瞭である。
論文 参考訳（メタデータ） (2022-06-13T12:03:32Z) - With Greater Distance Comes Worse Performance: On the Perspective of
Layer Utilization and Model Generalization [3.6321778403619285]
ディープニューラルネットワークの一般化は、マシンラーニングにおける主要なオープンな問題の1つだ。
初期のレイヤは一般的に、トレーニングデータとテストデータの両方のパフォーマンスに関する表現を学びます。
より深いレイヤは、トレーニングのリスクを最小限に抑え、テストや不正なラベル付けされたデータとうまく連携できない。
論文 参考訳（メタデータ） (2022-01-28T05:26:32Z) - A Dataset-Dispersion Perspective on Reconstruction Versus Recognition in
Single-View 3D Reconstruction Networks [16.348294592961327]
我々は、この先行要因を定量化し、そのNNへの影響を研究するために、新しいデータ駆動計量である分散スコアを導入する。
提案手法は, 従来の再建スコアに加えて, 復元品質を解析し, 新たな情報を提供する主要な方法であることを示す。
論文 参考訳（メタデータ） (2021-11-30T06:33:35Z) - PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive
Learning [109.84770951839289]
歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。
本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
論文 参考訳（メタデータ） (2021-03-17T08:28:30Z) - Topological obstructions in neural networks learning [67.8848058842671]
損失勾配関数フローのグローバル特性について検討する。
損失関数とそのモースコンプレックスの位相データ解析を用いて,損失面の大域的特性と勾配軌道に沿った局所的挙動を関連付ける。
論文 参考訳（メタデータ） (2020-12-31T18:53:25Z) - On Robustness and Transferability of Convolutional Neural Networks [147.71743081671508]
現代の深層畳み込みネットワーク(CNN)は、分散シフトの下で一般化しないとしてしばしば批判される。
現代画像分類CNNにおける分布外と転送性能の相互作用を初めて検討した。
トレーニングセットとモデルサイズを増大させることで、分散シフトロバスト性が著しく向上することがわかった。
論文 参考訳（メタデータ） (2020-07-16T18:39:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。