Fugu-MT 論文翻訳(概要): Correlated Initialization for Correlated Data

論文の概要: Correlated Initialization for Correlated Data

arxiv url: http://arxiv.org/abs/2003.04422v1
Date: Mon, 9 Mar 2020 21:37:59 GMT
ステータス: 処理完了
システム内更新日: 2022-12-25 08:16:23.244166
Title: Correlated Initialization for Correlated Data
Title（参考訳）: 相関データに対する相関初期化
Authors: Johannes Schneider
Abstract要約: CNNでは、正規化がなければ精度が数パーセント向上する。適切に調整されたL2正規化ゲインもしばしば可能である。
参考スコア（独自算出の注目度）: 2.5991265608180396
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Spatial data exhibits the property that nearby points are correlated. This holds also for learnt representations across layers, but not for commonly used weight initialization methods. Our theoretical analysis reveals for uncorrelated initialization that (i) flow through layers suffers from much more rapid decrease and (ii) training of individual parameters is subject to more ``zig-zagging''. We propose multiple methods for correlated initialization. For CNNs, they yield accuracy gains of several per cent in the absence of regularization. Even for properly tuned L2-regularization gains are often possible.
Abstract（参考訳）: 空間データは、近傍の点が関連付けられる特性を示す。これはレイヤー間の学習表現にも当てはまるが、一般に使われる重み初期化法には当てはまらない。我々の理論的分析は相関のない初期化について (i)層を流れる流れは、より急速な減少に苦しむ。 (ii)個々のパラメータのトレーニングは、より「zig-zagging」される。相関初期化のための複数の手法を提案する。 CNNでは、正規化がなければ精度が数パーセント向上する。適切に調整されたL2正規化ゲインもしばしば可能である。

関連論文リスト

Intersection of Parallels as an Early Stopping Criterion [64.8387564654474]
そこで本研究では,検証セットを必要とせずに,トレーニングイテレーションの早期停止点を見つける手法を提案する。幅広い学習率において,コサイン距離基準 (CDC) と呼ばれる手法は,比較したすべての手法よりも平均的な一般化に寄与する。
論文参考訳（メタデータ） (2022-08-19T19:42:41Z)
Lottery Tickets on a Data Diet: Finding Initializations with Sparse Trainable Networks [40.55816472416984]
反復トレーニング(IMP; Frankle et al.)に関する目覚ましい観察は、x2014x2014の数百ステップの密集した後に、x$である。本研究では、この事前学習の初期段階が、データとネットワークの両方に優れたIMPをもたらすかを理解することを目的とする。損失景観密度ネットワークの新たな特性を同定し,性能の予測を行う。
論文参考訳（メタデータ） (2022-06-02T20:04:06Z)
On the (Non-)Robustness of Two-Layer Neural Networks in Different Learning Regimes [27.156666384752548]
ニューラルネットワークは敵の例に非常に敏感である。異なるシナリオにおける堅牢性と一般化について研究する。線形化された遅延学習体制がいかに堅牢性を悪化させるかを示す。
論文参考訳（メタデータ） (2022-03-22T16:40:52Z)
Training Thinner and Deeper Neural Networks: Jumpstart Regularization [2.8348950186890467]
我々は、神経細胞が死滅したり線状になるのを防ぐために正規化を使用します。従来のトレーニングと比較して、より薄く、より深く、そして(最も重要な)よりパラメータ効率の高いニューラルネットワークが得られます。
論文参考訳（メタデータ） (2022-01-30T12:11:24Z)
Information-Theoretic Generalization Bounds for Iterative Semi-Supervised Learning [81.1071978288003]
特に,情報理論の原理を用いて,反復型SSLアルゴリズムのエミュレータ一般化誤差の振る舞いを理解することを目的とする。我々の理論的結果は、クラス条件分散があまり大きくない場合、一般化誤差の上限は反復数とともに単調に減少するが、すぐに飽和することを示している。
論文参考訳（メタデータ） (2021-10-03T05:38:49Z)
Understanding the Generalization of Adam in Learning Neural Networks with Proper Regularization [118.50301177912381]
我々は,重力減衰グローバリゼーションにおいても,目的の異なる解に確実に異なる誤差で収束できることを示す。凸と重み減衰正則化を用いると、Adamを含む任意の最適化アルゴリズムは同じ解に収束することを示す。
論文参考訳（メタデータ） (2021-08-25T17:58:21Z)
Imputation-Free Learning from Incomplete Observations [73.15386629370111]
本稿では,不備な値を含む入力からの推論をインプットなしでトレーニングするIGSGD法の重要性について紹介する。バックプロパゲーションによるモデルのトレーニングに使用する勾配の調整には強化学習(RL)を用いる。我々の計算自由予測は、最先端の計算手法を用いて従来の2段階の計算自由予測よりも優れている。
論文参考訳（メタデータ） (2021-07-05T12:44:39Z)
Neural Pruning via Growing Regularization [82.9322109208353]
プルーニングの2つの中心的な問題:プルーニングのスケジュールと重み付けの重要度だ。具体的には, ペナルティ要因が増大するL2正規化変種を提案し, 精度が著しく向上することを示した。提案アルゴリズムは,構造化プルーニングと非構造化プルーニングの両方において,大規模データセットとネットワークの実装が容易かつスケーラブルである。
論文参考訳（メタデータ） (2020-12-16T20:16:28Z)
Revisiting Initialization of Neural Networks [72.24615341588846]
ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
論文参考訳（メタデータ） (2020-04-20T18:12:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。