論文の概要: Convergence Analysis and Implicit Regularization of Feedback Alignment for Deep Linear Networks

• arxiv url: http://arxiv.org/abs/2110.10815v1
• Date: Wed, 20 Oct 2021 22:57:03 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-23 10:33:35.822271
• Title: Convergence Analysis and Implicit Regularization of Feedback Alignment for Deep Linear Networks
• Title（参考訳）: ディープ線形ネットワークにおけるフィードバックアライメントの収束解析と帰納規則化
• Authors: Manuela Girotti and Ioannis Mitliagkas and Gauthier Gidel
• Abstract要約: ニューラルネットワークのトレーニングのためのバックプロパゲーションの効率的な代替手段であるフィードバックアライメント(FA)アルゴリズムを理論的に解析する。 我々は、連続力学と離散力学の両方に対して、ディープ線形ネットワークのレートで収束保証を提供する。
• 参考スコア（独自算出の注目度）: 27.614609336582568
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We theoretically analyze the Feedback Alignment (FA) algorithm, an efficient alternative to backpropagation for training neural networks. We provide convergence guarantees with rates for deep linear networks for both continuous and discrete dynamics. Additionally, we study incremental learning phenomena for shallow linear networks. Interestingly, certain specific initializations imply that negligible components are learned before the principal ones, thus potentially negatively affecting the effectiveness of such a learning algorithm; a phenomenon we classify as implicit anti-regularization. We also provide initialization schemes where the components of the problem are approximately learned by decreasing order of importance, thus providing a form of implicit regularization.
• Abstract（参考訳）: ニューラルネットワークをトレーニングするためのバックプロパゲーションの効率的な代替手段であるフィードバックアライメント(fa)アルゴリズムを理論的に解析した。 我々は,連続ダイナミクスと離散ダイナミクスの両方に対して,ディープリニアネットワークのレートを伴う収束保証を提供する。 さらに,浅い線形ネットワークに対する漸進学習現象について検討した。 興味深いことに、特定の特定の初期化は、無視可能な成分が主成分よりも先に学習されることを暗黙の反正則化として分類する現象である。 また,課題の構成要素が重要度を減らして概ね学習される初期化スキームも提供し,暗黙の正則化の形式を提供する。

関連論文リスト

• Component-based Sketching for Deep ReLU Nets [55.404661149594375]
  各種タスクのためのディープネットコンポーネントに基づくスケッチ手法を開発した。 我々はディープネットトレーニングを線形経験的リスク最小化問題に変換する。 提案したコンポーネントベーススケッチは飽和関数の近似においてほぼ最適であることを示す。
  論文  参考訳（メタデータ） (2024-09-21T15:30:43Z)
• Implicit Regularization via Spectral Neural Networks and Non-linear Matrix Sensing [2.171120568435925]
  スペクトルニューラルネットワーク(SNN)は行列学習問題に特に適している。 SNNアーキテクチャは本質的にバニラニューラルネットよりも理論解析に適していることを示す。 我々は、SNNアーキテクチャは、幅広い種類の行列学習シナリオにおいて、幅広い適用性を持つ可能性があると信じている。
  論文  参考訳（メタデータ） (2024-02-27T15:28:01Z)
• Convergence Analysis for Learning Orthonormal Deep Linear Neural Networks [27.29463801531576]
  本稿では,正規直交深部線形ニューラルネットワークの学習のための収束解析について述べる。 その結果、隠れた層の増加が収束速度にどのように影響するかが明らかになった。
  論文  参考訳（メタデータ） (2023-11-24T18:46:54Z)
• Simple initialization and parametrization of sinusoidal networks via their kernel bandwidth [92.25666446274188]
  従来の活性化機能を持つネットワークの代替として、活性化を伴う正弦波ニューラルネットワークが提案されている。 まず,このような正弦波ニューラルネットワークの簡易版を提案する。 次に、ニューラルタンジェントカーネルの観点からこれらのネットワークの挙動を分析し、そのカーネルが調整可能な帯域幅を持つ低域フィルタを近似することを実証する。
  論文  参考訳（メタデータ） (2022-11-26T07:41:48Z)
• On the generalization of learning algorithms that do not converge [54.122745736433856]
  ディープラーニングの一般化解析は、訓練が一定の点に収束すると仮定するのが一般的である。 最近の結果は、実際には勾配降下に最適化されたディープニューラルネットワークの重みは、しばしば無限に振動することを示している。
  論文  参考訳（メタデータ） (2022-08-16T21:22:34Z)
• Learning Dynamics and Generalization in Reinforcement Learning [59.530058000689884]
  時間差学習は, エージェントが訓練の初期段階において, 値関数の非平滑成分を適合させるのに役立つことを理論的に示す。 本研究では,高密度報酬タスクの時間差アルゴリズムを用いて学習したニューラルネットワークが,ランダムなネットワークや政策手法で学習した勾配ネットワークよりも,状態間の一般化が弱いことを示す。
  論文  参考訳（メタデータ） (2022-06-05T08:49:16Z)
• On the Explicit Role of Initialization on the Convergence and Implicit Bias of Overparametrized Linear Networks [1.0323063834827415]
  勾配流下で訓練された単層線形ネットワークの新たな解析法を提案する。 正方形損失はその最適値に指数関数的に収束することを示す。 我々は、トレーニングされたネットワークとmin-norm解の間の距離に基づいて、新しい非漸近上界を導出する。
  論文  参考訳（メタデータ） (2021-05-13T15:13:51Z)
• DL-Reg: A Deep Learning Regularization Technique using Linear Regression [4.1359299555083595]
  本稿では,DL-Regと呼ばれる新しいディープラーニング正規化手法を提案する。 ネットワークをできるだけ線形に振る舞うように明示的に強制することで、ディープネットワークの非線形性をある程度まで慎重に減少させる。 DL-Regの性能は、いくつかのベンチマークデータセット上で最先端のディープネットワークモデルをトレーニングすることで評価される。
  論文  参考訳（メタデータ） (2020-10-31T21:53:24Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)
• On Connections between Regularizations for Improving DNN Robustness [67.28077776415724]
  本稿では,ディープニューラルネットワーク(DNN)の対角的ロバスト性を改善するために最近提案された正規化条件を解析する。 入力勾配正則化,ジャコビアン正則化,曲率正則化,クロスリプシッツ関数など,いくつかの有効な方法間の接続性について検討する。
  論文  参考訳（メタデータ） (2020-07-04T23:43:32Z)
• Provable Benefit of Orthogonal Initialization in Optimizing Deep Linear Networks [39.856439772974454]
  グローバル最小値への効率的な収束に必要な幅は, 深さに依存しないことを示す。 この結果から, 非線形ネットワークの初期化による最近の経験的成功について, 動的アイソメトリの原理による説明が得られた。
  論文  参考訳（メタデータ） (2020-01-16T18:48:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。