論文の概要: Implicit Regularization in Hierarchical Tensor Factorization and Deep Convolutional Neural Networks

• arxiv url: http://arxiv.org/abs/2201.11729v1
• Date: Thu, 27 Jan 2022 18:48:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-28 13:21:32.527780
• Title: Implicit Regularization in Hierarchical Tensor Factorization and Deep Convolutional Neural Networks
• Title（参考訳）: 階層的テンソル因子化と深部畳み込みニューラルネットワークにおける帰納規則化
• Authors: Noam Razin, Asaf Maman, Nadav Cohen
• Abstract要約: 本稿では,階層的テンソル分解における暗黙の正規化を理論的に解析する。 これは、関連する畳み込みネットワークの局所性に対する暗黙の正規化に変換される。 我々の研究は、暗黙の正規化の理論解析を通じてニューラルネットワークを強化する可能性を強調している。
• 参考スコア（独自算出の注目度）: 18.377136391055327
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In the pursuit of explaining implicit regularization in deep learning, prominent focus was given to matrix and tensor factorizations, which correspond to simplified neural networks. It was shown that these models exhibit implicit regularization towards low matrix and tensor ranks, respectively. Drawing closer to practical deep learning, the current paper theoretically analyzes the implicit regularization in hierarchical tensor factorization, a model equivalent to certain deep convolutional neural networks. Through a dynamical systems lens, we overcome challenges associated with hierarchy, and establish implicit regularization towards low hierarchical tensor rank. This translates to an implicit regularization towards locality for the associated convolutional networks. Inspired by our theory, we design explicit regularization discouraging locality, and demonstrate its ability to improve performance of modern convolutional networks on non-local tasks, in defiance of conventional wisdom by which architectural changes are needed. Our work highlights the potential of enhancing neural networks via theoretical analysis of their implicit regularization.
• Abstract（参考訳）: ディープラーニングにおける暗黙の正規化を説明するために、単純化されたニューラルネットワークに対応する行列とテンソル因子化に顕著な焦点が当てられた。 これらのモデルはそれぞれ低行列とテンソル階への暗黙の正則化を示すことが示された。 実用的な深層学習に近づき、本論文では階層的テンソル因子化における暗黙の正規化を理論的に分析する。 動的システムレンズを通じて、階層構造に関連した課題を克服し、低階層テンソルランクに対する暗黙の正規化を確立する。 これは、関連する畳み込みネットワークの局所性に対する暗黙の正規化を意味する。 この理論に触発されて,我々は局所性を損なう明示的な正規化をデザインし,建築上の変化が必要な従来の知識に反し,非局所タスクにおける現代的な畳み込みネットワークの性能を向上させる能力を示す。 我々の研究は、暗黙の正規化の理論解析を通じてニューラルネットワークを強化する可能性を強調している。

関連論文リスト

• Feature Contamination: Neural Networks Learn Uncorrelated Features and Fail to Generalize [5.642322814965062]
  分散シフトの下で一般化される学習表現は、堅牢な機械学習モデルを構築する上で重要である。 ニューラルネットワークを教師ネットワークから得られる表現に明示的に適合させることさえ、学生ネットワークの一般化には不十分であることを示す。
  論文  参考訳（メタデータ） (2024-06-05T15:04:27Z)
• Dynamical stability and chaos in artificial neural network trajectories along training [3.379574469735166]
  浅いニューラルネットワークのネットワーク軌跡をこのレンズを通して解析することにより,このプロセスの動的特性について検討する。 我々は,学習率の仕組みによって,規則的かつカオス的な行動のヒントを見いだす。 この研究は、力学系理論、ネットワーク理論、機械学習のアイデアの交叉受精にも貢献している。
  論文  参考訳（メタデータ） (2024-04-08T17:33:11Z)
• Implicit Regularization via Spectral Neural Networks and Non-linear Matrix Sensing [2.171120568435925]
  スペクトルニューラルネットワーク(SNN)は行列学習問題に特に適している。 SNNアーキテクチャは本質的にバニラニューラルネットよりも理論解析に適していることを示す。 我々は、SNNアーキテクチャは、幅広い種類の行列学習シナリオにおいて、幅広い適用性を持つ可能性があると信じている。
  論文  参考訳（メタデータ） (2024-02-27T15:28:01Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Generalization and Estimation Error Bounds for Model-based Neural Networks [78.88759757988761]
  スパースリカバリのためのモデルベースネットワークの一般化能力は、通常のReLUネットワークよりも優れていることを示す。 我々は,高一般化を保証したモデルベースネットワークの構築を可能にする実用的な設計規則を導出する。
  論文  参考訳（メタデータ） (2023-04-19T16:39:44Z)
• TANGOS: Regularizing Tabular Neural Networks through Gradient Orthogonalization and Specialization [69.80141512683254]
  TANGOS(Tbular Neural Gradient Orthogonalization and gradient)を紹介する。 TANGOSは、潜在ユニット属性上に構築された表の設定を正規化するための新しいフレームワークである。 提案手法は,他の一般的な正規化手法よりも優れ,サンプル外一般化性能の向上につながることを実証する。
  論文  参考訳（メタデータ） (2023-03-09T18:57:13Z)
• Rank Diminishing in Deep Neural Networks [71.03777954670323]
  ニューラルネットワークのランクは、層をまたがる情報を測定する。 これは機械学習の幅広い領域にまたがる重要な構造条件の例である。 しかし、ニューラルネットワークでは、低ランク構造を生み出す固有のメカニズムはあいまいで不明瞭である。
  論文  参考訳（メタデータ） (2022-06-13T12:03:32Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)
• Optimization Theory for ReLU Neural Networks Trained with Normalization Layers [82.61117235807606]
  ディープニューラルネットワークの成功は、部分的には正規化レイヤの使用によるものだ。 我々の分析は、正規化の導入がランドスケープをどのように変化させ、より高速なアクティベーションを実現するかを示している。
  論文  参考訳（メタデータ） (2020-06-11T23:55:54Z)
• Input-to-State Representation in linear reservoirs dynamics [15.491286626948881]
  貯留層コンピューティングは、リカレントニューラルネットワークを設計するための一般的なアプローチである。 これらのネットワークの動作原理は、完全には理解されていない。 このようなネットワークの力学の新たな解析法を提案する。
  論文  参考訳（メタデータ） (2020-03-24T00:14:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。