Fugu-MT 論文翻訳(概要): Implicit Regularization via Neural Feature Alignment

論文の概要: Implicit Regularization via Neural Feature Alignment

arxiv url: http://arxiv.org/abs/2008.00938v3
Date: Wed, 17 Mar 2021 00:57:56 GMT
ステータス: 処理完了
システム内更新日: 2022-11-03 05:46:39.843802
Title: Implicit Regularization via Neural Feature Alignment
Title（参考訳）: 神経特徴アライメントによる暗黙的正規化
Authors: Aristide Baratin, Thomas George, C\'esar Laurent, R Devon Hjelm, Guillaume Lajoie, Pascal Vincent, Simon Lacoste-Julien
Abstract要約: ニューラル・タンジェントの特徴の動的アライメントによって引き起こされる正規化効果を強調した。線形モデルに対するラデマッハ複雑性境界の新しい解析を外挿することにより、この現象を捉える複雑性尺度を動機付け、研究する。
参考スコア（独自算出の注目度）: 39.257382575749354
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We approach the problem of implicit regularization in deep learning from a geometrical viewpoint. We highlight a regularization effect induced by a dynamical alignment of the neural tangent features introduced by Jacot et al, along a small number of task-relevant directions. This can be interpreted as a combined mechanism of feature selection and compression. By extrapolating a new analysis of Rademacher complexity bounds for linear models, we motivate and study a heuristic complexity measure that captures this phenomenon, in terms of sequences of tangent kernel classes along optimization paths.
Abstract（参考訳）: 幾何学的観点から深層学習における暗黙的な正規化の問題にアプローチする。 jacotらによって導入された神経接点のダイナミックアライメントによって引き起こされる正規化効果を少数のタスク関連方向に沿って強調する。これは特徴の選択と圧縮の結合メカニズムとして解釈できる。線形モデルに対するRademacher複雑性境界の新たな解析を外挿することにより、最適化パスに沿った接するカーネルクラスのシーケンスの観点から、この現象を捉えるヒューリスティックな複雑性尺度を動機付け、研究する。

関連論文リスト

Hallmarks of Optimization Trajectories in Neural Networks: Directional Exploration and Redundancy [75.15685966213832]
最適化トラジェクトリのリッチな方向構造をポイントワイズパラメータで解析する。トレーニング中のスカラーバッチノルムパラメータは,ネットワーク全体のトレーニング性能と一致していることを示す。
論文参考訳（メタデータ） (2024-03-12T07:32:47Z)
Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
論文参考訳（メタデータ） (2023-10-20T12:45:12Z)
An Adaptive Tangent Feature Perspective of Neural Networks [4.900298402690262]
特徴量の線形変換を考察し、パラメータと双線型制約による変換を共同で最適化する。ニューラルネットワークの構造に特化して、機能がどのように変化し、カーネル関数が変化するかについての洞察を得る。実ニューラルネットワークのカーネルアライメントにおける理論的観察を検証する。
論文参考訳（メタデータ） (2023-08-29T17:57:20Z)
Regularization, early-stopping and dreaming: a Hopfield-like setup to address generalization and overfitting [0.0]
正規化損失関数に勾配降下を適用し,最適ネットワークパラメータを求める。この枠組みの中で、最適なニューロン相互作用行列は、繰り返し学習プロトコルによって修正されたヘビアン核に対応する。
論文参考訳（メタデータ） (2023-08-01T15:04:30Z)
Implicit Regularization for Group Sparsity [33.487964460794764]
正方形回帰損失に対する勾配勾配は, 明示的な正則化を伴わずに, 群間隔構造を持つ解に偏りを示す。一般雑音設定における回帰問題の勾配ダイナミクスを解析し,最小最適誤差率を求める。サイズ 1 群の退化の場合、我々の手法は疎線形回帰の新しいアルゴリズムを生み出す。
論文参考訳（メタデータ） (2023-01-29T20:54:03Z)
Double-descent curves in neural networks: a new perspective using Gaussian processes [9.153116600213641]
ニューラルネットワークの二重輝線曲線は、一般化誤差が最初にパラメータの増加とともに下降し、最適数のパラメータに達した後に成長する現象を記述している。本稿では,ニューラルネットワークガウス過程カーネルのスペクトルの幅依存性として,経験的特徴共分散行列のスペクトル分布を特徴付けるために,ランダム行列理論の手法を用いる。
論文参考訳（メタデータ） (2021-02-14T20:31:49Z)
Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
論文参考訳（メタデータ） (2020-11-18T18:52:08Z)
Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
論文参考訳（メタデータ） (2020-07-02T17:55:47Z)
Measuring Model Complexity of Neural Networks with Curve Activation Functions [100.98319505253797]
本稿では,線形近似ニューラルネットワーク(LANN)を提案する。ニューラルネットワークのトレーニングプロセスを実験的に検討し、オーバーフィッティングを検出する。我々は、$L1$と$L2$正規化がモデルの複雑さの増加を抑制することを発見した。
論文参考訳（メタデータ） (2020-06-16T07:38:06Z)
Generalisation error in learning with random features and the hidden manifold model [23.71637173968353]
合成データセットの一般線形回帰と分類について検討した。我々は,高次元構造を考察し,統計物理学からのレプリカ法を用いる。閾値をピークとしたロジスティック回帰のためのいわゆる二重降下挙動を得る方法を示す。隠れ多様体モデルにより生成されたデータにおいて相関関係が果たす役割について論じる。
論文参考訳（メタデータ） (2020-02-21T14:49:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。