Fugu-MT 論文翻訳(概要): On implicit regularization: Morse functions and applications to matrix factorization

論文の概要: On implicit regularization: Morse functions and applications to matrix factorization

arxiv url: http://arxiv.org/abs/2001.04264v2
Date: Fri, 31 Jan 2020 22:06:26 GMT
ステータス: 処理完了
システム内更新日: 2023-01-11 22:38:54.288069
Title: On implicit regularization: Morse functions and applications to matrix factorization
Title（参考訳）: 暗黙正則化について:モース関数と行列分解への応用
Authors: Mohamed Ali Belabbas
Abstract要約: 主要なコントリビューションは、暗黙の正規化のための新しい基準である。これらの手法を行列分解における暗黙正則化の予想に応用する。
参考スコア（独自算出の注目度）: 1.713291434132985
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In this paper, we revisit implicit regularization from the ground up using notions from dynamical systems and invariant subspaces of Morse functions. The key contributions are a new criterion for implicit regularization---a leading contender to explain the generalization power of deep models such as neural networks---and a general blueprint to study it. We apply these techniques to settle a conjecture on implicit regularization in matrix factorization.
Abstract（参考訳）: 本稿では,モース関数の力学系と不変部分空間の概念を用いて,基底からの暗黙正則化を再考する。鍵となる貢献は、暗黙の正規化の新しい基準(ニューラルネットワークのような深層モデルの一般化力を説明する主要な候補)と、それを研究するための一般的な青写真である。これらの手法を行列分解における暗黙正則化の予想に応用する。

関連論文リスト

Understanding Matrix Function Normalizations in Covariance Pooling through the Lens of Riemannian Geometry [63.694184882697435]
グローバル共分散プーリング(GCP)は、高レベルの表現の2階統計を利用して、ディープニューラルネットワーク(DNN)の性能を向上させることが実証されている。
論文参考訳（メタデータ） (2024-07-15T07:11:44Z)
Connectivity Shapes Implicit Regularization in Matrix Factorization Models for Matrix Completion [2.8948274245812335]
行列完備化問題の解法として,行列分解の暗黙的正則化について検討する。我々は、観測データの接続が暗黙のバイアスにおいて重要な役割を果たすことを経験的に発見する。我々の研究は、行列分解モデルにおけるデータ接続、トレーニングダイナミクス、暗黙の正規化の間の複雑な相互作用を明らかにする。
論文参考訳（メタデータ） (2024-05-22T15:12:14Z)
A Unified Approach to Controlling Implicit Regularization via Mirror Descent [18.536453909759544]
ミラー降下(MD)は勾配降下(GD)の顕著な一般化である MDを効率的に実装することができ、適切な条件下での高速収束を享受できることを示す。
論文参考訳（メタデータ） (2023-06-24T03:57:26Z)
The Inductive Bias of Flatness Regularization for Deep Matrix Factorization [58.851514333119255]
この研究は、ディープ線形ネットワークにおけるヘッセン解の最小トレースの帰納バイアスを理解するための第一歩となる。測定値の標準等尺性(RIP)が1より大きいすべての深さについて、ヘッセンのトレースを最小化することは、対応する終端行列パラメータのシャッテン 1-ノルムを最小化するのとほぼ同値であることを示す。
論文参考訳（メタデータ） (2023-06-22T23:14:57Z)
Disentanglement via Latent Quantization [60.37109712033694]
本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
論文参考訳（メタデータ） (2023-05-28T06:30:29Z)
TANGOS: Regularizing Tabular Neural Networks through Gradient Orthogonalization and Specialization [69.80141512683254]
TANGOS(Tbular Neural Gradient Orthogonalization and gradient)を紹介する。 TANGOSは、潜在ユニット属性上に構築された表の設定を正規化するための新しいフレームワークである。提案手法は,他の一般的な正規化手法よりも優れ,サンプル外一般化性能の向上につながることを実証する。
論文参考訳（メタデータ） (2023-03-09T18:57:13Z)
Implicit Regularization in Hierarchical Tensor Factorization and Deep Convolutional Neural Networks [18.377136391055327]
本稿では,階層的テンソル分解における暗黙の正規化を理論的に解析する。これは、関連する畳み込みネットワークの局所性に対する暗黙の正規化に変換される。我々の研究は、暗黙の正規化の理論解析を通じてニューラルネットワークを強化する可能性を強調している。
論文参考訳（メタデータ） (2022-01-27T18:48:30Z)
LieTransformer: Equivariant self-attention for Lie Groups [49.9625160479096]
群等価ニューラルネットワークは群不変ニューラルネットワークの構成要素として用いられる。我々は、文学の範囲を、ディープラーニングモデルの顕著な構築ブロックとして現れつつある自己注意にまで広げる。任意のリー群とその離散部分群に同値なリー自己結合層からなる構造であるリー変換器を提案する。
論文参考訳（メタデータ） (2020-12-20T11:02:49Z)
Understanding Implicit Regularization in Over-Parameterized Single Index Model [55.41685740015095]
我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。暗黙正則化現象の理論的保証を提供する。
論文参考訳（メタデータ） (2020-07-16T13:27:47Z)
Implicit Regularization in Deep Learning May Not Be Explainable by Norms [19.171942665409105]
暗黙の正則化がすべてのノルム(および準ノルム)を無限大へと導く自然な行列分解問題が存在することを示す。我々の結果は、ノルムによる暗黙の正規化を知覚するのではなく、潜在的に有用な解釈はランクの最小化であることを示している。
論文参考訳（メタデータ） (2020-05-13T16:13:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。