論文の概要: Connectivity Shapes Implicit Regularization in Matrix Factorization Models for Matrix Completion

• arxiv url: http://arxiv.org/abs/2405.13721v1
• Date: Wed, 22 May 2024 15:12:14 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-24 23:35:03.880593
• Title: Connectivity Shapes Implicit Regularization in Matrix Factorization Models for Matrix Completion
• Title（参考訳）: 行列分解モデルにおける接続性形状と正則化
• Authors: Zhiwei Bai, Jiajie Zhao, Yaoyu Zhang,
• Abstract要約: 行列完備化問題の解法として,行列分解の暗黙的正則化について検討する。 我々は、観測データの接続が暗黙のバイアスにおいて重要な役割を果たすことを経験的に発見する。 我々の研究は、行列分解モデルにおけるデータ接続、トレーニングダイナミクス、暗黙の正規化の間の複雑な相互作用を明らかにする。
• 参考スコア（独自算出の注目度）: 2.8948274245812335
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Matrix factorization models have been extensively studied as a valuable test-bed for understanding the implicit biases of overparameterized models. Although both low nuclear norm and low rank regularization have been studied for these models, a unified understanding of when, how, and why they achieve different implicit regularization effects remains elusive. In this work, we systematically investigate the implicit regularization of matrix factorization for solving matrix completion problems. We empirically discover that the connectivity of observed data plays a crucial role in the implicit bias, with a transition from low nuclear norm to low rank as data shifts from disconnected to connected with increased observations. We identify a hierarchy of intrinsic invariant manifolds in the loss landscape that guide the training trajectory to evolve from low-rank to higher-rank solutions. Based on this finding, we theoretically characterize the training trajectory as following the hierarchical invariant manifold traversal process, generalizing the characterization of Li et al. (2020) to include the disconnected case. Furthermore, we establish conditions that guarantee minimum nuclear norm, closely aligning with our experimental findings, and we provide a dynamics characterization condition for ensuring minimum rank. Our work reveals the intricate interplay between data connectivity, training dynamics, and implicit regularization in matrix factorization models.
• Abstract（参考訳）: 行列分解モデルは、過パラメータ化モデルの暗黙バイアスを理解するための貴重なテストベッドとして広く研究されている。 低核ノルムと低ランク正則化の両方がこれらのモデルで研究されているが、いつ、どのように、なぜ異なる暗黙の正則化効果を達成するのかという統一的な理解はいまだ解明されていない。 本研究では,行列分解問題を解くために,行列分解の暗黙的正則化を体系的に検討する。 観測データの接続性は暗黙のバイアスにおいて重要な役割を担っていることを実証的に見出した。 損失ランドスケープ内の固有不変多様体の階層を同定し、トレーニング軌道を低ランクから高階の解へと発展させる。 この発見に基づいて、我々は、階層的不変多様体のトラバーサル過程に従って訓練軌跡を理論的に特徴づけ、Li et al (2020) の特性を非連結なケースを含むように一般化する。 さらに,実験結果と密接に整合し,最小限の核準位を保証する条件を確立し,最小限の核準位を確保するための力学特性評価条件を提供する。 我々の研究は、行列分解モデルにおけるデータ接続、トレーニングダイナミクス、暗黙の正規化の間の複雑な相互作用を明らかにする。

関連論文リスト

• Disentanglement via Latent Quantization [60.37109712033694]
  本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。 本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
  論文  参考訳（メタデータ） (2023-05-28T06:30:29Z)
• A Unified Analysis of Multi-task Functional Linear Regression Models with Manifold Constraint and Composite Quadratic Penalty [0.0]
  マルチタスク学習のパワーは、傾斜関数に付加的な構造を課すことによってもたらされる。 合成ペナルティは、多様体曲率の定量化に役立つ特定のノルムを誘導することを示す。 縮小ランクモデルとグラフラプラシア正規化モデルに統一収束上限を求め、特に適用する。
  論文  参考訳（メタデータ） (2022-11-09T13:32:23Z)
• The Interplay Between Implicit Bias and Benign Overfitting in Two-Layer Linear Networks [51.1848572349154]
  ノイズの多いデータに完全に適合するニューラルネットワークモデルは、見当たらないテストデータにうまく一般化できる。 我々は,2層線形ニューラルネットワークを2乗損失の勾配流で補間し,余剰リスクを導出する。
  論文  参考訳（メタデータ） (2021-08-25T22:01:01Z)
• CNN-based Realized Covariance Matrix Forecasting [0.0]
  本稿では,CNN と Conal LSTM (ConvLSTM) を用いたエンドツーエンドトレーニングモデルを提案する。 局所構造と相関に焦点をあて、歴史的に実現された共分散行列と将来の行列を結びつける非線形写像を学ぶ。 人工的および実世界のデータセットに関する実証研究は、いくつかの高度なボラティリティモデルと比較して優れた予測能力を示している。
  論文  参考訳（メタデータ） (2021-07-22T12:02:24Z)
• Error Bounds of the Invariant Statistics in Machine Learning of Ergodic It\^o Diffusions [8.627408356707525]
  エルゴード的伊藤拡散の機械学習の理論的基盤について検討する。 ドリフト係数と拡散係数の学習における誤差に対する1点および2点不変統計量の誤差の線形依存性を導出する。
  論文  参考訳（メタデータ） (2021-05-21T02:55:59Z)
• Learning Mixtures of Low-Rank Models [89.39877968115833]
  低ランクモデルの計算混合を学習する問題について検討する。 ほぼ最適サンプルを用いて未知の行列を復元することが保証されるアルゴリズムを開発する。 さらに,提案アルゴリズムはランダムノイズに対して確実に安定である。
  論文  参考訳（メタデータ） (2020-09-23T17:53:48Z)
• Accounting for Unobserved Confounding in Domain Generalization [107.0464488046289]
  本稿では,データセットの組み合わせから頑健で一般化可能な予測モデルを学習する際の問題点について検討する。 堅牢なモデルを学ぶことの課題の一部は、保存されていない共同設立者の影響にある。 異なるモダリティの医療データに対するアプローチの実証的性能を実証する。
  論文  参考訳（メタデータ） (2020-07-21T08:18:06Z)
• Understanding Implicit Regularization in Over-Parameterized Single Index Model [55.41685740015095]
  我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。 暗黙正則化現象の理論的保証を提供する。
  論文  参考訳（メタデータ） (2020-07-16T13:27:47Z)
• Generalisation error in learning with random features and the hidden manifold model [23.71637173968353]
  合成データセットの一般線形回帰と分類について検討した。 我々は,高次元構造を考察し,統計物理学からのレプリカ法を用いる。 閾値をピークとしたロジスティック回帰のためのいわゆる二重降下挙動を得る方法を示す。 隠れ多様体モデルにより生成されたデータにおいて相関関係が果たす役割について論じる。
  論文  参考訳（メタデータ） (2020-02-21T14:49:41Z)
• Kernel and Rich Regimes in Overparametrized Models [69.40899443842443]
  過度にパラメータ化された多層ネットワーク上の勾配勾配は、RKHSノルムではないリッチな暗黙バイアスを誘発できることを示す。 また、より複雑な行列分解モデルと多層非線形ネットワークに対して、この遷移を実証的に示す。
  論文  参考訳（メタデータ） (2020-02-20T15:43:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。