論文の概要: Implicit Bias in Matrix Factorization and its Explicit Realization in a New Architecture

• arxiv url: http://arxiv.org/abs/2501.16322v2
• Date: Mon, 03 Nov 2025 18:57:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-05 16:37:25.964369
• Title: Implicit Bias in Matrix Factorization and its Explicit Realization in a New Architecture
• Title（参考訳）: マトリックス因子化におけるインプリシットバイアスと新しいアーキテクチャにおける明示的実現
• Authors: Yikun Hou, Suvrit Sra, Alp Yurtsever,
• Abstract要約: 行列分解の勾配降下は、ほぼ低ランクな解に対する暗黙の偏りを示す。 Xapprox UDVtop$, $U$ と $V$ は標準球内で制約されるが、$D$ は対角因子である。 実験により、このモデルは常に強い暗黙のバイアスを示し、(およそ)低ランクの解をもたらすことが示されている。
• 参考スコア（独自算出の注目度）: 25.10944177742897
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Gradient descent for matrix factorization exhibits an implicit bias toward approximately low-rank solutions. While existing theories often assume the boundedness of iterates, empirically the bias persists even with unbounded sequences. This reflects a dynamic where factors develop low-rank structure while their magnitudes increase, tending to align with certain directions. To capture this behavior in a stable way, we introduce a new factorization model: $X\approx UDV^\top$, where $U$ and $V$ are constrained within norm balls, while $D$ is a diagonal factor allowing the model to span the entire search space. Experiments show that this model consistently exhibits a strong implicit bias, yielding truly (rather than approximately) low-rank solutions. Extending the idea to neural networks, we introduce a new model featuring constrained layers and diagonal components that achieves competitive performance on various regression and classification tasks while producing lightweight, low-rank representations.
• Abstract（参考訳）: 行列分解の勾配降下は、ほぼ低ランクな解に対する暗黙の偏りを示す。 既存の理論はしばしば反復の有界性を仮定するが、経験的にバイアスは非有界列でも持続する。 これは、要因が低ランク構造を発達する一方で、その大きさが増加し、ある方向と整合する傾向がある、というダイナミクスを反映している。 この動作を安定的に捉えるために,$X\approx UDV^\top$, $U$ と $V$ はノルムボール内で制約されるが, $D$ は検索空間全体にわたってモデルを拡張可能な対角係数である。 実験により、このモデルは常に強い暗黙のバイアスを示し、(およそ)低ランクの解をもたらすことが示されている。 このアイデアをニューラルネットワークに拡張し、軽量で低ランクな表現を生成しながら、様々な回帰および分類タスクにおける競合性能を実現する、制約された層と対角成分を特徴とする新しいモデルを導入する。

関連論文リスト

• T-Rex: Fitting a Robust Factor Model via Expectation-Maximization [0.0]
  統計的因子モデルに頑健に適合する新しい予測最大化(EM)アルゴリズムを提案する。 我々のアプローチは、楕円分布に対する散乱行列のタイラーのM-推定器に基づいている。 合成例と実例の両方について数値実験を行った。
  論文  参考訳（メタデータ） (2025-05-17T18:53:06Z)
• Subspace-Constrained Quadratic Matrix Factorization: Algorithm and Applications [1.689629482101155]
  多様体学習における課題に対処するために,部分空間制約付き二次行列分解モデルを提案する。 このモデルは、接空間、正規部分空間、二次形式を含む重要な低次元構造を共同で学習するように設計されている。 その結果,本モデルは従来の手法よりも優れており,コア低次元構造を捉える上での頑健さと有効性を強調した。
  論文  参考訳（メタデータ） (2024-11-07T13:57:53Z)
• Scaling and renormalization in high-dimensional regression [72.59731158970894]
  本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。 本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
  論文  参考訳（メタデータ） (2024-05-01T15:59:00Z)
• Layered Models can "Automatically" Regularize and Discover Low-Dimensional Structures via Feature Learning [6.109362130047454]
  入力が線形変換を行い、次に非線形写像によって出力を予測する2層非パラメトリック回帰モデルについて検討する。 2層モデルが正規化を「自動的に」誘導し,特徴学習を容易にすることを示す。
  論文  参考訳（メタデータ） (2023-10-18T06:15:35Z)
• Deep Neural Networks for Nonparametric Interaction Models with Diverging Dimension [6.939768185086753]
  成長次元シナリオ (d$ grows with $n$ but at a slow rate) と高次元 (dgtrsim n$) の両方において、$kth$オーダーの非パラメトリック相互作用モデルを分析する。 特定の標準仮定の下では、デバイアスドディープニューラルネットワークは、$(n, d)$の両面において、極小値の最適値を達成している。
  論文  参考訳（メタデータ） (2023-02-12T04:19:39Z)
• Learning Graphical Factor Models with Riemannian Optimization [70.13748170371889]
  本稿では,低ランク構造制約下でのグラフ学習のためのフレキシブルなアルゴリズムフレームワークを提案する。 この問題は楕円分布のペナルティ化された最大推定値として表される。 楕円モデルによく適合する正定行列と定ランクの正半定行列のジオメトリを利用する。
  論文  参考訳（メタデータ） (2022-10-21T13:19:45Z)
• Intrinsic dimensionality and generalization properties of the $\mathcal{R}$-norm inductive bias [4.37441734515066]
  $mathcalR$-normは、2層ニューラルネットワークの誘導バイアスの基礎である。 これらの補間子は,データに適合するリッジ関数があっても,本質的に多変量関数であることがわかった。
  論文  参考訳（メタデータ） (2022-06-10T18:33:15Z)
• The Interplay Between Implicit Bias and Benign Overfitting in Two-Layer Linear Networks [51.1848572349154]
  ノイズの多いデータに完全に適合するニューラルネットワークモデルは、見当たらないテストデータにうまく一般化できる。 我々は,2層線形ニューラルネットワークを2乗損失の勾配流で補間し,余剰リスクを導出する。
  論文  参考訳（メタデータ） (2021-08-25T22:01:01Z)
• On the Role of Optimization in Double Descent: A Least Squares Study [30.44215064390409]
  最小二乗対象の降下勾配解に対して過大なリスクを負うことを示す。 ノイズのない回帰の場合、二重降下は最適化関連量によってのみ説明される。 ニューラルネットワークの予測が保たれているかどうかを実証的に調査する。
  論文  参考訳（メタデータ） (2021-07-27T09:13:11Z)
• Understanding Implicit Regularization in Over-Parameterized Single Index Model [55.41685740015095]
  我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。 暗黙正則化現象の理論的保証を提供する。
  論文  参考訳（メタデータ） (2020-07-16T13:27:47Z)
• Multipole Graph Neural Operator for Parametric Partial Differential Equations [57.90284928158383]
  物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。 線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。 実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
  論文  参考訳（メタデータ） (2020-06-16T21:56:22Z)
• Kernel and Rich Regimes in Overparametrized Models [69.40899443842443]
  過度にパラメータ化された多層ネットワーク上の勾配勾配は、RKHSノルムではないリッチな暗黙バイアスを誘発できることを示す。 また、より複雑な行列分解モデルと多層非線形ネットワークに対して、この遷移を実証的に示す。
  論文  参考訳（メタデータ） (2020-02-20T15:43:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。