論文の概要: Stability properties of gradient flow dynamics for the symmetric low-rank matrix factorization problem

• arxiv url: http://arxiv.org/abs/2411.15972v1
• Date: Sun, 24 Nov 2024 20:05:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-26 14:18:08.341738
• Title: Stability properties of gradient flow dynamics for the symmetric low-rank matrix factorization problem
• Title（参考訳）: 対称低ランク行列分解問題に対する勾配流力学の安定性
• Authors: Hesameddin Mohammadi, Mohammad Tinati, Stephen Tu, Mahdi Soltanolkotabi, Mihailo R. Jovanović,
• Abstract要約: 多くの学習課題において,低ランク因子化がビルディングブロックとして機能することを示す。 ダイナミクスの局所的な探索部分に関連する軌跡の形状に関する新たな知見を提供する。
• 参考スコア（独自算出の注目度）: 22.648448759446907
• License:
• Abstract: The symmetric low-rank matrix factorization serves as a building block in many learning tasks, including matrix recovery and training of neural networks. However, despite a flurry of recent research, the dynamics of its training via non-convex factorized gradient-descent-type methods is not fully understood especially in the over-parameterized regime where the fitted rank is higher than the true rank of the target matrix. To overcome this challenge, we characterize equilibrium points of the gradient flow dynamics and examine their local and global stability properties. To facilitate a precise global analysis, we introduce a nonlinear change of variables that brings the dynamics into a cascade connection of three subsystems whose structure is simpler than the structure of the original system. We demonstrate that the Schur complement to a principal eigenspace of the target matrix is governed by an autonomous system that is decoupled from the rest of the dynamics. In the over-parameterized regime, we show that this Schur complement vanishes at an $O(1/t)$ rate, thereby capturing the slow dynamics that arises from excess parameters. We utilize a Lyapunov-based approach to establish exponential convergence of the other two subsystems. By decoupling the fast and slow parts of the dynamics, we offer new insight into the shape of the trajectories associated with local search algorithms and provide a complete characterization of the equilibrium points and their global stability properties. Such an analysis via nonlinear control techniques may prove useful in several related over-parameterized problems.
• Abstract（参考訳）: 対称的低ランク行列分解は、行列回復やニューラルネットワークのトレーニングを含む多くの学習タスクにおいて、ビルディングブロックとして機能する。 しかし,近年の研究が盛んに行われているにもかかわらず,非凸因子化勾配偏光法によるトレーニングの力学は,特にターゲット行列の真の階数よりも高い過パラメータ化状態において完全には理解されていない。 この課題を克服するために、勾配流力学の平衡点を特徴づけ、その局所的および大域的安定性特性について検討する。 正確な大域的解析を容易にするため,元のシステム構造よりも構造が単純である3つのサブシステムのカスケード接続にダイナミクスをもたらす変数の非線形変化を導入する。 対象行列の主固有空間に対するシュール補空間は、他の力学から切り離された自律系によって支配されることを示した。 過度にパラメータ化された状態において、このシュア補数はO(1/t)$レートで消滅し、過剰なパラメータから生じる遅いダイナミクスを捕捉することを示した。 リアプノフに基づくアプローチを用いて、他の2つのサブシステムの指数収束を確立する。 ダイナミックスの高速かつ遅い部分を分離することにより、局所探索アルゴリズムに付随する軌道の形状に関する新たな洞察を与え、平衡点とその大域的安定性特性の完全な評価を提供する。 このような非線形制御手法による解析は、いくつかの関連する過パラメータ化問題において有用であることが証明される。

関連論文リスト

• Hallmarks of Optimization Trajectories in Neural Networks: Directional Exploration and Redundancy [75.15685966213832]
  最適化トラジェクトリのリッチな方向構造をポイントワイズパラメータで解析する。 トレーニング中のスカラーバッチノルムパラメータは,ネットワーク全体のトレーニング性能と一致していることを示す。
  論文  参考訳（メタデータ） (2024-03-12T07:32:47Z)
• Implicit Balancing and Regularization: Generalization and Convergence Guarantees for Overparameterized Asymmetric Matrix Sensing [28.77440901439686]
  最近の一連の論文は、非ランダムな正準決定(PSD)行列センシング問題に対して、この役割を一般化し始めている。 本稿では,小さなランダムな測定から得られる勾配降下の軌跡が,どちらも地球規模で良好である解へと移動することを示す。
  論文  参考訳（メタデータ） (2023-03-24T19:05:52Z)
• Learning over All Stabilizing Nonlinear Controllers for a Partially-Observed Linear System [4.3012765978447565]
  線形力学系に対する非線形出力フィードバックコントローラのパラメータ化を提案する。 提案手法は, 制約を満たすことなく, 部分的に観測可能な線形力学系の閉ループ安定性を保証する。
  論文  参考訳（メタデータ） (2021-12-08T10:43:47Z)
• Towards Understanding Generalization via Decomposing Excess Risk Dynamics [13.4379473119565]
  一般化力学を解析してアルゴリズム依存境界(安定性など)を導出する。 ニューラルネットは、ノイズの嵌合時に緩やかな収束率を示すという観測から着想を得て、余剰リスクダイナミクスを分解することを提案する。 分解の枠組みの下では、新しい境界は安定性に基づく境界と一様収束境界よりも理論的および経験的証拠とよく一致している。
  論文  参考訳（メタデータ） (2021-06-11T03:42:45Z)
• Linear systems with neural network nonlinearities: Improved stability analysis via acausal Zames-Falb multipliers [0.0]
  ニューラルネットワークの非線形性を考慮した線形時間不変系のフィードバック相互干渉の安定性を離散時間で解析する。 このアプローチは、ニューラルネットワークの非線形性とフィードバック相互接続の安定性解析のための柔軟で汎用的なフレームワークを提供する。
  論文  参考訳（メタデータ） (2021-03-31T14:21:03Z)
• Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
  グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。 この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
  論文  参考訳（メタデータ） (2020-11-18T18:52:08Z)
• Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
  経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。 分散による離散乗法雑音のパラメータによく現れることを示す。 最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
  論文  参考訳（メタデータ） (2020-06-11T09:58:01Z)
• Euclideanizing Flows: Diffeomorphic Reduction for Learning Stable Dynamical Systems [74.80320120264459]
  本研究では、限られた数の人間の実演からそのような動きを学ぶためのアプローチを提案する。 複素運動は安定な力学系のロールアウトとして符号化される。 このアプローチの有効性は、確立されたベンチマーク上での検証と、現実世界のロボットシステム上で収集されたデモによって実証される。
  論文  参考訳（メタデータ） (2020-05-27T03:51:57Z)
• Hierarchical Decomposition of Nonlinear Dynamics and Control for System Identification and Policy Distillation [39.83837705993256]
  強化学習(RL)の最近のトレンドは、力学と政策の複雑な表現に焦点を当てている。 制御コミュニティからインスピレーションを得て、複雑なダイナミクスをより単純なコンポーネントに分解するために、ハイブリッドスイッチングシステムの原則を適用します。
  論文  参考訳（メタデータ） (2020-05-04T12:40:59Z)
• On dissipative symplectic integration with applications to gradient-based optimization [77.34726150561087]
  本稿では,離散化を体系的に実現する幾何学的枠組みを提案する。 我々は、シンプレクティックな非保守的、特に散逸的なハミルトン系への一般化が、制御された誤差まで収束率を維持することができることを示す。
  論文  参考訳（メタデータ） (2020-04-15T00:36:49Z)
• Kernel and Rich Regimes in Overparametrized Models [69.40899443842443]
  過度にパラメータ化された多層ネットワーク上の勾配勾配は、RKHSノルムではないリッチな暗黙バイアスを誘発できることを示す。 また、より複雑な行列分解モデルと多層非線形ネットワークに対して、この遷移を実証的に示す。
  論文  参考訳（メタデータ） (2020-02-20T15:43:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。