論文の概要: Global Convergence of Iteratively Reweighted Least Squares for Robust Subspace Recovery

• arxiv url: http://arxiv.org/abs/2506.20533v2
• Date: Sun, 29 Jun 2025 13:53:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-01 13:01:42.725814
• Title: Global Convergence of Iteratively Reweighted Least Squares for Robust Subspace Recovery
• Title（参考訳）: ロバスト部分空間回復のための反復重み付き最小広場のグローバル収束
• Authors: Gilad Lerman, Kang Li, Tyler Maunu, Teng Zhang,
• Abstract要約: 反復重み付き最小広場(IRLS)は、部分空間推定に対するエレガントで経験的に効果的なアプローチである。 本稿では, 決定論的条件下では, 動的正則化を持つ不変IRLSが基底部分空間に線形に収束することを示す。 我々はこれらの保証を、事前の回復理論を欠いた部分空間推定に拡張する。
• 参考スコア（独自算出の注目度）: 19.37238379592233
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Robust subspace estimation is fundamental to many machine learning and data analysis tasks. Iteratively Reweighted Least Squares (IRLS) is an elegant and empirically effective approach to this problem, yet its theoretical properties remain poorly understood. This paper establishes that, under deterministic conditions, a variant of IRLS with dynamic smoothing regularization converges linearly to the underlying subspace from any initialization. We extend these guarantees to affine subspace estimation, a setting that lacks prior recovery theory. Additionally, we illustrate the practical benefits of IRLS through an application to low-dimensional neural network training. Our results provide the first global convergence guarantees for IRLS in robust subspace recovery and, more broadly, for nonconvex IRLS on a Riemannian manifold.
• Abstract（参考訳）: ロバストな部分空間推定は多くの機械学習およびデータ解析タスクに基本となる。 反復重み付き最小広場(IRLS)は、この問題に対してエレガントで経験的に効果的なアプローチであるが、その理論的性質はよく分かっていない。 本稿では、決定論的条件下では、動的滑らかな正則化を持つIRLSの変種が任意の初期化から基底部分空間に線形に収束することを示す。 これらの保証をアフィン部分空間推定(アフィン部分空間推定)に拡張する。 さらに、低次元ニューラルネットワークトレーニングへの応用を通じて、IRLSの実用的メリットについて説明する。 我々の結果は、ロバストな部分空間回復におけるIRLSに対する最初の大域収束保証を提供し、より広義にはリーマン多様体上の非凸IRLSに対してである。

関連論文リスト

• Understanding Inverse Reinforcement Learning under Overparameterization: Non-Asymptotic Analysis and Global Optimality [52.906438147288256]
  我々のアルゴリズムは,特定のニューラルネットワーク構造の下で,最適報酬とポリシーを識別できることが示される。 これは、国際的最適性を確実に達成する非漸近収束保証を持つ最初のIRLアルゴリズムである。
  論文  参考訳（メタデータ） (2025-03-22T21:16:08Z)
• An Empirical Risk Minimization Approach for Offline Inverse RL and Dynamic Discrete Choice Model [9.531082746970286]
  機械学習において、動的選択(DDC)モデル(オフライン最大エントロピー正規化逆強化学習(オフラインMaxEnt-IRL))を推定する問題について検討する。 目的は、オフラインの振舞いデータからエージェントの振舞いを管理する$Q*$関数をリカバリすることである。 線形パラメータ化報酬の制限的仮定を使わずにこれらの問題を解くための大域収束勾配法を提案する。
  論文  参考訳（メタデータ） (2025-02-19T22:22:20Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Stability and Generalization Analysis of Gradient Methods for Shallow Neural Networks [59.142826407441106]
  本稿では,アルゴリズム安定性の概念を活用して,浅層ニューラルネットワーク(SNN)の一般化挙動について検討する。 我々は、SNNを訓練するために勾配降下(GD)と勾配降下(SGD)を考慮する。
  論文  参考訳（メタデータ） (2022-09-19T18:48:00Z)
• Distributionally Robust Fair Principal Components via Geodesic Descents [16.440434996206623]
  大学入学、医療、信用承認などのその後の領域では、学習予測の公正性や堅牢性といった新たな基準を考慮に入れることが不可欠である。 本稿では,主成分分析のための分布的ロバストな最適化問題を提案する。 実世界のデータセットに対する実験結果から,提案手法が最先端のベースラインに対して有益であることを示す。
  論文  参考訳（メタデータ） (2022-02-07T11:08:13Z)
• Implicit Bias of Projected Subgradient Method Gives Provable Robust Recovery of Subspaces of Unknown Codimension [12.354076490479514]
  本稿では,DPCP (Dual principal Component Pursuit) が未知の部分空間次元の問題を確実に解決できることを示す。 プロジェクテッド・サブ段階降下法(PSGM)の複数インスタンスの実行に基づく,非常に単純なアルゴリズムを提案する。 特に、1)すべての問題インスタンスが部分空間のヌル空間のベクトルに収束し、2)問題インスタンスの解のアンサンブルが、部分空間のヌル空間に完全にまたがるほど十分に多様であることを示す。
  論文  参考訳（メタデータ） (2022-01-22T15:36:03Z)
• Iteratively Reweighted Least Squares for $\ell_1$-minimization with Global Linear Convergence Rate [0.0]
  反復重み付き最小広場(IRLS)は非滑らかな最適化のための重要なアルゴリズム群である。 我々は、$ell_$-minimization に対する IRLS が、グローバルな線形レートを持つスパース解に収束することを証明する。
  論文  参考訳（メタデータ） (2020-12-22T18:47:22Z)
• Globally-convergent Iteratively Reweighted Least Squares for Robust Regression Problems [15.823258699608994]
  我々は、ロバスト回帰問題に対するIRLS(暫定的に重み付けされた最小二乗)に対する最初のグローバルモデル回復結果を提供する。 我々は、保証されたグローバルリカバリを提供するだけでなく、実際にロバストレグレッションのための最先端のアルゴリズムよりも優れている基本IRLSルーチンの拡張を提案する。
  論文  参考訳（メタデータ） (2020-06-25T07:16:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。