論文の概要: Regularized Optimization on Grassmann Manifold: Theory, Algorithm and Applications
- arxiv url: http://arxiv.org/abs/2607.21039v1
- Date: Thu, 23 Jul 2026 08:19:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-24 18:26:25.332992
- Title: Regularized Optimization on Grassmann Manifold: Theory, Algorithm and Applications
- Title（参考訳）: グラスマン多様体上の正規化最適化:理論・アルゴリズム・応用
- Authors: Zhuan Liang, Zheng Zhai,
- Abstract要約: 正規化射影近似行列(RPMA)は射影行列の回復精度を向上させる。
Cayley-Sherman--Morrison--Sbury (Cayley--Sbury) は、繰り返しの固有分解を避ける方法である。
- 参考スコア（独自算出の注目度）: 4.05356944557183
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Spectral methods are among the most widely used techniques for community detection, clustering, and graph learning. Their performance, however, critically depends on the accurate estimation of the underlying spectral subspace and can deteriorate substantially in the presence of noise, outliers, or model perturbations. To address this limitation, we propose a Regularized Projection Matrix Approximation (RPMA) framework for robust estimation of rank-$K$ projection matrices. RPMA extends classical spectral projection by incorporating a regularization term, producing projection estimates that are more robust, sparse, and interpretable. We formulate the proposed model as an optimization problem on the manifold of rank-$K$ projection matrices and exploit its geometric equivalence to the Grassmann manifold. Based on this manifold characterization, we derive the first- and second-order optimality conditions, establish the local stability of the regularized leading eigenspace, and characterize the stability of the critical-point landscape under sufficiently small regularization. To efficiently solve the resulting nonconvex optimization problem, we develop a Riemannian gradient projection algorithm with backtracking line search, together with a more efficient Cayley--Sherman--Morrison--Woodbury (Cayley--SMW) gradient method that avoids repeated eigendecompositions. Extensive experiments on both synthetic and real-world datasets demonstrate that RPMA substantially improves the recovery accuracy of projection matrices and consistently outperforms conventional spectral projection methods for community detection and clustering under noisy environments.
- Abstract（参考訳）: スペクトル法は、コミュニティ検出、クラスタリング、グラフ学習において最も広く使われている手法の一つである。
しかし、それらの性能は、基礎となるスペクトル部分空間の正確な推定に依存しており、ノイズ、外れ値、またはモデル摂動の存在下で著しく劣化する可能性がある。
この制限に対処するため、正規化射影行列近似(RPMA)フレームワークを提案し、K$射影行列のロバストな推定を行う。
RPMAは正規化項を組み込むことで古典的なスペクトル射影を拡張し、より堅牢でスパースで解釈可能な射影推定を生成する。
提案したモデルを階数-$K$射影行列の多様体上の最適化問題として定式化し、グラスマン多様体に対する幾何学的同値性を利用する。
この多様体の特性に基づいて、1階と2階の最適条件を導出し、正規化されたリード固有空間の局所的な安定性を確立し、十分に小さな正規化の下で臨界点景観の安定性を特徴づける。
結果の非凸最適化問題を効率的に解くため,バックトラックライン探索を用いたリーマン勾配予測アルゴリズムと,より効率的なカイリー--Sherman--Morrison--Woodbury(Cayley--SMW)勾配法を開発した。
合成および実世界の両方のデータセットに対する大規模な実験により、RPMAはプロジェクション行列の回復精度を大幅に向上し、ノイズの多い環境下でのコミュニティ検出とクラスタリングのための従来のスペクトル投影法を一貫して上回っていることが示された。
関連論文リスト
- BOOOM: Loss-Function-Agnostic Black-Box Optimization over Orthonormal Manifolds for Machine Learning and Statistical Inference [0.0]
我々は体系的な調査を行う。
対価のセット
直交円柱-直交円柱-直交円柱をaを通して脱出する。
データデータに適用されたノベル。
問題だ
対角最適化の枠組みを示す。
強力で低ランクな分解、独立的な分解分析。
環境下でのグローバルな収束です
論文 参考訳（メタデータ） (2026-04-23T19:32:27Z) - Optimal Estimation in Orthogonally Invariant Generalized Linear Models: Spectral Initialization and Approximate Message Passing [36.35215381372567]
本稿では、最適スペクトル推定器と近似メッセージパッシング(AMP)アルゴリズムを提案する。
本稿では,スペクトル反復最適化のパラダイムに基づいて,最適スペクトル推定器と近似メッセージパッシング(AMP)アルゴリズムを提案する。
論文 参考訳（メタデータ） (2026-02-09T22:08:09Z) - ODELoRA: Training Low-Rank Adaptation by Solving Ordinary Differential Equations [54.886931928255564]
低ランク適応(LoRA)は、深層移動学習においてパラメータ効率の高い微調整法として広く採用されている。
常微分方程式(ODE)の形でLoRA因子行列に対する新しい連続時間最適化ダイナミクスを提案する。
ODELoRAは,問題次元の異なるスケールのディープニューラルネットワークのトレーニングに不可欠な特性である,安定した特徴学習を実現する。
論文 参考訳（メタデータ） (2026-02-07T10:19:36Z) - On the Optimal Construction of Unbiased Gradient Estimators for Zeroth-Order Optimization [57.179679246370114]
既存の手法の潜在的な制限は、ステップサイズが提案されない限り、ほとんどの摂動推定器に固有のバイアスである。
本稿では, 良好な構成を維持しつつ, バイアスを排除した非バイアス勾配スケーリング推定器のファミリーを提案する。
論文 参考訳（メタデータ） (2025-10-22T18:25:43Z) - Early-Stopped Mirror Descent for Linear Regression over Convex Bodies [14.30754799752932]
加法的ガウス雑音下での高次元線形回帰の設定について検討する。
その結果,未拘束の早期停止ミラー降下の最悪のリスクは,少なくとも凸体に拘束される最小2乗推定器のリスクであることがわかった。
論文 参考訳（メタデータ） (2025-03-05T11:59:31Z) - Regularized Projection Matrix Approximation with Applications to Community Detection [1.3761665705201904]
本稿では,アフィニティ行列からクラスタ情報を復元するための正規化プロジェクション行列近似フレームワークを提案する。
3つの異なるペナルティ関数について検討し, それぞれが有界, 正, スパースシナリオに対応するように調整した。
合成および実世界の両方のデータセットで行った数値実験により、我々の正規化射影行列近似アプローチはクラスタリング性能において最先端の手法を著しく上回っていることが明らかとなった。
論文 参考訳（メタデータ） (2024-05-26T15:18:22Z) - Differentially Private Optimization with Sparse Gradients [60.853074897282625]
微分プライベート(DP)最適化問題を個人勾配の空間性の下で検討する。
これに基づいて、スパース勾配の凸最適化にほぼ最適な速度で純粋および近似DPアルゴリズムを得る。
論文 参考訳（メタデータ） (2024-04-16T20:01:10Z) - Convex Parameter Estimation of Perturbed Multivariate Generalized
Gaussian Distributions [18.95928707619676]
本稿では,MGGDパラメータの確立された特性を持つ凸定式化を提案する。
提案するフレームワークは, 精度行列, 平均, 摂動の様々な正規化を組み合わせ, 柔軟である。
実験により, 平均ベクトルパラメータに対して, 同様の性能でより正確な精度と共分散行列推定を行うことができた。
論文 参考訳（メタデータ） (2023-12-12T18:08:04Z) - Exploring the Algorithm-Dependent Generalization of AUPRC Optimization
with List Stability [107.65337427333064]
AUPRC(Area Under the Precision-Recall Curve)の最適化は、機械学習にとって重要な問題である。
本研究では, AUPRC最適化の単依存一般化における最初の試行について述べる。
3つの画像検索データセットの実験は、我々のフレームワークの有効性と健全性に言及する。
論文 参考訳（メタデータ） (2022-09-27T09:06:37Z) - Optimization of Annealed Importance Sampling Hyperparameters [77.34726150561087]
Annealed Importance Smpling (AIS) は、深層生成モデルの難易度を推定するために使われる一般的なアルゴリズムである。
本稿では、フレキシブルな中間分布を持つパラメータAISプロセスを提案し、サンプリングに少ないステップを使用するようにブリッジング分布を最適化する。
我々は, 最適化AISの性能評価を行い, 深部生成モデルの限界推定を行い, 他の推定値と比較した。
論文 参考訳（メタデータ） (2022-09-27T07:58:25Z) - A Dynamical Systems Approach for Convergence of the Bayesian EM
Algorithm [59.99439951055238]
我々は、(離散時間)リアプノフ安定性理論が、必ずしも勾配ベースではない最適化アルゴリズムの分析(および潜在的な設計)において、いかに強力なツールとして役立つかを示す。
本稿では,不完全データベイズフレームワークにおけるパラメータ推定を,MAP-EM (maximum a reari expectation-maximization) と呼ばれる一般的な最適化アルゴリズムを用いて行うことに着目したML問題について述べる。
高速収束(線形あるいは二次的)が達成され,S&Cアプローチを使わずに発表することが困難であった可能性が示唆された。
論文 参考訳（メタデータ） (2020-06-23T01:34:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。