論文の概要: Fitting Unknown Number of Hyperplanes with Manifold Optimization
- arxiv url: http://arxiv.org/abs/2605.28501v1
- Date: Wed, 27 May 2026 14:02:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-28 17:38:56.095962
- Title: Fitting Unknown Number of Hyperplanes with Manifold Optimization
- Title(参考訳): マニフォールド最適化による未知の超平面数の設定
- Authors: Zhiqin Cheng, Yu Zhan, Mingjin Zhang, Lingbo Liu, Liang Lin,
- Abstract要約: 未知数の線形平面をデータに適合させることは、機械学習の根本的な課題である。
既存のアプローチはしばしば最適な最適化に苦しむか、幾何的整合性に欠ける。
- 参考スコア(独自算出の注目度): 57.48093263119306
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Fitting an unknown number of hyperplanes to data is a fundamental yet challenging problem in machine learning, characterized by its non-convexity, non-differentiability, and unknown model order. Existing approaches often struggle with local optima or lack geometric consistency. To address these limitations, we propose a novel framework based on Manifold Optimization. We reformulate the problem as an unsupervised learning task on the unit sphere manifold $\mathcal{S}^{\textbf{dim}-1}$. This formulation effectively handles the non-convex constraints and linearizes the distance measurement, rendering the gradient descent tractable. We propose a Two-Stage Manifold Optimization algorithm. In Phase I, we employ a Riemannian Expectation-Maximization process with a heavy-tailed kernel to robustly estimate posterior probabilities, effectively resolving the ambiguities of point distribution between intersecting hyperplanes. In Phase II, upon convergence of the soft estimates, the probabilistic weights degenerate into hard matching, generating a precise local optimum that strictly satisfies the geometric definition. Furthermore, we introduce a projected density estimation strategy for initialization to facilitate global convergence by significantly reducing the feature description space and search complexity. Extensive experiments demonstrate that our method outperforms state-of-the-art baselines in both geometric accuracy and robustness.
- Abstract(参考訳): 未知の数の超平面をデータに適用することは、非凸性、非微分可能性、未知のモデル順序によって特徴づけられる機械学習の基本的な問題であるが、難しい問題である。
既存のアプローチは、しばしば局所的な最適性に苦しむか、幾何学的整合性に欠ける。
これらの制約に対処するために,マニフォールド最適化に基づく新しいフレームワークを提案する。
単球多様体 $\mathcal{S}^{\textbf{dim}-1}$ 上の教師なし学習タスクとして問題を再構成する。
この定式化は、非凸制約を効果的に処理し、距離測定を線形化し、勾配降下をトラクタブルにする。
本稿では,2段階のマニフォールド最適化アルゴリズムを提案する。
第1相では、重み付きカーネルを持つリーマン予想最大化法を用いて、後部確率を頑健に推定し、交差する超平面間の点分布の曖昧さを効果的に解消する。
第2相では、ソフトな推定が収束すると確率的重みはハードマッチングへと縮退し、幾何学的定義を厳密に満たす正確な局所最適値を生成する。
さらに,特徴記述空間と探索複雑性を著しく低減し,グローバル収束を促進するため,初期化のための予測密度推定戦略を導入する。
本手法は, 幾何的精度とロバスト性の両方において, 最先端のベースラインよりも優れていることを示す。
関連論文リスト
- Trust-Region Sequential Quadratic Programming for Stochastic Optimization with Random Models [57.52124921268249]
本稿では,1次と2次の両方の定常点を見つけるための信頼逐次準計画法を提案する。
本手法は, 1次定常点に収束するため, 対象対象の近似を最小化して定義された各イテレーションの勾配ステップを計算する。
2階定常点に収束するため,本手法は負曲率を減少するヘッセン行列を探索する固有ステップも計算する。
論文 参考訳(メタデータ) (2024-09-24T04:39:47Z) - Stochastic First-Order Methods with Non-smooth and Non-Euclidean Proximal Terms for Nonconvex High-Dimensional Stochastic Optimization [2.0657831823662574]
非問題が非問題である場合、一階法のサンプルは問題次元に線形に依存することがあるが、望ましくない問題に対するものである。
我々のアルゴリズムは距離を使って複雑さを見積もることができる。
MathO (log d) / EuM4。
DISFOM は $mathO (log d) / EuM4 を用いて分散を鋭くすることができることを示す。
論文 参考訳(メタデータ) (2024-06-27T18:38:42Z) - Distributed Sketching for Randomized Optimization: Exact
Characterization, Concentration and Lower Bounds [54.51566432934556]
我々はヘシアンの形成が困難である問題に対する分散最適化法を検討する。
ランダム化されたスケッチを利用して、問題の次元を減らし、プライバシを保ち、非同期分散システムにおけるストラグラーレジリエンスを改善します。
論文 参考訳(メタデータ) (2022-03-18T05:49:13Z) - High Probability Complexity Bounds for Non-Smooth Stochastic Optimization with Heavy-Tailed Noise [51.31435087414348]
アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。
非滑らか凸最適化の既存の方法は、信頼度に依存した複雑性境界を持つ。
そこで我々は,勾配クリッピングを伴う2つの手法に対して,新たなステップサイズルールを提案する。
論文 参考訳(メタデータ) (2021-06-10T17:54:21Z) - Efficient Methods for Structured Nonconvex-Nonconcave Min-Max
Optimization [98.0595480384208]
定常点に収束する一般化外空間を提案する。
このアルゴリズムは一般の$p$ノルド空間だけでなく、一般の$p$次元ベクトル空間にも適用される。
論文 参考訳(メタデータ) (2020-10-31T21:35:42Z) - A Feasible Level Proximal Point Method for Nonconvex Sparse Constrained
Optimization [25.73397307080647]
本稿では,汎用凸あるいは非汎用機械目標の新しいモデルを提案する。
本稿では,各サブプロブレムの点レベルを徐々に緩和した制約を解くアルゴリズムを提案する。
我々は,新しい数値スケール問題の有効性を実証する。
論文 参考訳(メタデータ) (2020-10-23T05:24:05Z) - Geometry, Computation, and Optimality in Stochastic Optimization [24.154336772159745]
問題幾何学の計算および統計的結果とオンライン最適化について検討する。
制約集合と勾配幾何学に焦点をあてて、どの次法と適応次法が最適(minimax)であるかという問題族を特徴づける。
論文 参考訳(メタデータ) (2019-09-23T16:14:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。