論文の概要: Efficient Optimization with Orthogonality Constraint: a Randomized Riemannian Submanifold Method

• arxiv url: http://arxiv.org/abs/2505.12378v1
• Date: Sun, 18 May 2025 11:46:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:11.200137
• Title: Efficient Optimization with Orthogonality Constraint: a Randomized Riemannian Submanifold Method
• Title（参考訳）: 直交性制約を用いた効率的な最適化:ランダム化リーマン部分多様体法
• Authors: Andi Han, Pierre-Louis Poirion, Akiko Takeda,
• Abstract要約: 機械学習における課題を解決するための新しい手法を提案する。 ランダムな部分多様体を更新するための2つの戦略を導入する。 我々は、我々のアプローチが様々な問題にどのように一般化されるかを示す。
• 参考スコア（独自算出の注目度）: 10.239769272138995
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Optimization with orthogonality constraints frequently arises in various fields such as machine learning. Riemannian optimization offers a powerful framework for solving these problems by equipping the constraint set with a Riemannian manifold structure and performing optimization intrinsically on the manifold. This approach typically involves computing a search direction in the tangent space and updating variables via a retraction operation. However, as the size of the variables increases, the computational cost of the retraction can become prohibitively high, limiting the applicability of Riemannian optimization to large-scale problems. To address this challenge and enhance scalability, we propose a novel approach that restricts each update on a random submanifold, thereby significantly reducing the per-iteration complexity. We introduce two sampling strategies for selecting the random submanifolds and theoretically analyze the convergence of the proposed methods. We provide convergence results for general nonconvex functions and functions that satisfy Riemannian Polyak-Lojasiewicz condition as well as for stochastic optimization settings. Additionally, we demonstrate how our approach can be generalized to quotient manifolds derived from the orthogonal manifold. Extensive experiments verify the benefits of the proposed method, across a wide variety of problems.
• Abstract（参考訳）: 直交制約による最適化は、機械学習などの様々な分野で頻繁に発生する。 リーマン最適化は、リーマン多様体の構造を持つ制約セットを持ち、本質的に多様体上で最適化を行うことにより、これらの問題を解決するための強力な枠組みを提供する。 このアプローチは典型的には、接空間における探索方向を計算し、リトラクション操作によって変数を更新する。 しかし、変数のサイズが大きくなるにつれて、リトラクションの計算コストは極端に高くなり、リーマン最適化の大規模問題への適用性が制限される。 この課題に対処し、スケーラビリティを向上させるために、ランダムなサブ多様体上の各更新を制限する新しいアプローチを提案する。 ランダムな部分多様体を選択するための2つのサンプリング戦略を導入し、提案手法の収束を理論的に解析する。 一般凸関数とリーマン的ポリアック・ロジャシエヴィチ条件を満たす関数と確率最適化設定に対する収束結果を提供する。 さらに、直交多様体から導かれる商多様体への我々のアプローチの一般化を実証する。 広範囲にわたる実験により提案手法の利点が検証された。

関連論文リスト

• A Novel Unified Parametric Assumption for Nonconvex Optimization [53.943470475510196]
  非最適化は機械学習の中心であるが、一般の非凸性は弱い収束を保証するため、他方に比べて悲観的すぎる。 非凸アルゴリズムに新しい統一仮定を導入する。
  論文  参考訳（メタデータ） (2025-02-17T21:25:31Z)
• Structured Regularization for Constrained Optimization on the SPD Manifold [1.1126342180866644]
  対称ゲージ関数に基づく構造化正規化器のクラスを導入し、より高速な非制約手法でSPD多様体上の制約付き最適化を解けるようにする。 構造正規化器は望ましい構造(特に凸性や凸の差)を保存または誘導するために選択できることを示す。
  論文  参考訳（メタデータ） (2024-10-12T22:11:22Z)
• Streamlining in the Riemannian Realm: Efficient Riemannian Optimization with Loopless Variance Reduction [4.578425862931332]
  本研究はユークリッドとリーマンの設定の両方で用いられる決定的な還元機構に焦点を当てる。 ユークリッド法により動機付け, コインフリップによって引き起こされる計算で外ループを置換するR法を導入する。 フレームワークとしてR-を用いることで、様々な重要な設定に適用可能であることを示す。
  論文  参考訳（メタデータ） (2024-03-11T12:49:37Z)
• Analyzing and Enhancing the Backward-Pass Convergence of Unrolled Optimization [50.38518771642365]
  ディープネットワークにおけるコンポーネントとしての制約付き最適化モデルの統合は、多くの専門的な学習タスクに有望な進歩をもたらした。 この設定における中心的な課題は最適化問題の解によるバックプロパゲーションであり、しばしば閉形式を欠いている。 本稿では, 非線形最適化の後方通過に関する理論的知見を提供し, 特定の反復法による線形システムの解と等価であることを示す。 Folded Optimizationと呼ばれるシステムが提案され、非ローリングなソルバ実装からより効率的なバックプロパゲーションルールを構築する。
  論文  参考訳（メタデータ） (2023-12-28T23:15:18Z)
• Faster Riemannian Newton-type Optimization by Subsampling and Cubic Regularization [3.867143522757309]
  この研究は、制約集合が多様体構造を意味するような制約付き大規模非制約最適化に関するものである。 本稿では,収束性の向上と計算コストの削減を目的とした2階サドル最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-02-22T00:37:44Z)
• Extrinsic Bayesian Optimizations on Manifolds [1.3477333339913569]
  オイクリッド多様体上の一般最適化問題に対する外部ベイズ最適化(eBO)フレームワークを提案する。 我々のアプローチは、まず多様体を高次元空間に埋め込むことによって、外部ガウス過程を採用することである。 これにより、複素多様体上の最適化のための効率的でスケーラブルなアルゴリズムが導かれる。
  論文  参考訳（メタデータ） (2022-12-21T06:10:12Z)
• On Riemannian Approach for Constrained Optimization Model in Extreme Classification Problems [2.7436792484073638]
  制約付き最適化問題は行列多様体上の最適化問題として定式化される。 提案手法は,複数の実世界の大規模マルチラベルデータセットで検証される。
  論文  参考訳（メタデータ） (2021-09-30T11:28:35Z)
• Optimization on manifolds: A symplectic approach [127.54402681305629]
  本稿では、最適化問題を解くための一般的な枠組みとして、ディラックの制約付きハミルトン系理論の散逸拡張を提案する。 我々の(加速された)アルゴリズムのクラスは単純で効率的なだけでなく、幅広い文脈にも適用できる。
  論文  参考訳（メタデータ） (2021-07-23T13:43:34Z)
• Unified Convergence Analysis for Adaptive Optimization with Moving Average Estimator [75.05106948314956]
  1次モーメントに対する大きな運動量パラメータの増大は適応的スケーリングに十分であることを示す。 また,段階的に減少するステップサイズに応じて,段階的に運動量を増加させるための洞察を与える。
  論文  参考訳（メタデータ） (2021-04-30T08:50:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。