論文の概要: Random Subspace Cubic-Regularization Methods, with Applications to Low-Rank Functions

• arxiv url: http://arxiv.org/abs/2501.09734v1
• Date: Thu, 16 Jan 2025 18:37:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-17 15:08:43.482801
• Title: Random Subspace Cubic-Regularization Methods, with Applications to Low-Rank Functions
• Title（参考訳）: ランダム部分空間立方体正規化法と低ランク関数への応用
• Authors: Coralia Cartis, Zhen Shao, Edward Tansley,
• Abstract要約: 本稿では,2階適応正規化のランダムな部分空間変種を提案し,解析する。 我々の手法は探索空間をパラメータのランダムな部分空間に反復的に制限し、この部分空間内でのみ局所モデルを構築し、最小化する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: We propose and analyze random subspace variants of the second-order Adaptive Regularization using Cubics (ARC) algorithm. These methods iteratively restrict the search space to some random subspace of the parameters, constructing and minimizing a local model only within this subspace. Thus, our variants only require access to (small-dimensional) projections of first- and second-order problem derivatives and calculate a reduced step inexpensively. Under suitable assumptions, the ensuing methods maintain the optimal first-order, and second-order, global rates of convergence of (full-dimensional) cubic regularization, while showing improved scalability both theoretically and numerically, particularly when applied to low-rank functions. When applied to the latter, our adaptive variant naturally adapts the subspace size to the true rank of the function, without knowing it a priori.
• Abstract（参考訳）: そこで我々は,2階適応正規化のランダムな部分空間変種をCubics (ARC) アルゴリズムを用いて提案し,解析する。 これらの手法は探索空間をパラメータのランダムな部分空間に反復的に制限し、この部分空間内でのみ局所モデルを構築し、最小化する。 したがって、我々の変種は、一階と二階の問題微分の(小次元の)射影へのアクセスしか必要とせず、低コストで減歩を計算することができる。 適切な仮定の下では、次の方法は最適な一階法と二階法、全次元の立方正則化の収束率を維持しつつ、理論上も数値上も改善されたスケーラビリティを示し、特にローランク関数に適用する場合に現れる。 後者に適用した場合、我々の適応的不変量はその部分空間サイズを関数の真の階数に自然に適応させる。

関連論文リスト

• Cubic regularized subspace Newton for non-convex optimization [3.481985817302898]
  我々は、ランダムな部分空間に定常正規化を適用すると解釈できる座標二階SSCNを解析する。 従来の一階法と比較して,大幅な高速化を示した。
  論文  参考訳（メタデータ） (2024-06-24T14:20:02Z)
• Adaptive and Optimal Second-order Optimistic Methods for Minimax Optimization [32.939120407900035]
  私たちのアルゴリズムは、イテレーション毎に1つの線形システムだけを解決する必要のある、単純な更新ルールを備えています。 また,提案アルゴリズムの実用性能を,既存の2次アルゴリズムと比較して評価した。
  論文  参考訳（メタデータ） (2024-06-04T06:56:41Z)
• An Adaptive Dimension Reduction Estimation Method for High-dimensional Bayesian Optimization [6.79843988450982]
  BOを高次元設定に拡張するための2段階最適化フレームワークを提案する。 私たちのアルゴリズムは、これらのステップを並列またはシーケンスで操作する柔軟性を提供します。 数値実験により,困難シナリオにおける本手法の有効性が検証された。
  論文  参考訳（メタデータ） (2024-03-08T16:21:08Z)
• Krylov Cubic Regularized Newton: A Subspace Second-Order Method with Dimension-Free Convergence Rate [83.3933097134767]
  次元に依存しない大域収束率を$Oleft(frac1mk+frac1k2right)$とする,新しい部分空間正規化ニュートン法を導入する。 提案手法は,特に高次元問題に対して,既存のランダム部分空間法よりも高速に収束する。
  論文  参考訳（メタデータ） (2024-01-05T20:24:18Z)
• A Dimensionality Reduction Method for Finding Least Favorable Priors with a Focus on Bregman Divergence [108.28566246421742]
  そこで本研究では,次元に明示的な有界な有限次元設定に最適化を移動させることができる次元削減法を開発した。 この問題を進展させるため、比較的大きな損失関数、すなわちブレグマンの発散によって引き起こされるベイズ的リスクに限定する。
  論文  参考訳（メタデータ） (2022-02-23T16:22:28Z)
• Sequential Subspace Search for Functional Bayesian Optimization Incorporating Experimenter Intuition [63.011641517977644]
  本アルゴリズムは,実験者のガウス過程から引き出された一組の引き数で区切られた関数空間の有限次元ランダム部分空間列を生成する。 標準ベイズ最適化は各部分空間に適用され、次の部分空間の出発点(オリジン)として用いられる最良の解である。 シミュレーションおよび実世界の実験,すなわちブラインド関数マッチング,アルミニウム合金の最適析出強化関数の探索,深層ネットワークの学習速度スケジュール最適化において,本アルゴリズムを検証した。
  論文  参考訳（メタデータ） (2020-09-08T06:54:11Z)
• Convergence of adaptive algorithms for weakly convex constrained optimization [59.36386973876765]
  モローエンベロープの勾配のノルムに対して$mathcaltilde O(t-1/4)$収束率を証明する。 我々の分析では、最小バッチサイズが1ドル、定数が1位と2位のモーメントパラメータが1ドル、そしておそらくスムーズな最適化ドメインで機能する。
  論文  参考訳（メタデータ） (2020-06-11T17:43:19Z)
• Effective Dimension Adaptive Sketching Methods for Faster Regularized Least-Squares Optimization [56.05635751529922]
  スケッチに基づくL2正規化最小二乗問題の解法を提案する。 我々は、最も人気のあるランダム埋め込みの2つ、すなわちガウス埋め込みとサブサンプリングランダム化アダマール変換(SRHT)を考える。
  論文  参考訳（メタデータ） (2020-06-10T15:00:09Z)
• Optimal Randomized First-Order Methods for Least-Squares Problems [56.05635751529922]
  このアルゴリズムのクラスは、最小二乗問題に対する最も高速な解法のうち、いくつかのランダム化手法を含んでいる。 我々は2つの古典的埋め込み、すなわちガウス射影とアダマール変換のサブサンプリングに焦点を当てる。 得られたアルゴリズムは条件数に依存しない最小二乗問題の解法として最も複雑である。
  論文  参考訳（メタデータ） (2020-02-21T17:45:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。