Fugu-MT 論文翻訳(概要): Stochastic Zeroth-order Riemannian Derivative Estimation and Optimization

論文の概要: Stochastic Zeroth-order Riemannian Derivative Estimation and Optimization

arxiv url: http://arxiv.org/abs/2003.11238v3
Date: Tue, 5 Jan 2021 04:05:52 GMT
ステータス: 処理完了
システム内更新日: 2022-12-20 03:25:50.115806
Title: Stochastic Zeroth-order Riemannian Derivative Estimation and Optimization
Title（参考訳）: 確率ゼロ階リーマン微分推定と最適化
Authors: Jiaxiang Li, Krishnakumar Balasubramanian, Shiqian Ma
Abstract要約: 多様体非線型性の非線型性の難しさを克服するために、ガウス滑らか化関数のオラクル版を提案する。ニューラルネットワークに対するロボティクスとブラックボックス攻撃に対するブラックボックス剛性制御における,結果によるアルゴリズムの適用性と実世界の応用を実証する。
参考スコア（独自算出の注目度）: 15.78743548731191
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We consider stochastic zeroth-order optimization over Riemannian submanifolds embedded in Euclidean space, where the task is to solve Riemannian optimization problem with only noisy objective function evaluations. Towards this, our main contribution is to propose estimators of the Riemannian gradient and Hessian from noisy objective function evaluations, based on a Riemannian version of the Gaussian smoothing technique. The proposed estimators overcome the difficulty of the non-linearity of the manifold constraint and the issues that arise in using Euclidean Gaussian smoothing techniques when the function is defined only over the manifold. We use the proposed estimators to solve Riemannian optimization problems in the following settings for the objective function: (i) stochastic and gradient-Lipschitz (in both nonconvex and geodesic convex settings), (ii) sum of gradient-Lipschitz and non-smooth functions, and (iii) Hessian-Lipschitz. For these settings, we analyze the oracle complexity of our algorithms to obtain appropriately defined notions of $\epsilon$-stationary point or $\epsilon$-approximate local minimizer. Notably, our complexities are independent of the dimension of the ambient Euclidean space and depend only on the intrinsic dimension of the manifold under consideration. We demonstrate the applicability of our algorithms by simulation results and real-world applications on black-box stiffness control for robotics and black-box attacks to neural networks.
Abstract（参考訳）: 我々は、ユークリッド空間に埋め込まれたリーマン部分多様体上の確率的零次最適化を考える。そこで本研究では,ガウス平滑化手法のリーマン版に基づく雑音的目的関数評価から,リーマン勾配とヘッセン関数の推定器を提案する。提案した推定子は、多様体の制約の非線形性の難しさと、函数が多様体上だけ定義されるときにユークリッドガウス滑らか化技術を用いて生じる問題を克服する。提案する推定器を用いて,次の目的関数の設定でリーマン最適化問題を解く。 (i)確率および勾配リプシッツ(非凸及び測地凸の設定の両方において) (ii)勾配リプシッツ関数と非スムース関数の和、及び (iii) ヘッセン=リプシッツ。これらの設定に対して、アルゴリズムのオラクルの複雑さを分析して、$\epsilon$-stationary point あるいは $\epsilon$-approximate local minimalr という適切に定義された概念を得る。特に、我々の複素性は周囲のユークリッド空間の次元とは独立であり、検討中の多様体の固有次元のみに依存する。我々は,ロボットのブラックボックス剛性制御とニューラルネットワークへのブラックボックス攻撃に対するシミュレーション結果によるアルゴリズムの適用性を実証した。

関連論文リスト

Stochastic Zeroth-Order Optimization under Strongly Convexity and Lipschitz Hessian: Minimax Sample Complexity [59.75300530380427]
本稿では,アルゴリズムが検索対象関数の雑音評価にのみアクセス可能な2次スムーズかつ強い凸関数を最適化する問題を考察する。本研究は, ミニマックス単純後悔率について, 一致した上界と下界を発達させることにより, 初めて厳密な評価を行ったものである。
論文参考訳（メタデータ） (2024-06-28T02:56:22Z)
Riemannian Bilevel Optimization [35.42472057648458]
特に,2次情報を回避することを目的とした,バッチおよび勾配に基づく手法に着目する。本稿では,一階勾配情報を活用する手法である$mathrmRF2SA$を提案し,分析する。様々な設定の下で、$epsilon$-stationary 点に達するための明示的な収束率を提供する。
論文参考訳（メタデータ） (2024-05-22T20:49:01Z)
Convergence and complexity of block majorization-minimization for constrained block-Riemannian optimization [18.425648833592312]
ブロック化最小化(BMM)は、非排他的部分空間推定のための単純な反復勾配である。我々の分析はユークリッドの制約を明示的に用いている。
論文参考訳（メタデータ） (2023-12-16T05:40:19Z)
Riemannian stochastic optimization methods avoid strict saddle points [68.80251170757647]
研究中のポリシーは、確率 1 の厳密なサドル点/部分多様体を避けていることを示す。この結果は、アルゴリズムの極限状態が局所最小値にしかならないことを示すため、重要な正当性チェックを提供する。
論文参考訳（メタデータ） (2023-11-04T11:12:24Z)
Curvature-Independent Last-Iterate Convergence for Games on Riemannian Manifolds [77.4346324549323]
本研究では, 多様体の曲率に依存しないステップサイズが, 曲率非依存かつ直線的最終点収束率を達成することを示す。我々の知る限りでは、曲率非依存率や/または最終点収束の可能性はこれまでに検討されていない。
論文参考訳（メタデータ） (2023-06-29T01:20:44Z)
Adaptive Zeroth-Order Optimisation of Nonconvex Composite Objectives [1.7640556247739623]
ゼロ階エントロピー合成目的のためのアルゴリズムを解析し,次元依存性に着目した。これは、ミラー降下法と推定類似関数を用いて、決定セットの低次元構造を利用して達成される。勾配を改善するため、Rademacherに基づく古典的なサンプリング法を置き換え、ミニバッチ法が非ユークリ幾何学に対処することを示す。
論文参考訳（メタデータ） (2022-08-09T07:36:25Z)
First-Order Algorithms for Min-Max Optimization in Geodesic Metric Spaces [93.35384756718868]
min-maxアルゴリズムはユークリッド設定で解析されている。指数関数法 (RCEG) が線形速度で最終収束を補正したことを証明した。
論文参考訳（メタデータ） (2022-06-04T18:53:44Z)
A Riemannian smoothing steepest descent method for non-Lipschitz optimization on submanifolds [15.994495285950293]
部分多様体上の非Lipschitz関数を最小化するスムースな急降下法を提案する。滑らか化関数によって生成される列の任意の点が元の非リプシッツ問題の極限点であることを証明する。提案手法の効率性を示すために, 数値実験を行った。
論文参考訳（メタデータ） (2021-04-09T05:38:28Z)
Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
この作業は、一階情報を必要としない零次最適化(ZO)の反復である。座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
論文参考訳（メタデータ） (2020-12-21T17:29:58Z)
Convergence of adaptive algorithms for weakly convex constrained optimization [59.36386973876765]
モローエンベロープの勾配のノルムに対して$mathcaltilde O(t-1/4)$収束率を証明する。我々の分析では、最小バッチサイズが1ドル、定数が1位と2位のモーメントパラメータが1ドル、そしておそらくスムーズな最適化ドメインで機能する。
論文参考訳（メタデータ） (2020-06-11T17:43:19Z)
Riemannian Stochastic Proximal Gradient Methods for Nonsmooth Optimization over the Stiefel Manifold [7.257751371276488]
R-ProxSGDとR-ProxSPBは、近位SGDと近位SpiderBoostの一般化である。 R-ProxSPBアルゴリズムは、オンラインの場合で$O(epsilon-3)$ IFOs、有限サムの場合は$O(n+sqrtnepsilon-3)$ IFOsである。
論文参考訳（メタデータ） (2020-05-03T23:41:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。