論文の概要: An Adjoint-Free Algorithm for CNOP via Sampling
- arxiv url: http://arxiv.org/abs/2208.00956v1
- Date: Mon, 1 Aug 2022 16:07:22 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-02 15:03:31.326455
- Title: An Adjoint-Free Algorithm for CNOP via Sampling
- Title(参考訳): サンプリングによるCNOPの随伴フリーアルゴリズム
- Authors: Bin Shi, Guodong Sun
- Abstract要約: 統計的機械学習に基づくサンプリングアルゴリズムを提案し、条件付き非線形最適摂動(CNOP)を得る。
新たなアプローチは、目的値(ゼロ階)情報によって、非常に高価な勾配(一階)情報を直接減少させるだけでなく、巨大な記憶問題や線形化の不安定性を引き起こす随伴技術の使用を避ける。
- 参考スコア(独自算出の注目度): 6.053629733936547
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: In this paper, we propose a sampling algorithm based on statistical machine
learning to obtain conditional nonlinear optimal perturbation (CNOP), which is
essentially different from the traditional deterministic optimization methods.
The new approach does not only reduce the extremely expensive gradient
(first-order) information directly by the objective value (zeroth-order)
information, but also avoid the use of adjoint technique that gives rise to the
huge storage problem and the instability from linearization. Meanwhile, an
intuitive anlysis and a rigorous concentration inequality for the approximate
gradient by sampling are shown. The numerical experiments to obtain the CNOPs
by the performance of standard spatial sturctures for a theoretical model,
Burgers equation with small viscosity, demonstrate that at the cost of losing
accuracy, fewer samples spend time relatively shorter than the adjoint-based
method and directly from definition. Finally, we reveal that the nonlinear time
evolution of the CNOPs obtained by all the algorithms are almost consistent
with the quantity of norm square of perturbations, their difference and
relative difference on the basis of the definition method.
- Abstract(参考訳): 本稿では,従来の決定論的最適化手法と本質的に異なる条件付き非線形最適摂動(CNOP)を得るための統計的機械学習に基づくサンプリングアルゴリズムを提案する。
新たなアプローチは、目的値(ゼロ階)情報によって、非常に高価な勾配(一階)情報を直接減少させるだけでなく、巨大な記憶問題や線形化の不安定性を引き起こす随伴技術の使用を避ける。
一方, サンプリングによる近似勾配に対する直感的解離と厳密な濃度不等式を示す。
理論モデルの標準空間構造であるバーガース方程式の粘度を小さくしてCNOPを得るための数値実験により、精度を損なうコストがかかると、副次法よりも比較的短い時間と定義から直接の時間を消費するサンプルが少なくなることを示した。
最後に,すべてのアルゴリズムで得られるcnopの非線形時間発展は,摂動のノルム二乗数,それらの差,相対差とほぼ一致していることを明らかにする。
関連論文リスト
- Sobolev Space Regularised Pre Density Models [51.558848491038916]
本研究では,ソボレフ法則の正則化に基づく非パラメトリック密度推定法を提案する。
この方法は統計的に一貫したものであり、帰納的検証モデルを明確かつ一貫したものにしている。
論文 参考訳(メタデータ) (2023-07-25T18:47:53Z) - Low-rank extended Kalman filtering for online learning of neural
networks from streaming data [71.97861600347959]
非定常データストリームから非線形関数のパラメータを推定するための効率的なオンライン近似ベイズ推定アルゴリズムを提案する。
この方法は拡張カルマンフィルタ (EKF) に基づいているが、新しい低ランク+斜角行列分解法を用いている。
変分推論に基づく手法とは対照的に,本手法は完全に決定論的であり,ステップサイズチューニングを必要としない。
論文 参考訳(メタデータ) (2023-05-31T03:48:49Z) - Robust empirical risk minimization via Newton's method [9.797319790710711]
実験的リスク最小化のためのニュートン法の新しい変種について検討した。
目的関数の勾配と Hessian は、ロバストな推定器に置き換えられる。
また,共役勾配法に基づくニュートン方向のロバストな解を求めるアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-01-30T18:54:54Z) - Proximal Subgradient Norm Minimization of ISTA and FISTA [8.261388753972234]
反復収縮保持アルゴリズムのクラスに対する2乗近位次数ノルムは逆2乗率で収束することを示す。
また、高速反復収縮保持アルゴリズム (FISTA) のクラスに対する2乗次次数次ノルムが、逆立方レートで収束するように加速されることも示している。
論文 参考訳(メタデータ) (2022-11-03T06:50:19Z) - Asymptotically Unbiased Instance-wise Regularized Partial AUC
Optimization: Theory and Algorithm [101.44676036551537]
One-way partial AUC (OPAUC) と Two-way partial AUC (TPAUC) はバイナリ分類器の平均性能を測定する。
既存の手法のほとんどはPAUCをほぼ最適化するしかなく、制御不能なバイアスにつながる。
本稿では,分散ロバスト最適化AUCによるPAUC問題の簡易化について述べる。
論文 参考訳(メタデータ) (2022-10-08T08:26:22Z) - An Accelerated Doubly Stochastic Gradient Method with Faster Explicit
Model Identification [97.28167655721766]
本稿では、分散正規化損失最小化問題に対する2倍加速勾配降下法(ADSGD)を提案する。
まず、ADSGDが線形収束率を達成でき、全体的な計算複雑性を低減できることを示す。
論文 参考訳(メタデータ) (2022-08-11T22:27:22Z) - Differentiable Annealed Importance Sampling and the Perils of Gradient
Noise [68.44523807580438]
Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。
差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。
我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
論文 参考訳(メタデータ) (2021-07-21T17:10:14Z) - Nonlinear Level Set Learning for Function Approximation on Sparse Data
with Applications to Parametric Differential Equations [6.184270985214254]
NLL(Nonlinear Level Set Learning)アプローチは、疎にサンプリングされた関数のポイントワイズ予測のために提示される。
提案アルゴリズムは, 精度の低い理論的下界への入力次元を効果的に低減する。
この修正されたNLLとオリジナルのNLLとActive Subspaces(AS)メソッドを比較する実験とアプリケーションを提示する。
論文 参考訳(メタデータ) (2021-04-29T01:54:05Z) - Effective Proximal Methods for Non-convex Non-smooth Regularized
Learning [27.775096437736973]
独立サンプリング方式は、一般に使用されている一様サンプリング方式の性能を向上させる傾向にあることを示す。
我々の新しい分析は、サンプリングの速度が今までで最高のものより速いことも示しています。
論文 参考訳(メタデータ) (2020-09-14T16:41:32Z) - Minimal Variance Sampling with Provable Guarantees for Fast Training of
Graph Neural Networks [22.618779809748435]
既存のサンプリング手法は主にグラフ構造情報に基づいており、最適化の動的性を無視する。
最小分散のノードを適応的にサンプリングする(近似)勾配情報を利用する分離分散低減戦略を提案する。
提案手法は,小バッチサイズが小さい場合でも,より高速な収束率とより優れた一般化を必要とすることを理論的,実証的に示す。
論文 参考訳(メタデータ) (2020-06-24T16:49:29Z) - Effective Dimension Adaptive Sketching Methods for Faster Regularized
Least-Squares Optimization [56.05635751529922]
スケッチに基づくL2正規化最小二乗問題の解法を提案する。
我々は、最も人気のあるランダム埋め込みの2つ、すなわちガウス埋め込みとサブサンプリングランダム化アダマール変換(SRHT)を考える。
論文 参考訳(メタデータ) (2020-06-10T15:00:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。