論文の概要: Coordinate-wise Armijo's condition: General case
- arxiv url: http://arxiv.org/abs/2003.05252v1
- Date: Wed, 11 Mar 2020 12:17:05 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-24 14:16:04.089764
- Title: Coordinate-wise Armijo's condition: General case
- Title（参考訳）: 座標的アルミジョ条件:一般の場合
- Authors: Tuyen Trung Truong
- Abstract要約: 例えば $f(x,y)=f(x,y)+g(y)$ などである。
すると、$f(x,y)=f(x,y)+g(y)$ のような関数について解析し、実験結果を示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Let $z=(x,y)$ be coordinates for the product space $\mathbb{R}^{m_1}\times
\mathbb{R}^{m_2}$. Let $f:\mathbb{R}^{m_1}\times \mathbb{R}^{m_2}\rightarrow
\mathbb{R}$ be a $C^1$ function, and $\nabla f=(\partial _xf,\partial _yf)$ its
gradient. Fix $0<\alpha <1$. For a point $(x,y) \in \mathbb{R}^{m_1}\times
\mathbb{R}^{m_2}$, a number $\delta >0$ satisfies Armijo's condition at $(x,y)$
if the following inequality holds: \begin{eqnarray*} f(x-\delta \partial
_xf,y-\delta \partial _yf)-f(x,y)\leq -\alpha \delta (||\partial
_xf||^2+||\partial _yf||^2). \end{eqnarray*}
In one previous paper, we proposed the following {\bf coordinate-wise}
Armijo's condition. Fix again $0<\alpha <1$. A pair of positive numbers $\delta
_1,\delta _2>0$ satisfies the coordinate-wise variant of Armijo's condition at
$(x,y)$ if the following inequality holds: \begin{eqnarray*} [f(x-\delta
_1\partial _xf(x,y), y-\delta _2\partial _y f(x,y))]-[f(x,y)]\leq -\alpha
(\delta _1||\partial _xf(x,y)||^2+\delta _2||\partial _yf(x,y)||^2).
\end{eqnarray*} Previously we applied this condition for functions of the form
$f(x,y)=f(x)+g(y)$, and proved various convergent results for them. For a
general function, it is crucial - for being able to do real computations - to
have a systematic algorithm for obtaining $\delta _1$ and $\delta _2$
satisfying the coordinate-wise version of Armijo's condition, much like
Backtracking for the usual Armijo's condition. In this paper we propose such an
algorithm, and prove according convergent results.
We then analyse and present experimental results for some functions such as
$f(x,y)=a|x|+y$ (given by Asl and Overton in connection to Wolfe's method),
$f(x,y)=x^3 sin (1/x) + y^3 sin(1/y)$ and Rosenbrock's function.
- Abstract（参考訳）: z=(x,y)$ を積空間 $\mathbb{R}^{m_1}\times \mathbb{R}^{m_2}$ の座標とする。
f:\mathbb{R}^{m_1}\times \mathbb{R}^{m_2}\rightarrow \mathbb{R}$を$C^1$関数とし、$\nabla f=(\partial _xf,\partial _yf)$その勾配とする。
0<\alpha <1$ を固定する。
点 $(x,y) \in \mathbb{r}^{m_1}\times \mathbb{r}^{m_2}$, a number $\delta >0$ がarmijoの条件を$(x,y)$ で満たせば、次の不等式が成り立つ: \begin{eqnarray*} f(x-\delta \partial _xf,y-\delta \partial _yf)-f(x,y)\leq -\alpha \delta (||\partial _xf||^2+||\partial _yf|||^2)。
eqnarray*} 前回の論文で、次の {\bf coordinate-wise} armijo条件を提案した。
0<\alpha <1$ を再び固定する。
一対の正数 $\delta _1,\delta _2>0$ がアルミホの条件の座標ワイド変項を $(x,y)$ とする: \begin{eqnarray*} [f(x-\delta _1\partial _xf(x,y), y-\delta _2\partial _y f(x,y)]-[f(x,y)]\leq -\alpha (\delta _1|\partial _xf(x,y)|||^2+\delta _2|\partial _yf(x,y)||^2 を満たす。
\end{eqnarray*} 以前は$f(x,y)=fという形の関数に対してこの条件を適用していました。
(x)+g
(y)$であり、様々な収束結果が得られた。
一般的な関数の場合、実際の計算を行えるためには、通常のArmijoの状態のバックトラックのように、Armijoの状態の座標的バージョンを満たす$\delta _1$と$\delta _2$を得るための体系的なアルゴリズムを持つことが不可欠である。
本稿では,このようなアルゴリズムを提案し,収束結果に基づいて証明する。
次に,いくつかの関数(例えば,$f(x,y)=a|x|+y$,$f(x,y)=x^3 sin (1/x) + y^3 sin(1/y)$, rosenbrock関数)について解析し,実験結果を示す。
関連論文リスト
- The Communication Complexity of Approximating Matrix Rank [50.6867896228563]
この問題は通信複雑性のランダム化を$Omega(frac1kcdot n2log|mathbbF|)$とする。
アプリケーションとして、$k$パスを持つ任意のストリーミングアルゴリズムに対して、$Omega(frac1kcdot n2log|mathbbF|)$スペースローバウンドを得る。
論文 参考訳（メタデータ） (2024-10-26T06:21:42Z) - Efficient Continual Finite-Sum Minimization [52.5238287567572]
連続有限サム最小化(continuous finite-sum minimization)と呼ばれる有限サム最小化の鍵となるツイストを提案する。
我々のアプローチは$mathcalO(n/epsilon)$ FOs that $mathrmStochasticGradientDescent$で大幅に改善されます。
また、$mathcalOleft(n/epsilonalpharight)$ complexity gradient for $alpha 1/4$という自然な一階法は存在しないことを証明し、この方法の第一階法がほぼ密であることを示す。
論文 参考訳（メタデータ） (2024-06-07T08:26:31Z) - Convergence Rates of Stochastic Zeroth-order Gradient Descent for \L
ojasiewicz Functions [6.137707924685666]
Lojasiewicz関数に対するゼロ階勾配 Descent (SZGD) アルゴリズムの収束率を証明する。
その結果, mathbbN $ における f (mathbfx_t) - f (mathbfx_infty) _t は $ | mathbfx_infty よりも早く収束できることがわかった。
論文 参考訳（メタデータ） (2022-10-31T00:53:17Z) - On Outer Bi-Lipschitz Extensions of Linear Johnson-Lindenstrauss
Embeddings of Low-Dimensional Submanifolds of $\mathbb{R}^N$ [0.24366811507669117]
$mathcalM$ を $mathbbRN$ のコンパクト $d$-次元部分多様体とし、リーチ $tau$ とボリューム $V_mathcal M$ とする。
非線形関数 $f: mathbbRN rightarrow mathbbRmm が存在し、$m leq C left(d / epsilon2right) log left(fracsqrt[d]V_math が存在することを証明します。
論文 参考訳（メタデータ） (2022-06-07T15:10:46Z) - Low-Rank Approximation with $1/\epsilon^{1/3}$ Matrix-Vector Products [58.05771390012827]
我々は、任意のSchatten-$p$ノルムの下で、低ランク近似のためのクリロフ部分空間に基づく反復法について研究する。
我々の主な成果は、$tildeO(k/sqrtepsilon)$ matrix-vector productのみを使用するアルゴリズムである。
論文 参考訳（メタデータ） (2022-02-10T16:10:41Z) - On the Self-Penalization Phenomenon in Feature Selection [69.16452769334367]
カーネル群に基づく暗黙の空間性誘導機構について述べる。
アプリケーションとしては、この疎結合誘導機構を使用して、特徴選択に一貫性のあるアルゴリズムを構築します。
論文 参考訳（メタデータ） (2021-10-12T09:36:41Z) - Generalisations and improvements of New Q-Newton's method Backtracking [0.0]
本稿では,新しいQ-Newtonの手法のバックトラッキングのための一般的なフレームワークを提案する。
例えば、1$ または $e_m(x)$'s は必ずしも $nabla 2f(x)$ の固有ベクトルではない。
論文 参考訳（メタデータ） (2021-09-23T14:28:15Z) - Learning low-degree functions from a logarithmic number of random
queries [77.34726150561087]
任意の整数 $ninmathbbN$, $din1,ldots,n$ および任意の $varepsilon,deltain(0,1)$ に対して、有界関数 $f:-1,1nto[-1,1]$ に対して、少なくとも$d$ の次数を学ぶことができる。
論文 参考訳（メタデータ） (2021-09-21T13:19:04Z) - Optimal Mean Estimation without a Variance [103.26777953032537]
本研究では,データ生成分布の分散が存在しない環境での重み付き平均推定問題について検討する。
最小の信頼区間を$n,d,delta$の関数として得る推定器を設計する。
論文 参考訳（メタデータ） (2020-11-24T22:39:21Z) - Asymptotic behaviour of learning rates in Armijo's condition [0.0]
x_n$ が非退化臨界点に収束すると、$delta _n$ は有界でなければならない。
これは、Unbounded Backtracking GDに関する最初の著者の結果を補完する。
論文 参考訳（メタデータ） (2020-07-07T16:49:25Z) - Some convergent results for Backtracking Gradient Descent method on
Banach spaces [0.0]
bf Theorem.$X$をバナッハ空間とし、$f:Xrightarrow mathbbR$を$C2$関数とする。
$mathcalC$ を $f$ の臨界点の集合とする。
論文 参考訳（メタデータ） (2020-01-16T12:49:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。