論文の概要: Classes of ODE solutions: smoothness, covering numbers, implications for
noisy function fitting, and the curse of smoothness phenomenon
- arxiv url: http://arxiv.org/abs/2011.11371v3
- Date: Wed, 17 Mar 2021 23:48:37 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-22 03:32:57.396933
- Title: Classes of ODE solutions: smoothness, covering numbers, implications for
noisy function fitting, and the curse of smoothness phenomenon
- Title（参考訳）: ode溶液のクラス:滑らか性、被覆数、ノイズ機能適合性、および滑らか性現象の呪い
- Authors: Ying Zhu, Mozhgan Mirzaei
- Abstract要約: ODE のクラスの滑らかさの度合いと「サイズ」が、関連する解のクラスの「サイズ」に影響を与えることを示す。
我々の結果は「ODEのクラスの滑らかさの程度と「サイズ」が関連する解のクラスの「サイズ」にどのように影響するか」という答えを提供する。
- 参考スコア（独自算出の注目度）: 0.8376091455761261
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Many numerical methods for recovering ODE solutions from data rely on
approximating the solutions using basis functions or kernel functions under a
least square criterion. The accuracy of this approach hinges on the smoothness
of the solutions. This paper provides a theoretical foundation for these
methods by establishing novel results on the smoothness and covering numbers of
ODE solution classes (as a measure of their "size"). Our results provide
answers to "how do the degree of smoothness and the "size" of a class of ODEs
affect the "size" of the associated class of solutions?" We show that: (1) for
$y^{'}=f\left(y\right)$ and $y^{'}=f\left(x,\,y\right)$, if the absolute values
of all $k$th ($k\leq\beta+1$) order derivatives of $f$ are bounded by $1$, then
the solution can end up with the $(k+1)$th derivative whose magnitude grows
factorially fast in $k$ -- "a curse of smoothness"; (2) our upper bounds for
the covering numbers of the $(\beta+2)-$degree smooth solution classes are
greater than those of the "standard" $(\beta+2)-$degree smooth class of
univariate functions; (3) the mean squared error of least squares fitting for
noisy recovery has a convergence rate no larger than
$\left(\frac{1}{n}\right)^{\frac{2\left(\beta+2\right)}{2\left(\beta+2\right)+1}}$
if
$n=\Omega\left(\left(\beta\sqrt{\log\left(\beta\vee1\right)}\right)^{4\beta+10}\right)$,
and under this condition, the rate
$\left(\frac{1}{n}\right)^{\frac{2\left(\beta+2\right)}{2\left(\beta+2\right)+1}}$
is minimax optimal in the case of $y^{'}=f\left(x,\,y\right)$; (4) more
generally, for the higher order Picard type ODEs,
$y^{\left(m\right)}=f\left(x,\,y,\,y^{'},\,...,y^{\left(m-1\right)}\right)$,
the covering number of the solution class is bounded from above by the product
of the covering number of the class $\mathcal{F}$ that $f$ ranges over and the
covering number of the set where initial values lie.
- Abstract（参考訳）: データからODEソリューションを復元する数値的な方法は、基本関数やカーネル関数を最小2乗基準で近似することに依存する。
このアプローチの正確さは、解の滑らかさにかかっている。
本稿では,これらの手法の理論的基盤として,ODE 解クラスのスムーズ性および被覆数に関する新たな結果(その「サイズ」の尺度として)を確立する。
我々の結果は「ODEのクラスの滑らかさの程度と「サイズ」が関連する解のクラスの「サイズ」にどのように影響するか」という答えを提供する。
We show that: (1) for $y^{'}=f\left(y\right)$ and $y^{'}=f\left(x,\,y\right)$, if the absolute values of all $k$th ($k\leq\beta+1$) order derivatives of $f$ are bounded by $1$, then the solution can end up with the $(k+1)$th derivative whose magnitude grows factorially fast in $k$ -- "a curse of smoothness"; (2) our upper bounds for the covering numbers of the $(\beta+2)-$degree smooth solution classes are greater than those of the "standard" $(\beta+2)-$degree smooth class of univariate functions; (3) the mean squared error of least squares fitting for noisy recovery has a convergence rate no larger than $\left(\frac{1}{n}\right)^{\frac{2\left(\beta+2\right)}{2\left(\beta+2\right)+1}}$ if $n=\Omega\left(\left(\beta\sqrt{\log\left(\beta\vee1\right)}\right)^{4\beta+10}\right)$, and under this condition, the rate $\left(\frac{1}{n}\right)^{\frac{2\left(\beta+2\right)}{2\left(\beta+2\right)+1}}$ is minimax optimal in the case of $y^{'}=f\left(x,\,y\right)$; (4) more generally, for the higher order Picard type ODEs, $y^{\left(m\right)}=f\left(x,\,y,\,y^{'},\,...,y^{\left(m-1\right)}\right)$, the covering number of the solution class is bounded from above by the product of the covering number of the class $\mathcal{F}$ that $f$ ranges over and the covering number of the set where initial values lie.
関連論文リスト
- Efficient Continual Finite-Sum Minimization [52.5238287567572]
連続有限サム最小化(continuous finite-sum minimization)と呼ばれる有限サム最小化の鍵となるツイストを提案する。
我々のアプローチは$mathcalO(n/epsilon)$ FOs that $mathrmStochasticGradientDescent$で大幅に改善されます。
また、$mathcalOleft(n/epsilonalpharight)$ complexity gradient for $alpha 1/4$という自然な一階法は存在しないことを証明し、この方法の第一階法がほぼ密であることを示す。
論文 参考訳（メタデータ） (2024-06-07T08:26:31Z) - Algorithms for mean-field variational inference via polyhedral optimization in the Wasserstein space [10.292118864147097]
ワッサーシュタイン空間上の有限次元多面体部分集合の理論を開発し、一階法による函数の最適化を行う。
我々の主な応用は平均場変動推論の問題であり、これは分布の$pi$ over $mathbbRd$を製品測度$pistar$で近似しようとするものである。
論文 参考訳（メタデータ） (2023-12-05T16:02:04Z) - Sharper Rates for Separable Minimax and Finite Sum Optimization via
Primal-Dual Extragradient Methods [39.87865197769047]
分離可能なミニマックス最適化問題 $min_x max_y f(x) - g(y) + h(x, y)$, where $f$ and $g$ have smoothness and strong convexity parameters $(Lx, mux)$, $(Ly, muy)$, and $h$ is convex-concave with a $(Lambdaxx, Lambdaxy, Lambdayymuyright)$。
論文 参考訳（メタデータ） (2022-02-09T18:57:47Z) - Nearly Horizon-Free Offline Reinforcement Learning [97.36751930393245]
S$状態、$A$アクション、計画的地平$H$で、エピソードな時間同質なMarkov決定プロセスに関するオフライン強化学習を再考する。
経験的MDPを用いた評価と計画のための,約$H$自由なサンプル複雑性境界の最初の集合を得る。
論文 参考訳（メタデータ） (2021-03-25T18:52:17Z) - Infinite-Horizon Offline Reinforcement Learning with Linear Function
Approximation: Curse of Dimensionality and Algorithm [46.36534144138337]
本稿では,オフライン強化学習におけるポリシー評価のサンプル複雑さについて検討する。
低分布シフトの仮定の下では、最大$oleft(maxleft fracleftvert thetapirightvert _24varepsilon4logfracddelta,frac1varepsilon2left(d+logfrac1deltaright)right right)$サンプルを必要とするアルゴリズムがあることを示す。
論文 参考訳（メタデータ） (2021-03-17T18:18:57Z) - Deep Neural Networks with ReLU-Sine-Exponential Activations Break Curse
of Dimensionality on H\"older Class [6.476766717110237]
活性化関数としてReLU,sine,2x$のニューラルネットワークを構築した。
スーパー表現力に加えて、ReLU-sine-$2x$ネットワークで実装された関数は(一般化)微分可能である。
論文 参考訳（メタデータ） (2021-02-28T15:57:42Z) - Optimal Regret Algorithm for Pseudo-1d Bandit Convex Optimization [51.23789922123412]
我々は,バンディットフィードバックを用いてオンライン学習を学習する。
learnerは、コスト/リワード関数が"pseudo-1d"構造を許可するゼロ次オラクルのみにアクセスできる。
我々は、$T$がラウンドの数である任意のアルゴリズムの後悔のために$min(sqrtdT、T3/4)$の下限を示しています。
ランダム化オンライングラデーション下降とカーネル化指数重み法を組み合わせた新しいアルゴリズムsbcalgを提案し,疑似-1d構造を効果的に活用する。
論文 参考訳（メタデータ） (2021-02-15T08:16:51Z) - $Q$-learning with Logarithmic Regret [60.24952657636464]
楽観的な$Q$は$mathcalOleft(fracSAcdot mathrmpolyleft(Hright)Delta_minlogleft(SATright)right)$ cumulative regret bound, where $S$ is the number of state, $A$ is the number of action, $H$ is the planning horizon, $T$ is the total number of steps, $Delta_min$ is the least sub-Optitimality gap。
論文 参考訳（メタデータ） (2020-06-16T13:01:33Z) - Improved Algorithms for Convex-Concave Minimax Optimization [10.28639483137346]
本稿では、ミニマックス最適化問題$min_x max_y f(x,y)$, $f(x,y)$が$x$, $m_y$-strongly concaveに対して$m_x$-strongly convexが$y$および$(L_x,L_xy,L_y)$-smoothに関して$m_x$-strongly concaveについて検討する。
論文 参考訳（メタデータ） (2020-06-11T12:21:13Z) - Revisiting EXTRA for Smooth Distributed Optimization [70.65867695317633]
改良された$Oleft(left(fracLmu+frac11-sigma_2(W)right)logfrac1epsilon (1-sigma_2(W))right)$。
高速化されたEXTRAの通信複雑性は、$left(logfracLmu (1-sigma_2(W))right)$と$left(logfrac1epsilon (1。
論文 参考訳（メタデータ） (2020-02-24T08:07:08Z) - Agnostic Q-learning with Function Approximation in Deterministic
Systems: Tight Bounds on Approximation Error and Sample Complexity [94.37110094442136]
本稿では,決定論的システムにおける関数近似を用いたQ$学習の問題について検討する。
もし$delta = Oleft(rho/sqrtdim_Eright)$なら、$Oleft(dim_Eright)$を使って最適なポリシーを見つけることができる。
論文 参考訳（メタデータ） (2020-02-17T18:41:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。