論文の概要: Simultaneously Solving FBSDEs with Neural Operators of Logarithmic Depth, Constant Width, and Sub-Linear Rank

• arxiv url: http://arxiv.org/abs/2410.14788v1
• Date: Fri, 18 Oct 2024 18:01:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-22 13:15:34.575278
• Title: Simultaneously Solving FBSDEs with Neural Operators of Logarithmic Depth, Constant Width, and Sub-Linear Rank
• Title（参考訳）: 対数深さ, 定数幅, 下位ランクのニューラル演算子によるFBSDEの同時解法
• Authors: Takashi Furuya, Anastasis Kratsios,
• Abstract要約: フォワード・バックワード微分方程式(FBSDEs)は、最適制御、ゲーム理論、経済学、数学ファイナンスの中心である。 Small'' NOs は FBSDEs の構造された族に対する解演算子を均一に近似できることを示す。 また、同様の深さ、幅、ランクの畳み込みNOは、解作用素を楕円型PDEの広いクラスに近似することができることを示す。
• 参考スコア（独自算出の注目度）: 8.517406772939292
• License:
• Abstract: Forward-backwards stochastic differential equations (FBSDEs) are central in optimal control, game theory, economics, and mathematical finance. Unfortunately, the available FBSDE solvers operate on \textit{individual} FBSDEs, meaning that they cannot provide a computationally feasible strategy for solving large families of FBSDEs as these solvers must be re-run several times. \textit{Neural operators} (NOs) offer an alternative approach for \textit{simultaneously solving} large families of FBSDEs by directly approximating the solution operator mapping \textit{inputs:} terminal conditions and dynamics of the backwards process to \textit{outputs:} solutions to the associated FBSDE. Though universal approximation theorems (UATs) guarantee the existence of such NOs, these NOs are unrealistically large. We confirm that ``small'' NOs can uniformly approximate the solution operator to structured families of FBSDEs with random terminal time, uniformly on suitable compact sets determined by Sobolev norms, to any prescribed error $\varepsilon>0$ using a depth of $\mathcal{O}(\log(1/\varepsilon))$, a width of $\mathcal{O}(1)$, and a sub-linear rank; i.e. $\mathcal{O}(1/\varepsilon^r)$ for some $r<1$. This result is rooted in our second main contribution, which shows that convolutional NOs of similar depth, width, and rank can approximate the solution operator to a broad class of Elliptic PDEs. A key insight here is that the convolutional layers of our NO can efficiently encode the Green's function associated to the Elliptic PDEs linked to our FBSDEs. A byproduct of our analysis is the first theoretical justification for the benefit of lifting channels in NOs: they exponentially decelerate the growth rate of the NO's rank.
• Abstract（参考訳）: 前方後方確率微分方程式(FBSDEs)は最適制御、ゲーム理論、経済学、数学ファイナンスの中心である。 残念なことに、利用可能な FBSDE ソルバは \textit{individual} FBSDEs で動作している。 \textit{Neural operator} (NOs) は、FBSDEsの大きなファミリーに対して、ソリューション演算子を直接近似することで、FBSDEsの大きなファミリーに対して、後方プロセスの端末条件と動的条件を、関連するFBSDEに対するソリューションに適合させることによって、代替的なアプローチを提供する。 普遍近似定理(UAT)はそのようなNOの存在を保証するが、これらのNOは非現実的に大きい。 例えば、ソボレフノルムによって決定される適切なコンパクト集合に対して、任意の所定誤差 $\varepsilon>0$ に対して、$\mathcal{O}(\log(1/\varepsilon))$, a width of $\mathcal{O}(1)$, a sub-linear rank; i.e. $\mathcal{O}(1/\varepsilon^r)$ for some $r<1$。 この結果は、同様の深さ、幅、ランクの畳み込みNOsが、解作用素を楕円型PDEの広いクラスに近似できることを示す第2の主貢献に根ざしている。 ここでの重要な洞察は、私たちのNOの畳み込み層は、FBSDEにリンクされた楕円PDEに関連するグリーン関数を効率的にエンコードできるということである。 我々の分析の副産物は、NOの上昇チャネルの利点に対する最初の理論的正当性であり、NOの上昇速度を指数関数的に低下させる。

関連論文リスト

• Two-Timescale Gradient Descent Ascent Algorithms for Nonconvex Minimax Optimization [77.3396841985172]
  我々は、構造化された非極小最適化問題の解法として、2時間勾配上昇(TTGDA)を統一的に解析する。 我々の貢献はTTGDAアルゴリズムを設計することであり、設定を超えて効果的です。
  論文  参考訳（メタデータ） (2024-08-21T20:14:54Z)
• Accelerated Variance-Reduced Forward-Reflected Methods for Root-Finding Problems [8.0153031008486]
  そこで本研究では,Nesterovの高速前方反射法と分散還元法を新たに提案し,根絶問題の解法を提案する。 我々のアルゴリズムは単ループであり、ルートフィリング問題に特化して設計された非バイアス分散還元推定器の新たなファミリーを利用する。
  論文  参考訳（メタデータ） (2024-06-04T15:23:29Z)
• Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
  近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。 本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
  論文  参考訳（メタデータ） (2024-04-29T15:04:07Z)
• Nearly Optimal Regret for Decentralized Online Convex Optimization [53.433398074919]
  分散オンライン凸最適化(D-OCO)は,局所計算と通信のみを用いて,グローバルな損失関数の列を最小化することを目的としている。 我々は凸関数と強い凸関数の残差をそれぞれ低減できる新しいD-OCOアルゴリズムを開発した。 我々のアルゴリズムは、$T$、$n$、$rho$の点でほぼ最適です。
  論文  参考訳（メタデータ） (2024-02-14T13:44:16Z)
• An Optimal Stochastic Algorithm for Decentralized Nonconvex Finite-sum Optimization [25.21457349137344]
  私たちは、DEARESTが少なくとも$mathcal O(+sqrtmnLvarepsilon-2)$ 1次オラクル(IFO)コールと$mathcal O(Lvarepsilon-2/sqrt1-lambda_W)$通信ラウンドを必要とすることを示す証拠を示します。
  論文  参考訳（メタデータ） (2022-10-25T11:37:11Z)
• Neural Network Approximations of PDEs Beyond Linearity: A Representational Perspective [40.964402478629495]
  非線形PDEの解を近似するためのニューラルネットワークの表現力について検討する。 Emphnonlinear elliptic variational PDEsとして知られるPDEのクラスを扱うことで、ニューラルネットワークは次元性の呪いを避けることができることを示す。
  論文  参考訳（メタデータ） (2022-10-21T16:53:18Z)
• Learning a Single Neuron with Adversarial Label Noise via Gradient Descent [50.659479930171585]
  モノトン活性化に対する $mathbfxmapstosigma(mathbfwcdotmathbfx)$ の関数について検討する。 学習者の目標は仮説ベクトル $mathbfw$ that $F(mathbbw)=C, epsilon$ を高い確率で出力することである。
  論文  参考訳（メタデータ） (2022-06-17T17:55:43Z)
• DASHA: Distributed Nonconvex Optimization with Communication Compression, Optimal Oracle Complexity, and No Client Synchronization [77.34726150561087]
  我々は,分散最適化問題に対する新しい手法であるDASHAを開発し,解析する。 MARINAとは異なり、新しいDASHAとDASHA-MVRは圧縮ベクターのみを送信し、ノードを同期しないため、学習をより実用的なものにしている。
  論文  参考訳（メタデータ） (2022-02-02T20:10:40Z)
• Deep Network Approximation for Smooth Functions [9.305095040004156]
  幅$mathcalO(Nln N)$と深さ$mathcalO(L L)$の深いReLUネットワークは、ほぼ最適近似誤差で$fin Cs([0,1]d)$を近似できることを示す。 我々の推定は、それぞれ$NinmathbbN+$と$LinmathbbN+$で指定された任意の幅と深さに対して有効であるという意味では漸近的ではない。
  論文  参考訳（メタデータ） (2020-01-09T15:06:10Z)
• On Gradient Descent Ascent for Nonconvex-Concave Minimax Problems [86.92205445270427]
  非コンミニマックス問題、$min_mathbfx max_mathhidoty f(mathbfdoty)$を効率的に考える。
  論文  参考訳（メタデータ） (2019-06-02T03:03:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。