論文の概要: Data Complexity Estimates for Operator Learning

• arxiv url: http://arxiv.org/abs/2405.15992v2
• Date: Thu, 17 Oct 2024 19:55:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-21 14:21:45.593042
• Title: Data Complexity Estimates for Operator Learning
• Title（参考訳）: 演算子学習のためのデータ複雑度推定法
• Authors: Nikola B. Kovachki, Samuel Lanthaler, Hrushikesh Mhaskar,
• Abstract要約: 我々は,演算子学習のデータ複雑性を研究する理論を開発した。 より狭い演算子のクラスにおいて、チューナブルパラメータの数の観点からFNOによって効率的に近似されることで、効率的な演算子学習がデータ複雑性においても達成可能であることを示す。
• 参考スコア（独自算出の注目度）: 4.056627267544063
• License:
• Abstract: Operator learning has emerged as a new paradigm for the data-driven approximation of nonlinear operators. Despite its empirical success, the theoretical underpinnings governing the conditions for efficient operator learning remain incomplete. The present work develops theory to study the data complexity of operator learning, complementing existing research on the parametric complexity. We investigate the fundamental question: How many input/output samples are needed in operator learning to achieve a desired accuracy $\epsilon$? This question is addressed from the point of view of $n$-widths, and this work makes two key contributions. The first contribution is to derive lower bounds on $n$-widths for general classes of Lipschitz and Fr\'echet differentiable operators. These bounds rigorously demonstrate a ``curse of data-complexity'', revealing that learning on such general classes requires a sample size exponential in the inverse of the desired accuracy $\epsilon$. The second contribution of this work is to show that ``parametric efficiency'' implies ``data efficiency''; using the Fourier neural operator (FNO) as a case study, we show rigorously that on a narrower class of operators, efficiently approximated by FNO in terms of the number of tunable parameters, efficient operator learning is attainable in data complexity as well. Specifically, we show that if only an algebraically increasing number of tunable parameters is needed to reach a desired approximation accuracy, then an algebraically bounded number of data samples is also sufficient to achieve the same accuracy.
• Abstract（参考訳）: 演算子学習は非線形演算子のデータ駆動近似の新しいパラダイムとして登場した。 経験的成功にもかかわらず、効率的な演算子学習の条件を管理する理論的基盤はいまだ不完全である。 本研究は、演算子学習のデータ複雑性を研究する理論を開発し、パラメータ複雑性に関する既存の研究を補完するものである。 所望の精度を達成するために、演算子学習には入力/出力サンプルがいくつ必要か? この問題は$n$-widthsの観点から解決され、この研究は2つの重要な貢献をする。 最初の貢献は、Lipschitz および Fr\'echet 微分可能作用素の一般類に対する$n$-widths 上の下界を導出することである。 これらの境界は「'curse of data-complexity''」を厳密に示しており、そのような一般クラスでの学習には、所望の精度の$\epsilon$の逆で指数関数的なサンプルサイズが必要であることを明らかにしている。 この研究の第二の貢献は、 ‘`parametric efficiency'' が ``data efficiency'' を意味することを示すことである; フーリエニューラル演算子 (FNO) をケーススタディとして、より狭い演算子クラスにおいて、チューナブルパラメータの数の観点からFNOによって効率的に近似された、効率的な演算子学習もデータ複雑性において達成可能であることを厳密に示す。 具体的には、所望の近似精度に到達するために、代数的に増大するチューナブルパラメータの数だけが必要な場合、代数的に有界なデータサンプルの数も同じ精度を達成するのに十分であることを示す。

関連論文リスト

• Basis-to-Basis Operator Learning Using Function Encoders [16.128154294012543]
  本稿では、ヒルベルト空間上の演算子を学習するための新しいアプローチであるB2B演算子学習について述べる。 固有分解や特異値分解と直接類似した演算子学習アルゴリズムを導出する。
  論文  参考訳（メタデータ） (2024-09-30T19:18:34Z)
• Operator Learning Using Random Features: A Tool for Scientific Computing [3.745868534225104]
  教師付き演算子学習センターは、無限次元空間間のマップを推定するためにトレーニングデータを使用する。 本稿では,関数値のランダム特徴量法を提案する。 これは非線形問題に対して実用的な教師付き演算子学習アーキテクチャをもたらす。
  論文  参考訳（メタデータ） (2024-08-12T23:10:39Z)
• Discovering symbolic expressions with parallelized tree search [59.92040079807524]
  記号回帰は、データから簡潔で解釈可能な数学的表現を発見する能力のおかげで、科学研究において重要な役割を果たす。 既存のアルゴリズムは、複雑性の問題に対処する際の精度と効率の重要なボトルネックに直面してきた。 本稿では,限定データから汎用数学的表現を効率的に抽出する並列木探索(PTS)モデルを提案する。
  論文  参考訳（メタデータ） (2024-07-05T10:41:15Z)
• Operator Learning of Lipschitz Operators: An Information-Theoretic Perspective [2.375038919274297]
  この研究は、リプシッツ連続作用素の一般クラスに対する神経作用素近似の複雑さに対処する。 我々の主な貢献は、2つの近似設定におけるリプシッツ作用素の計量エントロピーの低い境界を確立することである。 使用したアクティベーション関数にかかわらず、近似精度が$epsilon$に達する神経オペレーターアーキテクチャは、$epsilon-1$で指数関数的に大きいサイズでなければならない。
  論文  参考訳（メタデータ） (2024-06-26T23:36:46Z)
• MODNO: Multi Operator Learning With Distributed Neural Operators [0.8702432681310401]
  演算子学習の研究には、ニューラルネットワークを近似演算子に利用することが含まれる。 近年の進歩は、数百万から数十億のトレーニング可能なパラメータを備えた基礎モデルを用いた複数の演算子の近似に繋がった。 本稿では,パラメータが大幅に少ない1つのニューラル演算子で,マルチオペレータ学習の課題に対処することを目的とした,分散トレーニング手法を提案する。
  論文  参考訳（メタデータ） (2024-04-03T17:49:41Z)
• Guaranteed Approximation Bounds for Mixed-Precision Neural Operators [83.64404557466528]
  我々は、ニューラル演算子学習が本質的に近似誤差を誘導する直感の上に構築する。 提案手法では,GPUメモリ使用量を最大50%削減し,スループットを58%向上する。
  論文  参考訳（メタデータ） (2023-07-27T17:42:06Z)
• Efficient Model-Free Exploration in Low-Rank MDPs [76.87340323826945]
  低ランクマルコフ決定プロセスは、関数近似を持つRLに対して単純だが表現力のあるフレームワークを提供する。 既存のアルゴリズムは、(1)計算的に抽出可能であるか、または(2)制限的な統計的仮定に依存している。 提案手法は,低ランクMPPの探索のための最初の実証可能なサンプル効率アルゴリズムである。
  論文  参考訳（メタデータ） (2023-07-08T15:41:48Z)
• The Parametric Complexity of Operator Learning [6.800286371280922]
  「本論は、Cr$-またはLipschitz-regularityのみによって特徴づけられる作用素の一般クラスに対して、演算子学習がパラメトリック複雑性の呪いに苦しむことを証明することを目的としている。」 この論文の第二の貢献は、ハミルトン・ヤコビ方程式で定義される解作用素に対して、この一般的な呪いが克服可能であることを証明することである。 HJ-Netと呼ばれる新しいニューラル演算子アーキテクチャが導入され、基礎となるハミルトン系の特性情報を明示的に考慮している。
  論文  参考訳（メタデータ） (2023-06-28T05:02:03Z)
• Representation Learning with Multi-Step Inverse Kinematics: An Efficient and Optimal Approach to Rich-Observation RL [106.82295532402335]
  既存の強化学習アルゴリズムは、計算的難易度、強い統計的仮定、最適なサンプルの複雑さに悩まされている。 所望の精度レベルに対して、レート最適サンプル複雑性を実現するための、最初の計算効率の良いアルゴリズムを提供する。 我々のアルゴリズムMusIKは、多段階の逆運動学に基づく表現学習と体系的な探索を組み合わせる。
  論文  参考訳（メタデータ） (2023-04-12T14:51:47Z)
• Statistically Meaningful Approximation: a Case Study on Approximating Turing Machines with Transformers [50.85524803885483]
  本研究は,統計的学習性を示すために近似ネットワークを必要とする統計有意(SM)近似の形式的定義を提案する。 回路とチューリングマシンの2つの機能クラスに対するSM近似について検討する。
  論文  参考訳（メタデータ） (2021-07-28T04:28:55Z)
• On Function Approximation in Reinforcement Learning: Optimism in the Face of Large State Spaces [208.67848059021915]
  強化学習のコアにおける探索・探索トレードオフについて検討する。 特に、関数クラス $mathcalF$ の複雑さが関数の複雑さを特徴づけていることを証明する。 私たちの後悔の限界はエピソードの数とは無関係です。
  論文  参考訳（メタデータ） (2020-11-09T18:32:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。