論文の概要: Operator Learning of Lipschitz Operators: An Information-Theoretic Perspective

• arxiv url: http://arxiv.org/abs/2406.18794v1
• Date: Wed, 26 Jun 2024 23:36:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-28 15:47:01.250973
• Title: Operator Learning of Lipschitz Operators: An Information-Theoretic Perspective
• Title（参考訳）: リプシッツ演算子の演算子学習 : 情報理論の視点から
• Authors: Samuel Lanthaler,
• Abstract要約: この研究は、リプシッツ連続作用素の一般クラスに対するニューラル作用素近似のパラメトリック複雑性に対処する。 我々の主な貢献は、2つの近似設定におけるリプシッツ作用素の計量エントロピーの低い境界を確立することである。 使用したアクティベーション関数にかかわらず、近似精度が$epsilon$に達する神経オペレーターアーキテクチャは、$epsilon-1$で指数関数的に大きいサイズでなければならない。
• 参考スコア（独自算出の注目度）: 2.375038919274297
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Operator learning based on neural operators has emerged as a promising paradigm for the data-driven approximation of operators, mapping between infinite-dimensional Banach spaces. Despite significant empirical progress, our theoretical understanding regarding the efficiency of these approximations remains incomplete. This work addresses the parametric complexity of neural operator approximations for the general class of Lipschitz continuous operators. Motivated by recent findings on the limitations of specific architectures, termed curse of parametric complexity, we here adopt an information-theoretic perspective. Our main contribution establishes lower bounds on the metric entropy of Lipschitz operators in two approximation settings; uniform approximation over a compact set of input functions, and approximation in expectation, with input functions drawn from a probability measure. It is shown that these entropy bounds imply that, regardless of the activation function used, neural operator architectures attaining an approximation accuracy $\epsilon$ must have a size that is exponentially large in $\epsilon^{-1}$. The size of architectures is here measured by counting the number of encoded bits necessary to store the given model in computational memory. The results of this work elucidate fundamental trade-offs and limitations in
• Abstract（参考訳）: ニューラル演算子に基づく演算子学習は、無限次元バナッハ空間間の写像である演算子のデータ駆動近似の有望なパラダイムとして登場した。 経験的進歩にもかかわらず、これらの近似の効率に関する理論的理解はいまだに不完全である。 この研究は、リプシッツ連続作用素の一般クラスに対するニューラル作用素近似のパラメトリック複雑性に対処する。 パラメトリック複雑性の呪いという,特定のアーキテクチャの限界に関する最近の知見に触発され,情報理論の視点を取り入れた。 我々の主な貢献は、2つの近似設定におけるリプシッツ作用素の計量エントロピーの下位境界、すなわち、コンパクトな入力関数の集合に対する一様近似と、確率測度から引き出された入力関数による期待の近似である。 これらのエントロピー境界は、使用されるアクティベーション関数に関係なく、近似精度$\epsilon$に達するニューラル作用素アーキテクチャは、$\epsilon^{-1}$で指数関数的に大きいサイズでなければならないことを示唆している。 アーキテクチャのサイズは、与えられたモデルを計算メモリに格納するのに必要な符号化ビットの数を数えることによって測定される。 この研究の結果は、基本的なトレードオフと制限を解明する。

関連論文リスト

• Data Complexity Estimates for Operator Learning [4.056627267544063]
  我々は,演算子学習のデータ複雑性を研究する理論を開発した。 より狭い演算子のクラスにおいて、チューナブルパラメータの数の観点からFNOによって効率的に近似されることで、効率的な演算子学習がデータ複雑性においても達成可能であることを示す。
  論文  参考訳（メタデータ） (2024-05-25T00:16:21Z)
• Operator Learning: Algorithms and Analysis [8.305111048568737]
  オペレータ学習(Operator learning)は、機械学習から、関数のバナッハ空間間の近似演算子へのアイデアの適用を指す。 このレビューは、有限次元ユークリッド空間上で定義される関数の近似におけるディープニューラルネットワークの成功に基づいて構築されたニューラル演算子に焦点を当てる。
  論文  参考訳（メタデータ） (2024-02-24T04:40:27Z)
• Guaranteed Approximation Bounds for Mixed-Precision Neural Operators [83.64404557466528]
  我々は、ニューラル演算子学習が本質的に近似誤差を誘導する直感の上に構築する。 提案手法では,GPUメモリ使用量を最大50%削減し,スループットを58%向上する。
  論文  参考訳（メタデータ） (2023-07-27T17:42:06Z)
• The Parametric Complexity of Operator Learning [6.800286371280922]
  「本論は、Cr$-またはLipschitz-regularityのみによって特徴づけられる作用素の一般クラスに対して、演算子学習がパラメトリック複雑性の呪いに苦しむことを証明することを目的としている。」 この論文の第二の貢献は、ハミルトン・ヤコビ方程式で定義される解作用素に対して、この一般的な呪いが克服可能であることを証明することである。 HJ-Netと呼ばれる新しいニューラル演算子アーキテクチャが導入され、基礎となるハミルトン系の特性情報を明示的に考慮している。
  論文  参考訳（メタデータ） (2023-06-28T05:02:03Z)
• Understanding Augmentation-based Self-Supervised Representation Learning via RKHS Approximation and Regression [53.15502562048627]
  最近の研究は、自己教師付き学習とグラフラプラシアン作用素のトップ固有空間の近似との関係を構築している。 この研究は、増強に基づく事前訓練の統計的分析に発展する。
  論文  参考訳（メタデータ） (2023-06-01T15:18:55Z)
• Nonlocality and Nonlinearity Implies Universality in Operator Learning [8.83910715280152]
  ニューラル作用素アーキテクチャは、無限次元バナッハ空間の間の作用素を近似する。 函数空間間の作用素の一般近似が非局所的かつ非線形であることは明らかである。 これら2つの属性をどのように組み合わせて、普遍近似を導出するかを示す。
  論文  参考訳（メタデータ） (2023-04-26T01:03:11Z)
• Operator learning with PCA-Net: upper and lower complexity bounds [2.375038919274297]
  PCA-Netは、主成分分析とニューラルネットワークを組み合わせた、最近提案されたニューラルネットワークアーキテクチャである。 基礎作用素に対する最小の仮定の下で、新しい普遍近似結果が導出される。 PCA-Netは、ダーシー流とナビエ・ストークス方程式から生じる特定の興味を持つ演算子の一般的な呪いを克服することができる。
  論文  参考訳（メタデータ） (2023-03-28T21:27:36Z)
• Reinforcement Learning from Partial Observation: Linear Function Approximation with Provable Sample Efficiency [111.83670279016599]
  部分観察決定過程(POMDP)の無限観測および状態空間を用いた強化学習について検討した。 線形構造をもつPOMDPのクラスに対する部分可観測性と関数近似の最初の試みを行う。
  論文  参考訳（メタデータ） (2022-04-20T21:15:38Z)
• Neural Operator: Learning Maps Between Function Spaces [75.93843876663128]
  本稿では,無限次元関数空間間を写像する演算子,いわゆるニューラル演算子を学習するためのニューラルネットワークの一般化を提案する。 提案したニューラル作用素に対して普遍近似定理を証明し、任意の非線形連続作用素を近似することができることを示す。 ニューラル作用素に対する重要な応用は、偏微分方程式の解作用素に対する代理写像を学習することである。
  論文  参考訳（メタデータ） (2021-08-19T03:56:49Z)
• Statistically Meaningful Approximation: a Case Study on Approximating Turing Machines with Transformers [50.85524803885483]
  本研究は,統計的学習性を示すために近似ネットワークを必要とする統計有意(SM)近似の形式的定義を提案する。 回路とチューリングマシンの2つの機能クラスに対するSM近似について検討する。
  論文  参考訳（メタデータ） (2021-07-28T04:28:55Z)
• On Function Approximation in Reinforcement Learning: Optimism in the Face of Large State Spaces [208.67848059021915]
  強化学習のコアにおける探索・探索トレードオフについて検討する。 特に、関数クラス $mathcalF$ の複雑さが関数の複雑さを特徴づけていることを証明する。 私たちの後悔の限界はエピソードの数とは無関係です。
  論文  参考訳（メタデータ） (2020-11-09T18:32:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。