論文の概要: Are Neural Operators Really Neural Operators? Frame Theory Meets Operator Learning

• arxiv url: http://arxiv.org/abs/2305.19913v1
• Date: Wed, 31 May 2023 14:45:34 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-01 16:04:14.100599
• Title: Are Neural Operators Really Neural Operators? Frame Theory Meets Operator Learning
• Title（参考訳）: 神経オペレータは本当に神経オペレータか? Frame Theory - 演算子学習
• Authors: Francesca Bartolucci and Emmanuel de B\'ezenac and Bogdan Raoni\'c and Roberto Molinaro and Siddhartha Mishra and Rima Alaifari
• Abstract要約: 我々は、アーキテクチャが根底にある演算子を真に学習するためには、ある種の連続離散同値性が必要であると論じる。 本稿では,Representation equivalent Neural Operator (ReNO) の統一的な数学的枠組みを導入し,連続的かつ離散的なレベルでの演算が等価であることを保証する。
• 参考スコア（独自算出の注目度）: 5.627346969563955
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, there has been significant interest in operator learning, i.e. learning mappings between infinite-dimensional function spaces. This has been particularly relevant in the context of learning partial differential equations from data. However, it has been observed that proposed models may not behave as operators when implemented on a computer, questioning the very essence of what operator learning should be. We contend that in addition to defining the operator at the continuous level, some form of continuous-discrete equivalence is necessary for an architecture to genuinely learn the underlying operator, rather than just discretizations of it. To this end, we propose to employ frames, a concept in applied harmonic analysis and signal processing that gives rise to exact and stable discrete representations of continuous signals. Extending these concepts to operators, we introduce a unifying mathematical framework of Representation equivalent Neural Operator (ReNO) to ensure operations at the continuous and discrete level are equivalent. Lack of this equivalence is quantified in terms of aliasing errors. We analyze various existing operator learning architectures to determine whether they fall within this framework, and highlight implications when they fail to do so.
• Abstract（参考訳）: 近年,無限次元関数空間間の学習写像など,演算子学習に大きな関心が寄せられている。 これは、データから偏微分方程式を学ぶ文脈において特に関係がある。 しかし,提案モデルがコンピュータ上で実装された場合,オペレータとして振る舞うことはなく,オペレータ学習の本質に疑問を呈することがある。 連続レベルで演算子を定義することに加えて、アーキテクチャが単に離散化するのではなく、基礎となる演算子を真に学習するためには、ある種の連続離散同値性が必要である。 そこで本研究では,連続信号の完全かつ安定した離散表現を実現するための,適応調和解析と信号処理の枠組みを提案する。 これらの概念を演算子に拡張し、表現等価ニューラルネットワーク(reno)の統一数学的枠組みを導入し、連続および離散レベルの演算が等価であることを保証する。 この等価性の欠如は、エラーのエイリアスの観点から定量化される。 既存のオペレータ学習アーキテクチャを分析して,それらがこのフレームワークに含まれるかどうかを判断し,それが失敗した場合の影響を強調する。

関連論文リスト

• Operator Learning of Lipschitz Operators: An Information-Theoretic Perspective [2.375038919274297]
  この研究は、リプシッツ連続作用素の一般クラスに対する神経作用素近似の複雑さに対処する。 我々の主な貢献は、2つの近似設定におけるリプシッツ作用素の計量エントロピーの低い境界を確立することである。 使用したアクティベーション関数にかかわらず、近似精度が$epsilon$に達する神経オペレーターアーキテクチャは、$epsilon-1$で指数関数的に大きいサイズでなければならない。
  論文  参考訳（メタデータ） (2024-06-26T23:36:46Z)
• Neural Operators with Localized Integral and Differential Kernels [77.76991758980003]
  本稿では,2つのフレームワークで局所的な特徴をキャプチャできる演算子学習の原理的アプローチを提案する。 我々はCNNのカーネル値の適切なスケーリングの下で微分演算子を得ることを示す。 局所積分演算子を得るには、離散連続的畳み込みに基づくカーネルの適切な基底表現を利用する。
  論文  参考訳（メタデータ） (2024-02-26T18:59:31Z)
• Operator Learning: Algorithms and Analysis [8.305111048568737]
  オペレータ学習(Operator learning)は、機械学習から、関数のバナッハ空間間の近似演算子へのアイデアの適用を指す。 このレビューは、有限次元ユークリッド空間上で定義される関数の近似におけるディープニューラルネットワークの成功に基づいて構築されたニューラル演算子に焦点を当てる。
  論文  参考訳（メタデータ） (2024-02-24T04:40:27Z)
• The Parametric Complexity of Operator Learning [6.800286371280922]
  「本論は、Cr$-またはLipschitz-regularityのみによって特徴づけられる作用素の一般クラスに対して、演算子学習がパラメトリック複雑性の呪いに苦しむことを証明することを目的としている。」 この論文の第二の貢献は、ハミルトン・ヤコビ方程式で定義される解作用素に対して、この一般的な呪いが克服可能であることを証明することである。 HJ-Netと呼ばれる新しいニューラル演算子アーキテクチャが導入され、基礎となるハミルトン系の特性情報を明示的に考慮している。
  論文  参考訳（メタデータ） (2023-06-28T05:02:03Z)
• In-Context Operator Learning with Data Prompts for Differential Equation Problems [12.61842281581773]
  本稿では、新しいニューラルネットワークベースのアプローチ、すなわちIn-Context Operator Networks (ICON)を紹介する。 ICONは、トリガーされたデータから演算子を同時に学習し、推論段階で新しい質問に適用する。 数値計算の結果,多変量微分方程式問題に対する数発の演算子学習器としてのニューラルネットワークの機能を示す。
  論文  参考訳（メタデータ） (2023-04-17T05:22:26Z)
• Invariant Causal Mechanisms through Distribution Matching [86.07327840293894]
  本研究では、因果的視点と不変表現を学習するための新しいアルゴリズムを提供する。 実験により,このアルゴリズムは様々なタスク群でうまく動作し,特にドメインの一般化における最先端のパフォーマンスを観察する。
  論文  参考訳（メタデータ） (2022-06-23T12:06:54Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Dynamic Inference with Neural Interpreters [72.90231306252007]
  本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。 モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。 ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-12T23:22:45Z)
• Neural Operator: Learning Maps Between Function Spaces [75.93843876663128]
  本稿では,無限次元関数空間間を写像する演算子,いわゆるニューラル演算子を学習するためのニューラルネットワークの一般化を提案する。 提案したニューラル作用素に対して普遍近似定理を証明し、任意の非線形連続作用素を近似することができることを示す。 ニューラル作用素に対する重要な応用は、偏微分方程式の解作用素に対する代理写像を学習することである。
  論文  参考訳（メタデータ） (2021-08-19T03:56:49Z)
• Self-Organized Operational Neural Networks with Generative Neurons [87.32169414230822]
  ONNは、任意の非線型作用素をカプセル化できる一般化されたニューロンモデルを持つ異種ネットワークである。 我々は,各接続の結節演算子を適応(最適化)できる生成ニューロンを有する自己組織型ONN(Self-ONNs)を提案する。
  論文  参考訳（メタデータ） (2020-04-24T14:37:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。