論文の概要: Continuum Attention for Neural Operators

• arxiv url: http://arxiv.org/abs/2406.06486v1
• Date: Mon, 10 Jun 2024 17:25:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-11 12:29:56.389468
• Title: Continuum Attention for Neural Operators
• Title（参考訳）: ニューラル演算子の連続的注意
• Authors: Edoardo Calvello, Nikola B. Kovachki, Matthew E. Levine, Andrew M. Stuart,
• Abstract要約: 関数空間設定における変換器について検討する。 実際に実施される注意機構はモンテカルロあるいはこの作用素の有限差分近似であることを示す。 そのため、コンピュータビジョンからパッチ戦略の関数空間の一般化を導入し、関連するニューラル演算子のクラスを導入する。
• 参考スコア（独自算出の注目度）: 6.425471760071227
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transformers, and the attention mechanism in particular, have become ubiquitous in machine learning. Their success in modeling nonlocal, long-range correlations has led to their widespread adoption in natural language processing, computer vision, and time-series problems. Neural operators, which map spaces of functions into spaces of functions, are necessarily both nonlinear and nonlocal if they are universal; it is thus natural to ask whether the attention mechanism can be used in the design of neural operators. Motivated by this, we study transformers in the function space setting. We formulate attention as a map between infinite dimensional function spaces and prove that the attention mechanism as implemented in practice is a Monte Carlo or finite difference approximation of this operator. The function space formulation allows for the design of transformer neural operators, a class of architectures designed to learn mappings between function spaces, for which we prove a universal approximation result. The prohibitive cost of applying the attention operator to functions defined on multi-dimensional domains leads to the need for more efficient attention-based architectures. For this reason we also introduce a function space generalization of the patching strategy from computer vision, and introduce a class of associated neural operators. Numerical results, on an array of operator learning problems, demonstrate the promise of our approaches to function space formulations of attention and their use in neural operators.
• Abstract（参考訳）: トランスフォーマー、特に注意機構は、機械学習においてユビキタスになっている。 局所的でない長距離相関のモデル化の成功により、自然言語処理、コンピュータビジョン、時系列問題に広く採用されている。 関数の空間を関数の空間にマッピングするニューラル作用素は、普遍的である場合、必ずしも非線形かつ非局所的である。 これを動機として,関数空間設定における変圧器について検討する。 無限次元函数空間間の写像として注意を定式化し、実際に実施される注意機構が、この作用素のモンテカルロあるいは有限差分近似であることを示す。 関数空間の定式化は、関数空間間のマッピングを学習するために設計されたアーキテクチャのクラスであるトランスフォーマーニューラル演算子の設計を可能にする。 多次元領域上で定義された関数にアテンション演算子を適用することの禁止コストは、より効率的なアテンションベースアーキテクチャの必要性をもたらす。 このため、コンピュータビジョンからパッチ戦略の関数空間の一般化を導入し、関連するニューラル演算子のクラスを導入する。 演算子学習問題に対する数値計算の結果は,注意空間の定式化と,そのニューラルネットワークへの応用に対する我々のアプローチの可能性を実証するものである。

関連論文リスト

• Nonlocal Attention Operator: Materializing Hidden Knowledge Towards Interpretable Physics Discovery [25.75410883895742]
  非局所注意演算子(NAO)を作製するアテンション機構に基づく新しいニューラル演算子アーキテクチャを提案する。 NAOは正規化を符号化し、一般化性を達成することで、逆PDE問題における不備とランク不足に対処することができる。
  論文  参考訳（メタデータ） (2024-08-14T05:57:56Z)
• Positional Knowledge is All You Need: Position-induced Transformer (PiT) for Operator Learning [3.183339674210516]
  微分方程式の代理モデルとして,部分変換子に基づく演算子学習が急速に普及しつつある。 本稿では, 演算子学習において重要な利点を示す, 革新的な位置認識機構に基づく位置認識を提案する。 PiTは、広く使用されているニューラル演算子と比較して、離散化機能が強化されている。
  論文  参考訳（メタデータ） (2024-05-15T12:09:24Z)
• Neural Operators with Localized Integral and Differential Kernels [77.76991758980003]
  本稿では,2つのフレームワークで局所的な特徴をキャプチャできる演算子学習の原理的アプローチを提案する。 我々はCNNのカーネル値の適切なスケーリングの下で微分演算子を得ることを示す。 局所積分演算子を得るには、離散連続的畳み込みに基づくカーネルの適切な基底表現を利用する。
  論文  参考訳（メタデータ） (2024-02-26T18:59:31Z)
• Representation Equivalent Neural Operators: a Framework for Alias-free Operator Learning [11.11883703395469]
  この研究は、Representation equivalent Neural Operators (ReNO) フレームワークによるニューラル演算子に対する新たな取り組みを提供する。 中心となるのは演算子エイリアスの概念であり、これは神経演算子とその離散表現の不整合を測定する。 我々の研究結果は、異なる離散化やグリッドを扱う際にエイリアシングがエラーを発生させ、重要な連続構造が失われることについて詳述している。
  論文  参考訳（メタデータ） (2023-05-31T14:45:34Z)
• Neural Set Function Extensions: Learning with Discrete Functions in High Dimensions [63.21838830509772]
  集合関数を低次元連続領域に拡張するためのフレームワークを開発する。 我々のフレームワークは、よく知られた拡張を特殊ケースとして仮定する。 我々は低次元ニューラルネットワークボトルネックを高次元空間における表現に変換する。
  論文  参考訳（メタデータ） (2022-08-08T10:58:02Z)
• Learning Operators with Coupled Attention [9.715465024071333]
  本稿では,近年の注目機構の成功を動機とした,新しい演算子学習手法であるLOCAを提案する。 我々のアーキテクチャでは、入力関数は有限個の特徴にマッピングされ、その特徴は出力クエリの場所に依存する注意重みで平均化される。 これらの注意重みを積分変換と組み合わせることで、LOCAは目標出力関数の相関関係を明示的に学習することができる。
  論文  参考訳（メタデータ） (2022-01-04T08:22:03Z)
• Dynamic Inference with Neural Interpreters [72.90231306252007]
  本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。 モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。 ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-12T23:22:45Z)
• Neural Operator: Learning Maps Between Function Spaces [75.93843876663128]
  本稿では,無限次元関数空間間を写像する演算子,いわゆるニューラル演算子を学習するためのニューラルネットワークの一般化を提案する。 提案したニューラル作用素に対して普遍近似定理を証明し、任意の非線形連続作用素を近似することができることを示す。 ニューラル作用素に対する重要な応用は、偏微分方程式の解作用素に対する代理写像を学習することである。
  論文  参考訳（メタデータ） (2021-08-19T03:56:49Z)
• A Functional Perspective on Learning Symmetric Functions with Neural Networks [48.80300074254758]
  本研究では,測定値に基づいて定義されたニューラルネットワークの学習と表現について検討する。 正規化の異なる選択の下で近似と一般化境界を確立する。 得られたモデルは効率よく学習でき、入力サイズにまたがる一般化保証を享受できる。
  論文  参考訳（メタデータ） (2020-08-16T16:34:33Z)
• Space of Functions Computed by Deep-Layered Machines [74.13735716675987]
  深層ニューラルネットワークやブール回路を含むランダム層マシンによって計算される関数の空間について検討する。 繰り返しおよび層依存アーキテクチャ上で計算されたブール関数の分布を調べた結果、両方のモデルで同じであることが判明した。
  論文  参考訳（メタデータ） (2020-04-19T18:31:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。