論文の概要: Principled Approaches for Extending Neural Architectures to Function Spaces for Operator Learning

• arxiv url: http://arxiv.org/abs/2506.10973v1
• Date: Thu, 12 Jun 2025 17:59:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-13 15:37:22.903585
• Title: Principled Approaches for Extending Neural Architectures to Function Spaces for Operator Learning
• Title（参考訳）: 演算子学習のための関数空間へのニューラルネットワークの拡張のための原理的アプローチ
• Authors: Julius Berner, Miguel Liu-Schiaffini, Jean Kossaifi, Valentin Duruisseaux, Boris Bonev, Kamyar Azizzadenesheli, Anima Anandkumar,
• Abstract要約: ディープラーニングは主にコンピュータビジョンと自然言語処理の応用を通じて進歩してきた。 ニューラル演算子は、関数空間間のマッピングにニューラルネットワークを一般化する原則的な方法である。 本稿では、無限次元関数空間間の写像の実践的な実装を構築するための鍵となる原理を同定し、蒸留する。
• 参考スコア（独自算出の注目度）: 78.88684753303794
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A wide range of scientific problems, such as those described by continuous-time dynamical systems and partial differential equations (PDEs), are naturally formulated on function spaces. While function spaces are typically infinite-dimensional, deep learning has predominantly advanced through applications in computer vision and natural language processing that focus on mappings between finite-dimensional spaces. Such fundamental disparities in the nature of the data have limited neural networks from achieving a comparable level of success in scientific applications as seen in other fields. Neural operators are a principled way to generalize neural networks to mappings between function spaces, offering a pathway to replicate deep learning's transformative impact on scientific problems. For instance, neural operators can learn solution operators for entire classes of PDEs, e.g., physical systems with different boundary conditions, coefficient functions, and geometries. A key factor in deep learning's success has been the careful engineering of neural architectures through extensive empirical testing. Translating these neural architectures into neural operators allows operator learning to enjoy these same empirical optimizations. However, prior neural operator architectures have often been introduced as standalone models, not directly derived as extensions of existing neural network architectures. In this paper, we identify and distill the key principles for constructing practical implementations of mappings between infinite-dimensional function spaces. Using these principles, we propose a recipe for converting several popular neural architectures into neural operators with minimal modifications. This paper aims to guide practitioners through this process and details the steps to make neural operators work in practice. Our code can be found at https://github.com/neuraloperator/NNs-to-NOs
• Abstract（参考訳）: 連続時間力学系や偏微分方程式(PDE)によって記述されるような幅広い科学的問題は、関数空間上で自然に定式化される。 関数空間は典型的には無限次元であるが、ディープラーニングは有限次元空間間の写像に焦点をあてるコンピュータビジョンや自然言語処理の応用を通じて、主に進歩してきた。 データの性質におけるこのような根本的な相違は、他の分野に見られるように、科学的応用において同等のレベルの成功を達成するために、ニューラルネットワークに制限がある。 ニューラルネットワークは、関数空間間のマッピングにニューラルネットワークを一般化する原則的な方法であり、ディープラーニングが科学的問題に与える影響を再現するための経路を提供する。 例えば、ニューラル作用素は、PDEのクラス全体の解演算子、例えば、異なる境界条件、係数関数、ジオメトリーを持つ物理系を学習することができる。 ディープラーニングの成功の重要な要因は、広範な経験的テストを通じて、ニューラルネットワークアーキテクチャの慎重なエンジニアリングである。 これらのニューラルアーキテクチャをニューラル演算子に翻訳することで、演算子学習は同じ経験的最適化を楽しむことができる。 しかしながら、従来のニューラルネットワークアーキテクチャは独立したモデルとして導入されることが多く、既存のニューラルネットワークアーキテクチャの拡張として直接派生するものではない。 本稿では、無限次元関数空間間の写像の実践的な実装を構築するための鍵となる原理を同定し、蒸留する。 これらの原理を用いて、いくつかの一般的なニューラルネットワークアーキテクチャを最小限の修正でニューラル演算子に変換するレシピを提案する。 本稿では,このプロセスを通じて実践者を指導することを目的として,神経オペレータを実際に動作させる手順を詳述する。 私たちのコードはhttps://github.com/neuraloperator/NNs-to-NOsにある。

関連論文リスト

• Embedding Capabilities of Neural ODEs [0.0]
  動的システム理論を用いたニューラルODEの入出力関係について検討する。 我々は,低次元および高次元の異なるニューラルODEアーキテクチャにおける写像の正確な埋め込みについて,いくつかの結果を証明した。
  論文  参考訳（メタデータ） (2023-08-02T15:16:34Z)
• Permutation Equivariant Neural Functionals [92.0667671999604]
  この研究は、他のニューラルネットワークの重みや勾配を処理できるニューラルネットワークの設計を研究する。 隠れた層状ニューロンには固有の順序がないため, 深いフィードフォワードネットワークの重みに生じる置換対称性に着目する。 実験の結果, 置換同変ニューラル関数は多種多様なタスクに対して有効であることがわかった。
  論文  参考訳（メタデータ） (2023-02-27T18:52:38Z)
• Efficient, probabilistic analysis of combinatorial neural codes [0.0]
  ニューラルネットワークは、個々のニューロンの活動の組み合わせの形で入力を符号化する。 これらのニューラルネットワークは、その高次元性としばしば大量のデータのため、計算上の課題を示す。 従来の手法を小さな例に適用し,実験によって生成された大きなニューラルコードに適用する。
  論文  参考訳（メタデータ） (2022-10-19T11:58:26Z)
• Neural Operator: Learning Maps Between Function Spaces [75.93843876663128]
  本稿では,無限次元関数空間間を写像する演算子,いわゆるニューラル演算子を学習するためのニューラルネットワークの一般化を提案する。 提案したニューラル作用素に対して普遍近似定理を証明し、任意の非線形連続作用素を近似することができることを示す。 ニューラル作用素に対する重要な応用は、偏微分方程式の解作用素に対する代理写像を学習することである。
  論文  参考訳（メタデータ） (2021-08-19T03:56:49Z)
• A deep learning theory for neural networks grounded in physics [2.132096006921048]
  ニューロモルフィックアーキテクチャ上で大規模で高速で効率的なニューラルネットワークを構築するには、それらを実装および訓練するためのアルゴリズムを再考する必要がある。 私たちのフレームワークは、非常に幅広いモデル、すなわち状態やダイナミクスが変動方程式によって記述されるシステムに適用されます。
  論文  参考訳（メタデータ） (2021-03-18T02:12:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。