論文の概要: Globally injective and bijective neural operators

• arxiv url: http://arxiv.org/abs/2306.03982v1
• Date: Tue, 6 Jun 2023 19:35:09 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-08 17:18:06.468065
• Title: Globally injective and bijective neural operators
• Title（参考訳）: グローバル注入型および単射型ニューラル演算子
• Authors: Takashi Furuya, Michael Puthawala, Matti Lassas, Maarten V. de Hoop
• Abstract要約: ネットワークは本質的に無限次元の観点から関数空間間の演算子を学習することを示す。 本研究では,これらのネットワークで学習した演算子が射影的かつ全射的である場合の結果を示す。
• 参考スコア（独自算出の注目度）: 3.215443216699947
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently there has been great interest in operator learning, where networks learn operators between function spaces from an essentially infinite-dimensional perspective. In this work we present results for when the operators learned by these networks are injective and surjective. As a warmup, we combine prior work in both the finite-dimensional ReLU and operator learning setting by giving sharp conditions under which ReLU layers with linear neural operators are injective. We then consider the case the case when the activation function is pointwise bijective and obtain sufficient conditions for the layer to be injective. We remark that this question, while trivial in the finite-rank case, is subtler in the infinite-rank case and is proved using tools from Fredholm theory. Next, we prove that our supplied injective neural operators are universal approximators and that their implementation, with finite-rank neural networks, are still injective. This ensures that injectivity is not `lost' in the transcription from analytical operators to their finite-rank implementation with networks. Finally, we conclude with an increase in abstraction and consider general conditions when subnetworks, which may be many layers deep, are injective and surjective and provide an exact inversion from a `linearization.' This section uses general arguments from Fredholm theory and Leray-Schauder degree theory for non-linear integral equations to analyze the mapping properties of neural operators in function spaces. These results apply to subnetworks formed from the layers considered in this work, under natural conditions. We believe that our work has applications in Bayesian UQ where injectivity enables likelihood estimation and in inverse problems where surjectivity and injectivity corresponds to existence and uniqueness, respectively.
• Abstract（参考訳）: 近年、ネットワークは本質的に無限次元の観点から関数空間間の演算子を学習する演算子学習に大きな関心が寄せられている。 本研究では,これらのネットワークで学習した演算子が単射かつ全射的である場合の結果を示す。 ウォームアップとして、リニアニューラル演算子を持つReLU層が注入されるシャープ条件を与えることにより、有限次元ReLUと演算子学習設定の両方における先行作業を組み合わせる。 次に,活性化関数が単射である場合について考察し,その層が単射となるのに十分な条件を求める。 この問題は有限ランクの場合では自明であるが、無限ランクの場合では微妙であり、フレドホルム理論の道具を用いて証明される。 次に、供給されたインジェクティブニューラルネットワークが普遍近似であり、有限ランクニューラルネットワークによる実装が依然としてインジェクティブであることを証明する。 これにより、インジェクティビティは解析演算子からネットワークによる有限ランク実装への転写において 'lost' でないことが保証される。 最後に, 抽象化の増大と, 多くの層が深く, インジェクティブであり, サージェクティブであり, 「線形化」からの正確な逆転を与える部分ネットワークの一般的な条件について考察する。 「この節では、非線型積分方程式に対するフレドホルム理論とレイ・シャウダー次数論の一般論法を用いて、函数空間におけるニューラル作用素の写像特性を解析する。 これらの結果は、自然条件下で、この研究で考慮された層から形成されるサブネットに適用される。 我々の研究はベイジアンuqに応用され、インジェクティビティは可能性推定を可能にし、逆問題では全射性とインジェクティビティがそれぞれ存在と一意性に対応すると信じている。

関連論文リスト

• Operator Learning: Algorithms and Analysis [8.305111048568737]
  オペレータ学習(Operator learning)は、機械学習から、関数のバナッハ空間間の近似演算子へのアイデアの適用を指す。 このレビューは、有限次元ユークリッド空間上で定義される関数の近似におけるディープニューラルネットワークの成功に基づいて構築されたニューラル演算子に焦点を当てる。
  論文  参考訳（メタデータ） (2024-02-24T04:40:27Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
  線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。 ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
  論文  参考訳（メタデータ） (2023-04-17T14:23:43Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Theoretical Characterization of How Neural Network Pruning Affects its Generalization [131.1347309639727]
  この研究は、異なるプルーニング率がモデルの勾配降下ダイナミクスと一般化にどのように影響するかを研究する最初の試みである。 プルーニング率が一定の閾値以下である限り、勾配降下はトレーニング損失をゼロに導くことができる。 より驚くべきことに、プルーニング分数が大きくなるにつれて、一般化境界はより良くなる。
  論文  参考訳（メタデータ） (2023-01-01T03:10:45Z)
• Why Neural Networks Work [0.32228025627337864]
  完全接続型フィードフォワードニューラルネットワーク(FCNN)の多くの特性は、1対の操作の解析から説明可能であると論じる。 文献で論じられた現象がいかに拡大・スパーシフィケーションが説明できるかを示す。
  論文  参考訳（メタデータ） (2022-11-26T18:15:17Z)
• On the optimization and generalization of overparameterized implicit neural networks [25.237054775800164]
  機械学習コミュニティでは、暗黙のニューラルネットワークがますます魅力的になっている。 暗黙の層のみを訓練しても,グローバル収束が保証されることを示す。 本稿では,暗黙的ニューラルネットワークの一般化誤差について検討する。
  論文  参考訳（メタデータ） (2022-09-30T16:19:46Z)
• Neural Operator: Learning Maps Between Function Spaces [75.93843876663128]
  本稿では,無限次元関数空間間を写像する演算子,いわゆるニューラル演算子を学習するためのニューラルネットワークの一般化を提案する。 提案したニューラル作用素に対して普遍近似定理を証明し、任意の非線形連続作用素を近似することができることを示す。 ニューラル作用素に対する重要な応用は、偏微分方程式の解作用素に対する代理写像を学習することである。
  論文  参考訳（メタデータ） (2021-08-19T03:56:49Z)
• Globally Injective ReLU Networks [20.106755410331576]
  インジェクティビティは、推論を可能にする生成モデルにおいて重要な役割を果たす。 完全連結型および畳み込み型ReLU層およびネットワークのインジェクティビティを鋭く評価する。
  論文  参考訳（メタデータ） (2020-06-15T15:12:12Z)
• Self-Organized Operational Neural Networks with Generative Neurons [87.32169414230822]
  ONNは、任意の非線型作用素をカプセル化できる一般化されたニューロンモデルを持つ異種ネットワークである。 我々は,各接続の結節演算子を適応(最適化)できる生成ニューロンを有する自己組織型ONN(Self-ONNs)を提案する。
  論文  参考訳（メタデータ） (2020-04-24T14:37:56Z)
• A function space analysis of finite neural networks with insights from sampling theory [41.07083436560303]
  非拡張活性化関数を持つ多層ネットワークが生成する関数空間は滑らかであることを示す。 入力が帯域制限の仮定の下では、新しいエラー境界を提供する。 前者の利点を示す決定論的一様とランダムサンプリングの両方を解析した。
  論文  参考訳（メタデータ） (2020-04-15T10:25:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。