論文の概要: Optimization for Neural Operators can Benefit from Width

• arxiv url: http://arxiv.org/abs/2502.00705v1
• Date: Sun, 02 Feb 2025 07:33:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 14:53:42.187373
• Title: Optimization for Neural Operators can Benefit from Width
• Title（参考訳）: ニューラルネットワーク演算子の幅の最適化
• Authors: Pedro Cisneros-Velarde, Bhavesh Shrimali, Arindam Banerjee,
• Abstract要約: 本稿では、勾配降下(GD)に基づく最適化のための統一的なフレームワークを提案し、それをDONとFNOの収束保証を確立するために適用する。 これらのニューラル演算子の損失は、GDによる損失値の減少を保証する2つの条件 – 強い凸性(RSC)と滑らか性 – を満たすことを示す。 この理論から生じる1つの利点は、より広いネットワークがDONとFNOの両方に対してより良い最適化収束をもたらすことである。
• 参考スコア（独自算出の注目度）: 8.21748652883484
• License:
• Abstract: Neural Operators that directly learn mappings between function spaces, such as Deep Operator Networks (DONs) and Fourier Neural Operators (FNOs), have received considerable attention. Despite the universal approximation guarantees for DONs and FNOs, there is currently no optimization convergence guarantee for learning such networks using gradient descent (GD). In this paper, we address this open problem by presenting a unified framework for optimization based on GD and applying it to establish convergence guarantees for both DONs and FNOs. In particular, we show that the losses associated with both of these neural operators satisfy two conditions -- restricted strong convexity (RSC) and smoothness -- that guarantee a decrease on their loss values due to GD. Remarkably, these two conditions are satisfied for each neural operator due to different reasons associated with the architectural differences of the respective models. One takeaway that emerges from the theory is that wider networks should lead to better optimization convergence for both DONs and FNOs. We present empirical results on canonical operator learning problems to support our theoretical results.
• Abstract（参考訳）: ディープ・オペレーター・ネットワーク(DON)やフーリエ・ニューラル・オペレーター(FNO)といった関数空間間のマッピングを直接学習するニューラル・オペレータは注目されている。 DONとFNOの普遍的な近似保証にもかかわらず、勾配降下(GD)を用いてネットワークを学習する最適化収束保証は今のところ存在しない。 本稿では、GDに基づく最適化のための統一的なフレームワークを提示し、DONとFNOのコンバージェンス保証を確立することで、この問題に対処する。 特に、これらのニューラル演算子の損失は、GDによる損失値の減少を保証する2つの条件 – 強い凸性(RSC)と滑らか性 – を満たすことを示す。 注目すべきは、これらの2つの条件は、それぞれのモデルのアーキテクチャ上の違いに関連する異なる理由により、それぞれのニューラル演算子に対して満たされることである。 この理論から生じる1つの利点は、より広いネットワークがDONとFNOの両方に対してより良い最適化収束をもたらすことである。 理論的な結果を支援するために,正準演算子学習問題に関する実験結果を示す。

関連論文リスト

• On the Convergence Analysis of Over-Parameterized Variational Autoencoders: A Neural Tangent Kernel Perspective [7.580900499231056]
  変分自動エンコーダ(VAE)は、生成タスクの強力な確率モデルとして登場した。 本稿では, 軽微な仮定の下でのVAEの数学的証明について述べる。 また、過剰に最適化されたSNNが直面する最適化問題と、カーネルリッジ(KRR)問題との新たな接続を確立する。
  論文  参考訳（メタデータ） (2024-09-09T06:10:31Z)
• Neural Parameter Regression for Explicit Representations of PDE Solution Operators [22.355460388065964]
  偏微分方程式(PDE)の解演算子を学習するための新しいフレームワークであるニューラル回帰(NPR)を導入する。 NPRは、ニューラルネットワーク(NN)パラメータを回帰するために、Physics-Informed Neural Network (PINN, Raissi et al., 2021) 技術を使用している。 このフレームワークは、新しい初期条件と境界条件に顕著な適応性を示し、高速な微調整と推論を可能にした。
  論文  参考訳（メタデータ） (2024-03-19T14:30:56Z)
• Neural Operators with Localized Integral and Differential Kernels [77.76991758980003]
  本稿では,2つのフレームワークで局所的な特徴をキャプチャできる演算子学習の原理的アプローチを提案する。 我々はCNNのカーネル値の適切なスケーリングの下で微分演算子を得ることを示す。 局所積分演算子を得るには、離散連続的畳み込みに基づくカーネルの適切な基底表現を利用する。
  論文  参考訳（メタデータ） (2024-02-26T18:59:31Z)
• GD doesn't make the cut: Three ways that non-differentiability affects neural network training [5.439020425819001]
  本稿では,非微分可能関数(NGDM)に適用される手法と,微分可能関数に対する古典的勾配降下(GD)との区別を批判的に検討する。 我々の研究は、強い仮定に対する過度な信頼から生まれた、影響力のある文学におけるアルゴリズムの批判的な誤解を識別する。
  論文  参考訳（メタデータ） (2024-01-16T15:11:29Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Neural Tangent Kernels Motivate Graph Neural Networks with Cross-Covariance Graphs [94.44374472696272]
  グラフニューラルネットワーク(GNN)の文脈におけるNTKとアライメントについて検討する。 その結果、2層GNNのアライメントの最適性に関する理論的保証が確立された。 これらの保証は、入力と出力データの相互共分散の関数であるグラフシフト演算子によって特徴づけられる。
  論文  参考訳（メタデータ） (2023-10-16T19:54:21Z)
• Optimization Guarantees of Unfolded ISTA and ADMM Networks With Smooth Soft-Thresholding [57.71603937699949]
  我々は,学習エポックの数の増加とともに,ほぼゼロに近いトレーニング損失を達成するための最適化保証について検討した。 トレーニングサンプル数に対する閾値は,ネットワーク幅の増加とともに増加することを示す。
  論文  参考訳（メタデータ） (2023-09-12T13:03:47Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Factorized Fourier Neural Operators [77.47313102926017]
  Factorized Fourier Neural Operator (F-FNO) は偏微分方程式をシミュレートする学習法である。 我々は,数値解法よりも桁違いに高速に動作しながら,誤差率2%を維持していることを示す。
  論文  参考訳（メタデータ） (2021-11-27T03:34:13Z)
• A Dynamical View on Optimization Algorithms of Overparameterized Neural Networks [23.038631072178735]
  我々は、一般的に使用される最適化アルゴリズムの幅広いクラスについて考察する。 その結果、ニューラルネットワークの収束挙動を利用することができる。 このアプローチは他の最適化アルゴリズムやネットワーク理論にも拡張できると考えています。
  論文  参考訳（メタデータ） (2020-10-25T17:10:22Z)
• Operational vs Convolutional Neural Networks for Image Denoising [25.838282412957675]
  畳み込みニューラルネットワーク(CNN)は近年,適応学習能力により画像デノナイズ技術として好まれている。 データ変換のコアに新たな非線形性を埋め込むための柔軟性を向上するヘテロジニアスネットワークモデルを提案する。 ONNとCNNの比較評価は、線形演算子に富んだONNが等価かつよく知られた深層構成のCNNに対して優れたノイズ発生性能を達成できるという決定的な証拠が得られる。
  論文  参考訳（メタデータ） (2020-09-01T12:15:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。