論文の概要: Optimization for Neural Operators can Benefit from Width

• arxiv url: http://arxiv.org/abs/2502.00705v1
• Date: Sun, 02 Feb 2025 07:33:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 15:21:54.095285
• Title: Optimization for Neural Operators can Benefit from Width
• Title（参考訳）: ニューラルネットワーク演算子の幅の最適化
• Authors: Pedro Cisneros-Velarde, Bhavesh Shrimali, Arindam Banerjee,
• Abstract要約: 本稿では、勾配降下(GD)に基づく最適化のための統一的なフレームワークを提案し、それをDONとFNOの収束保証を確立するために適用する。 これらのニューラル演算子の損失は、GDによる損失値の減少を保証する2つの条件 – 強い凸性(RSC)と滑らか性 – を満たすことを示す。 この理論から生じる1つの利点は、より広いネットワークがDONとFNOの両方に対してより良い最適化収束をもたらすことである。
• 参考スコア（独自算出の注目度）: 8.21748652883484
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural Operators that directly learn mappings between function spaces, such as Deep Operator Networks (DONs) and Fourier Neural Operators (FNOs), have received considerable attention. Despite the universal approximation guarantees for DONs and FNOs, there is currently no optimization convergence guarantee for learning such networks using gradient descent (GD). In this paper, we address this open problem by presenting a unified framework for optimization based on GD and applying it to establish convergence guarantees for both DONs and FNOs. In particular, we show that the losses associated with both of these neural operators satisfy two conditions -- restricted strong convexity (RSC) and smoothness -- that guarantee a decrease on their loss values due to GD. Remarkably, these two conditions are satisfied for each neural operator due to different reasons associated with the architectural differences of the respective models. One takeaway that emerges from the theory is that wider networks should lead to better optimization convergence for both DONs and FNOs. We present empirical results on canonical operator learning problems to support our theoretical results.
• Abstract（参考訳）: ディープ・オペレーター・ネットワーク(DON)やフーリエ・ニューラル・オペレーター(FNO)といった関数空間間のマッピングを直接学習するニューラル・オペレータは注目されている。 DONとFNOの普遍的な近似保証にもかかわらず、勾配降下(GD)を用いてネットワークを学習する最適化収束保証は今のところ存在しない。 本稿では、GDに基づく最適化のための統一的なフレームワークを提示し、DONとFNOのコンバージェンス保証を確立することで、この問題に対処する。 特に、これらのニューラル演算子の損失は、GDによる損失値の減少を保証する2つの条件 – 強い凸性(RSC)と滑らか性 – を満たすことを示す。 注目すべきは、これらの2つの条件は、それぞれのモデルのアーキテクチャ上の違いに関連する異なる理由により、それぞれのニューラル演算子に対して満たされることである。 この理論から生じる1つの利点は、より広いネットワークがDONとFNOの両方に対してより良い最適化収束をもたらすことである。 理論的な結果を支援するために,正準演算子学習問題に関する実験結果を示す。

関連論文リスト

• Theory-to-Practice Gap for Neural Networks and Neural Operators [6.267574471145217]
  本稿では,ReLUニューラルネットワークとニューラル演算子を用いた学習のサンプリング複雑性について検討する。 ボヒナーの$Lp$-ノルムの最良の収束速度は、モンテカルロの1/p$の速度で束縛されていることを示す。
  論文  参考訳（メタデータ） (2025-03-23T21:45:58Z)
• Learn Sharp Interface Solution by Homotopy Dynamics [7.890817997914349]
  本稿では,物理インフォームドニューラルネットワーク(PINN)の学習における課題について考察する。 本稿では, PINN損失関数の最小化の難しさについて検討する。 NysNewton-CG(NysNewton-CG)を新たに導入し,PINNの性能を大幅に改善した。
  論文  参考訳（メタデータ） (2025-02-01T16:26:53Z)
• On the Convergence Analysis of Over-Parameterized Variational Autoencoders: A Neural Tangent Kernel Perspective [7.580900499231056]
  変分自動エンコーダ(VAE)は、生成タスクの強力な確率モデルとして登場した。 本稿では, 軽微な仮定の下でのVAEの数学的証明について述べる。 また、過剰に最適化されたSNNが直面する最適化問題と、カーネルリッジ(KRR)問題との新たな接続を確立する。
  論文  参考訳（メタデータ） (2024-09-09T06:10:31Z)
• Neural Parameter Regression for Explicit Representations of PDE Solution Operators [22.355460388065964]
  偏微分方程式(PDE)の解演算子を学習するための新しいフレームワークであるニューラル回帰(NPR)を導入する。 NPRは、ニューラルネットワーク(NN)パラメータを回帰するために、Physics-Informed Neural Network (PINN, Raissi et al., 2021) 技術を使用している。 このフレームワークは、新しい初期条件と境界条件に顕著な適応性を示し、高速な微調整と推論を可能にした。
  論文  参考訳（メタデータ） (2024-03-19T14:30:56Z)
• Neural Operators with Localized Integral and Differential Kernels [77.76991758980003]
  本稿では,2つのフレームワークで局所的な特徴をキャプチャできる演算子学習の原理的アプローチを提案する。 我々はCNNのカーネル値の適切なスケーリングの下で微分演算子を得ることを示す。 局所積分演算子を得るには、離散連続的畳み込みに基づくカーネルの適切な基底表現を利用する。
  論文  参考訳（メタデータ） (2024-02-26T18:59:31Z)
• GD doesn't make the cut: Three ways that non-differentiability affects neural network training [5.439020425819001]
  本稿では,非微分可能関数(NGDM)に適用される手法と,微分可能関数に対する古典的勾配降下(GD)との区別を批判的に検討する。 我々の研究は、強い仮定に対する過度な信頼から生まれた、影響力のある文学におけるアルゴリズムの批判的な誤解を識別する。
  論文  参考訳（メタデータ） (2024-01-16T15:11:29Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Neural Tangent Kernels Motivate Graph Neural Networks with Cross-Covariance Graphs [94.44374472696272]
  グラフニューラルネットワーク(GNN)の文脈におけるNTKとアライメントについて検討する。 その結果、2層GNNのアライメントの最適性に関する理論的保証が確立された。 これらの保証は、入力と出力データの相互共分散の関数であるグラフシフト演算子によって特徴づけられる。
  論文  参考訳（メタデータ） (2023-10-16T19:54:21Z)
• On the Disconnect Between Theory and Practice of Neural Networks: Limits of the NTK Perspective [9.753461673117362]
  ニューラル・タンジェント・カーネル(NTK)は、大規模ニューラルネットワークの振る舞いを記述する理論的枠組みとして注目されている。 カーネル体制への収束率の定量化の現在の結果は、これらの利点を利用するには、それらよりも桁違いに広いアーキテクチャが必要であることを示唆している。 本研究は,大規模建築物の実用的関連挙動を予測するための限界条件について検討する。
  論文  参考訳（メタデータ） (2023-09-29T20:51:24Z)
• Optimization Guarantees of Unfolded ISTA and ADMM Networks With Smooth Soft-Thresholding [57.71603937699949]
  我々は,学習エポックの数の増加とともに,ほぼゼロに近いトレーニング損失を達成するための最適化保証について検討した。 トレーニングサンプル数に対する閾値は,ネットワーク幅の増加とともに増加することを示す。
  論文  参考訳（メタデータ） (2023-09-12T13:03:47Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Factorized Fourier Neural Operators [77.47313102926017]
  Factorized Fourier Neural Operator (F-FNO) は偏微分方程式をシミュレートする学習法である。 我々は,数値解法よりも桁違いに高速に動作しながら,誤差率2%を維持していることを示す。
  論文  参考訳（メタデータ） (2021-11-27T03:34:13Z)
• Operational vs Convolutional Neural Networks for Image Denoising [25.838282412957675]
  畳み込みニューラルネットワーク(CNN)は近年,適応学習能力により画像デノナイズ技術として好まれている。 データ変換のコアに新たな非線形性を埋め込むための柔軟性を向上するヘテロジニアスネットワークモデルを提案する。 ONNとCNNの比較評価は、線形演算子に富んだONNが等価かつよく知られた深層構成のCNNに対して優れたノイズ発生性能を達成できるという決定的な証拠が得られる。
  論文  参考訳（メタデータ） (2020-09-01T12:15:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。