論文の概要: Neural Networks Asymptotic Behaviours for the Resolution of Inverse Problems

• arxiv url: http://arxiv.org/abs/2402.09338v2
• Date: Thu, 15 Feb 2024 12:07:13 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-16 12:06:04.917483
• Title: Neural Networks Asymptotic Behaviours for the Resolution of Inverse Problems
• Title（参考訳）: 逆問題の解消のためのニューラルネットワーク漸近的行動
• Authors: Luigi Del Debbio, Manuel Naviglio, Francesco Tarantelli
• Abstract要約: 本稿では,畳み込み逆問題に対するニューラルネットワーク(NN)手法の有効性について検討する。 NNのパラメータの非線形性を無視できるGaussian Processs(GP)に対応するNNの制限について検討する。 格子上のモンテカルロ法でシミュレートされた量子調和振動子の場合、デコンボリューション逆問題に対処する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper presents a study of the effectiveness of Neural Network (NN) techniques for deconvolution inverse problems relevant for applications in Quantum Field Theory, but also in more general contexts. We consider NN's asymptotic limits, corresponding to Gaussian Processes (GPs), where non-linearities in the parameters of the NN can be neglected. Using these resulting GPs, we address the deconvolution inverse problem in the case of a quantum harmonic oscillator simulated through Monte Carlo techniques on a lattice. In this simple toy model, the results of the inversion can be compared with the known analytical solution. Our findings indicate that solving the inverse problem with a NN yields less performing results than those obtained using the GPs derived from NN's asymptotic limits. Furthermore, we observe the trained NN's accuracy approaching that of GPs with increasing layer width. Notably, one of these GPs defies interpretation as a probabilistic model, offering a novel perspective compared to established methods in the literature. Our results suggest the need for detailed studies of the training dynamics in more realistic set-ups.
• Abstract（参考訳）: 本稿では,量子場理論だけでなく,より一般的な文脈においても,デコンボリューション逆問題に対するニューラルネットワーク(nn)手法の有効性について検討する。 NNの漸近的限界はガウス過程(GP)に対応しており、NNのパラメータの非線形性は無視できる。 これらの結果のGPを用いて、格子上のモンテカルロ法でシミュレートされた量子調和振動子の場合のデコンボリューション逆問題に対処する。 この単純な玩具モデルでは、反転の結果を既知の解析解と比較することができる。 以上の結果から,NNの漸近的限界から得られるGPよりも,逆問題に対するNNの解法は性能が低いことが示唆された。 さらに,層幅の増大とともにgpsに接近するnnの訓練精度も観察した。 特に、これらのGPの1つは確率モデルとしての解釈を否定し、文献の確立された方法と比較して新しい視点を提供する。 以上の結果から,より現実的なセットアップにおけるトレーニングダイナミクスの詳細な研究の必要性が示唆された。

関連論文リスト

• On the Convergence Analysis of Over-Parameterized Variational Autoencoders: A Neural Tangent Kernel Perspective [7.580900499231056]
  変分自動エンコーダ(VAE)は、生成タスクの強力な確率モデルとして登場した。 本稿では, 軽微な仮定の下でのVAEの数学的証明について述べる。 また、過剰に最適化されたSNNが直面する最適化問題と、カーネルリッジ(KRR)問題との新たな接続を確立する。
  論文  参考訳（メタデータ） (2024-09-09T06:10:31Z)
• General-Kindred Physics-Informed Neural Network to the Solutions of Singularly Perturbed Differential Equations [11.121415128908566]
  我々は,Singular Perturbation Differential Equations(SPDE)の解法として,GKPINN(General-Kindred Physics-Informed Neural Network)を提案する。 この手法は, 境界層の事前知識を方程式から利用し, 境界層を近似するPINNを支援する新しいネットワークを確立する。 GKPINNは,確立したPINN法と比較して,2～4桁の誤差を2～4桁に削減し,大幅な性能向上を実現している。
  論文  参考訳（メタデータ） (2024-08-27T02:03:22Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Deep Quantum Neural Networks are Gaussian Process [0.0]
  1/d$展開を用いて閉形式関係における有限幅の影響を調べる枠組みを提案する。 量子ニューラルタンジェントカーネル(QNTK)を特徴とするGPとそのパラメータ空間の等価性について解明する。
  論文  参考訳（メタデータ） (2023-05-22T03:07:43Z)
• Spherical Inducing Features for Orthogonally-Decoupled Gaussian Processes [7.4468224549568705]
  ガウス過程(GP)は、表現を学習する能力の欠如により、ディープニューラルネットワーク(NN)と比較されることがしばしばある。 GPとディープNNのギャップを埋める最近の試みは、新しいタイプのドメイン間変分GPを生み出し、誘導変数はフィードフォワードNNの隠れ単位に対応する。
  論文  参考訳（メタデータ） (2023-04-27T09:00:02Z)
• Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a Polynomial Net Study [55.12108376616355]
  NTKの研究は典型的なニューラルネットワークアーキテクチャに特化しているが、アダマール製品(NNs-Hp)を用いたニューラルネットワークには不完全である。 本研究では,ニューラルネットワークの特別なクラスであるNNs-Hpに対する有限幅Kの定式化を導出する。 我々は,カーネル回帰予測器と関連するNTKとの等価性を証明し,NTKの適用範囲を拡大する。
  論文  参考訳（メタデータ） (2022-09-16T06:36:06Z)
• Momentum Diminishes the Effect of Spectral Bias in Physics-Informed Neural Networks [72.09574528342732]
  物理インフォームドニューラルネットワーク(PINN)アルゴリズムは、偏微分方程式(PDE)を含む幅広い問題を解く上で有望な結果を示している。 彼らはしばしば、スペクトルバイアスと呼ばれる現象のために、ターゲット関数が高周波の特徴を含むとき、望ましい解に収束しない。 本研究は, 運動量による勾配降下下で進化するPINNのトレーニングダイナミクスを, NTK(Neural Tangent kernel)を用いて研究するものである。
  論文  参考訳（メタデータ） (2022-06-29T19:03:10Z)
• How Neural Networks Extrapolate: From Feedforward to Graph Neural Networks [80.55378250013496]
  勾配勾配降下法によりトレーニングされたニューラルネットワークが、トレーニング分布の支持の外で学んだことを外挿する方法について検討する。 グラフニューラルネットワーク(GNN)は、より複雑なタスクでいくつかの成功を収めている。
  論文  参考訳（メタデータ） (2020-09-24T17:48:59Z)
• Neural Networks and Quantum Field Theory [0.0]
  我々は、ウィルソン有効場理論の観点から、ニューラルネットワークの理論的理解を提案する。 この対応は、多くのニューラルネットワークがガウス過程から引き出されるという事実に依存している。
  論文  参考訳（メタデータ） (2020-08-19T18:00:06Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)
• Multipole Graph Neural Operator for Parametric Partial Differential Equations [57.90284928158383]
  物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。 線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。 実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
  論文  参考訳（メタデータ） (2020-06-16T21:56:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。