論文の概要: Spectral-Bias and Kernel-Task Alignment in Physically Informed Neural Networks

• arxiv url: http://arxiv.org/abs/2307.06362v2
• Date: Thu, 5 Oct 2023 18:00:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-13 05:41:47.218471
• Title: Spectral-Bias and Kernel-Task Alignment in Physically Informed Neural Networks
• Title（参考訳）: 物理インフォームドニューラルネットワークにおけるスペクトルバイアスとカーネルタスクアライメント
• Authors: Inbar Seroussi, Asaf Miron and Zohar Ringel
• Abstract要約: 物理情報ニューラルネットワーク(PINN)は微分方程式の解法として有望である。 この重要な問題に光を当てる包括的な理論的枠組みを提案する。 我々は、PINN予測を大容量データセット限界で支配する積分微分方程式を導出する。
• 参考スコア（独自算出の注目度）: 4.604003661048267
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Physically informed neural networks (PINNs) are a promising emerging method for solving differential equations. As in many other deep learning approaches, the choice of PINN design and training protocol requires careful craftsmanship. Here, we suggest a comprehensive theoretical framework that sheds light on this important problem. Leveraging an equivalence between infinitely over-parameterized neural networks and Gaussian process regression (GPR), we derive an integro-differential equation that governs PINN prediction in the large data-set limit -- the neurally-informed equation. This equation augments the original one by a kernel term reflecting architecture choices and allows quantifying implicit bias induced by the network via a spectral decomposition of the source term in the original differential equation.
• Abstract（参考訳）: 物理情報ニューラルネットワーク(PINN)は微分方程式の解法として有望である。 他の多くのディープラーニングアプローチと同様に、pinn設計とトレーニングプロトコルの選択には慎重なクラフトマンシップが必要です。 ここでは,この課題を浮き彫りにする包括的理論的枠組みを提案する。 無限にパラメータ化されたニューラルネットワークとガウス過程回帰(gpr)の等価性を利用して、大きなデータセットの限界 -- ニューラルネットワークが生成する方程式 -- でピン予測を制御する積分微分方程式を導出する。 この方程式は、アーキテクチャの選択を反映するカーネル項によって元の項を拡大し、元の微分方程式の原項のスペクトル分解を通じてネットワークによって誘導される暗黙のバイアスを定量化する。

関連論文リスト

• Chebyshev Spectral Neural Networks for Solving Partial Differential Equations [0.0]
  この研究は、フィードフォワードニューラルネットワークモデルとエラーバックプロパゲーション原理を用いて、損失関数の計算に自動微分(AD)を利用する。 楕円偏微分方程式を用いて,CSNNモデルの数値効率と精度について検討し,よく知られた物理インフォームドニューラルネットワーク(PINN)法と比較した。
  論文  参考訳（メタデータ） (2024-06-06T05:31:45Z)
• Novel Kernel Models and Exact Representor Theory for Neural Networks Beyond the Over-Parameterized Regime [52.00917519626559]
  本稿では、ニューラルネットワークの2つのモデルと、任意の幅、深さ、トポロジーのニューラルネットワークに適用可能なトレーニングについて述べる。 また、局所外在性神経核(LeNK)の観点から、非正規化勾配降下を伴う階層型ニューラルネットワークトレーニングのための正確な表現子理論を提示する。 この表現論は、ニューラルネットワークトレーニングにおける高次統計学の役割と、ニューラルネットワークのカーネルモデルにおけるカーネル進化の影響について洞察を与える。
  論文  参考訳（メタデータ） (2024-05-24T06:30:36Z)
• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• PMNN:Physical Model-driven Neural Network for solving time-fractional differential equations [17.66402435033991]
  時間差分方程式を解くために, 革新的物理モデル駆動ニューラルネットワーク (PMNN) 法を提案する。 ディープニューラルネットワーク(DNN)と分数微分の近似を効果的に組み合わせる。
  論文  参考訳（メタデータ） (2023-10-07T12:43:32Z)
• Imbedding Deep Neural Networks [0.0]
  ニューラルODEのような連続深度ニューラルネットワークは、非線形ベクトル値の最適制御問題の観点から、残留ニューラルネットワークの理解を再燃させた。 本稿では,ネットワークの深さを基本変数とする新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-01-31T22:00:41Z)
• Training Feedback Spiking Neural Networks by Implicit Differentiation on the Equilibrium State [66.2457134675891]
  スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。 既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。 本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-09-29T07:46:54Z)
• Conditional physics informed neural networks [85.48030573849712]
  固有値問題のクラス解を推定するための条件付きPINN(物理情報ニューラルネットワーク)を紹介します。 一つのディープニューラルネットワークが、問題全体に対する偏微分方程式の解を学習できることが示される。
  論文  参考訳（メタデータ） (2021-04-06T18:29:14Z)
• Partial Differential Equations is All You Need for Generating Neural Architectures -- A Theory for Physical Artificial Intelligence Systems [40.20472268839781]
  我々は、統計物理学における反応拡散方程式、量子力学におけるシュル・オーディンガー方程式、同軸光学におけるヘルムホルツ方程式を一般化する。 数値解を求めるためにNPDEを離散化するために有限差分法を用いる。 多層パーセプトロン、畳み込みニューラルネットワーク、リカレントニューラルネットワークなど、ディープニューラルネットワークアーキテクチャの基本構築ブロックが生成される。
  論文  参考訳（メタデータ） (2021-03-10T00:05:46Z)
• SPINN: Sparse, Physics-based, and Interpretable Neural Networks for PDEs [0.0]
  Sparse, Physics-based, and Interpretable Neural Networks (SPINN) のクラスを導入し,一般微分方程式と部分微分方程式を解く。 従来のPDEのソリューションのメッシュレス表現を特別なスパースディープニューラルネットワークとして再解釈することにより、解釈可能なスパースニューラルネットワークアーキテクチャのクラスを開発する。
  論文  参考訳（メタデータ） (2021-02-25T17:45:50Z)
• Finite Versus Infinite Neural Networks: an Empirical Study [69.07049353209463]
  カーネルメソッドは、完全に接続された有限幅ネットワークより優れている。 中心とアンサンブルの有限ネットワークは後続のばらつきを減らした。 重みの減衰と大きな学習率の使用は、有限ネットワークと無限ネットワークの対応を破る。
  論文  参考訳（メタデータ） (2020-07-31T01:57:47Z)
• Multipole Graph Neural Operator for Parametric Partial Differential Equations [57.90284928158383]
  物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。 線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。 実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
  論文  参考訳（メタデータ） (2020-06-16T21:56:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。