論文の概要: Nonlocal Kernel Network (NKN): a Stable and Resolution-Independent Deep Neural Network

• arxiv url: http://arxiv.org/abs/2201.02217v1
• Date: Thu, 6 Jan 2022 19:19:35 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-10 14:25:38.829082
• Title: Nonlocal Kernel Network (NKN): a Stable and Resolution-Independent Deep Neural Network
• Title（参考訳）: 非局所カーネルネットワーク : 安定かつ分解能に依存しないディープニューラルネットワーク
• Authors: Huaiqian You, Yue Yu, Marta D'Elia, Tian Gao, Stewart Silling
• Abstract要約: 非ローカルカーネルネットワーク(NKN)は、ディープニューラルネットワークを特徴とする解像度独立である。 NKNは、支配方程式の学習や画像の分類など、さまざまなタスクを処理できる。
• 参考スコア（独自算出の注目度）: 23.465930256410722
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Neural operators have recently become popular tools for designing solution maps between function spaces in the form of neural networks. Differently from classical scientific machine learning approaches that learn parameters of a known partial differential equation (PDE) for a single instance of the input parameters at a fixed resolution, neural operators approximate the solution map of a family of PDEs. Despite their success, the uses of neural operators are so far restricted to relatively shallow neural networks and confined to learning hidden governing laws. In this work, we propose a novel nonlocal neural operator, which we refer to as nonlocal kernel network (NKN), that is resolution independent, characterized by deep neural networks, and capable of handling a variety of tasks such as learning governing equations and classifying images. Our NKN stems from the interpretation of the neural network as a discrete nonlocal diffusion reaction equation that, in the limit of infinite layers, is equivalent to a parabolic nonlocal equation, whose stability is analyzed via nonlocal vector calculus. The resemblance with integral forms of neural operators allows NKNs to capture long-range dependencies in the feature space, while the continuous treatment of node-to-node interactions makes NKNs resolution independent. The resemblance with neural ODEs, reinterpreted in a nonlocal sense, and the stable network dynamics between layers allow for generalization of NKN's optimal parameters from shallow to deep networks. This fact enables the use of shallow-to-deep initialization techniques. Our tests show that NKNs outperform baseline methods in both learning governing equations and image classification tasks and generalize well to different resolutions and depths.
• Abstract（参考訳）: ニューラルネットワークの形で関数空間間の解マップを設計するツールが最近人気になっている。 既知の偏微分方程式(PDE)のパラメータを、固定された解像度で入力パラメータの単一インスタンスに対して学習する古典的な科学機械学習アプローチとは異なり、ニューラル演算子は、PDEのファミリーの解写像を近似する。 その成功にもかかわらず、ニューラルネットワークの使用は比較的浅いニューラルネットワークに限定されており、隠された統治法を学ぶことに限定されている。 本研究では,非局所カーネルネットワーク(NKN)と呼ばれる,深層ニューラルネットワークを特徴とする分解能独立性を持ち,制御方程式の学習や画像の分類など,さまざまなタスクを処理可能な,新しい非局所ニューラルネットワークを提案する。 我々のNKNは、ニューラルネットワークを離散非局所拡散反応方程式として解釈し、無限層の極限において、その安定性は非局所ベクトル計算によって解析される放物型非局所方程式と等価である。 ニューラルネットワークの積分形式との類似性により、NKNは特徴空間における長距離依存関係をキャプチャし、ノード間相互作用の継続的な処理はNKNの分解を独立にすることができる。 非局所的な意味で再解釈されたニューラルodeと、層間の安定したネットワークダイナミクスにより、nknの最適パラメータを浅層から深層ネットワークへ一般化することができる。 この事実は浅層から深層への初期化技術の利用を可能にする。 実験の結果,NKNは制御方程式および画像分類タスクの学習において,基本的手法よりも優れ,解法や深度によく対応していることがわかった。

関連論文リスト

• HyResPINNs: Adaptive Hybrid Residual Networks for Learning Optimal Combinations of Neural and RBF Components for Physics-Informed Modeling [22.689531776611084]
  我々はHyResPINNと呼ばれる新しいPINNのクラスを提示する。 本手法の重要な特徴は,各残差ブロックに適応的な組み合わせパラメータを組み込むことである。 HyResPINNは従来のPINNよりも、ポイントロケーションやニューラルネットワークアーキテクチャのトレーニングに堅牢であることを示す。
  論文  参考訳（メタデータ） (2024-10-04T16:21:14Z)
• Novel Kernel Models and Exact Representor Theory for Neural Networks Beyond the Over-Parameterized Regime [52.00917519626559]
  本稿では、ニューラルネットワークの2つのモデルと、任意の幅、深さ、トポロジーのニューラルネットワークに適用可能なトレーニングについて述べる。 また、局所外在性神経核(LeNK)の観点から、非正規化勾配降下を伴う階層型ニューラルネットワークトレーニングのための正確な表現子理論を提示する。 この表現論は、ニューラルネットワークトレーニングにおける高次統計学の役割と、ニューラルネットワークのカーネルモデルにおけるカーネル進化の影響について洞察を与える。
  論文  参考訳（メタデータ） (2024-05-24T06:30:36Z)
• Deeper or Wider: A Perspective from Optimal Generalization Error with Sobolev Loss [2.07180164747172]
  より深いニューラルネットワーク(DeNN)と、柔軟な数のレイヤと、限られた隠れたレイヤを持つより広いニューラルネットワーク(WeNN)を比較します。 より多くのパラメータがWeNNを好む傾向にあるのに対し、サンプルポイントの増加と損失関数の規則性の向上は、DeNNの採用に傾いている。
  論文  参考訳（メタデータ） (2024-01-31T20:10:10Z)
• Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a Polynomial Net Study [55.12108376616355]
  NTKの研究は典型的なニューラルネットワークアーキテクチャに特化しているが、アダマール製品(NNs-Hp)を用いたニューラルネットワークには不完全である。 本研究では,ニューラルネットワークの特別なクラスであるNNs-Hpに対する有限幅Kの定式化を導出する。 我々は,カーネル回帰予測器と関連するNTKとの等価性を証明し,NTKの適用範囲を拡大する。
  論文  参考訳（メタデータ） (2022-09-16T06:36:06Z)
• Neural Operator: Learning Maps Between Function Spaces [75.93843876663128]
  本稿では,無限次元関数空間間を写像する演算子,いわゆるニューラル演算子を学習するためのニューラルネットワークの一般化を提案する。 提案したニューラル作用素に対して普遍近似定理を証明し、任意の非線形連続作用素を近似することができることを示す。 ニューラル作用素に対する重要な応用は、偏微分方程式の解作用素に対する代理写像を学習することである。
  論文  参考訳（メタデータ） (2021-08-19T03:56:49Z)
• Deep Kronecker neural networks: A general framework for neural networks with adaptive activation functions [4.932130498861987]
  我々は,適応的アクティベーション機能を持つニューラルネットワークの汎用フレームワークとして,新しいタイプのニューラルネットワークKronecker Neural Network(KNN)を提案する。 適切な条件下では、KNNはフィードフォワードネットワークによる損失よりも早く損失を減少させる。
  論文  参考訳（メタデータ） (2021-05-20T04:54:57Z)
• Local Extreme Learning Machines and Domain Decomposition for Solving Linear and Nonlinear Partial Differential Equations [0.0]
  本稿では線形偏微分方程式と非線形偏微分方程式の解法を提案する。 この手法は、極端学習機械(ELM)、ドメイン分解、局所ニューラルネットワークのアイデアを組み合わせたものである。 本稿では,DGM法(Deep Galerkin Method)とPINN(Physical-informed Neural Network)を精度と計算コストの観点から比較する。
  論文  参考訳（メタデータ） (2020-12-04T23:19:39Z)
• Exploiting Heterogeneity in Operational Neural Networks by Synaptic Plasticity [87.32169414230822]
  最近提案されたネットワークモデルであるオペレーショナルニューラルネットワーク(ONN)は、従来の畳み込みニューラルネットワーク(CNN)を一般化することができる。 本研究では, 生体ニューロンにおける本質的な学習理論を示すSynaptic Plasticityパラダイムに基づいて, ネットワークの隠蔽ニューロンに対する最強演算子集合の探索に焦点をあてる。 高難易度問題に対する実験結果から、神経細胞や層が少なくても、GISベースのONNよりも優れた学習性能が得られることが示された。
  論文  参考訳（メタデータ） (2020-08-21T19:03:23Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)
• Self-Organized Operational Neural Networks with Generative Neurons [87.32169414230822]
  ONNは、任意の非線型作用素をカプセル化できる一般化されたニューロンモデルを持つ異種ネットワークである。 我々は,各接続の結節演算子を適応(最適化)できる生成ニューロンを有する自己組織型ONN(Self-ONNs)を提案する。
  論文  参考訳（メタデータ） (2020-04-24T14:37:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。