論文の概要: PDE constraints on smooth hierarchical functions computed by neural networks

• arxiv url: http://arxiv.org/abs/2005.08859v2
• Date: Fri, 13 Aug 2021 17:58:10 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-01 23:11:32.657806
• Title: PDE constraints on smooth hierarchical functions computed by neural networks
• Title（参考訳）: ニューラルネットワークによる滑らかな階層関数のPDE制約
• Authors: Khashayar Filom, Konrad Paul Kording, Roozbeh Farhoodi
• Abstract要約: ディープニューラルネットワーク理論における重要な問題は、表現性である。 フィードフォワードニューラルネットワークによって実装された実無限微分可能(滑らか)階層関数について検討する。 このようなPDE制約は、一旦適切な非特異性条件を伴って、考慮中の滑らかな関数をネットワークで表現できることを保証する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural networks are versatile tools for computation, having the ability to approximate a broad range of functions. An important problem in the theory of deep neural networks is expressivity; that is, we want to understand the functions that are computable by a given network. We study real infinitely differentiable (smooth) hierarchical functions implemented by feedforward neural networks via composing simpler functions in two cases: 1) each constituent function of the composition has fewer inputs than the resulting function; 2) constituent functions are in the more specific yet prevalent form of a non-linear univariate function (e.g. tanh) applied to a linear multivariate function. We establish that in each of these regimes there exist non-trivial algebraic partial differential equations (PDEs), which are satisfied by the computed functions. These PDEs are purely in terms of the partial derivatives and are dependent only on the topology of the network. For compositions of polynomial functions, the algebraic PDEs yield non-trivial equations (of degrees dependent only on the architecture) in the ambient polynomial space that are satisfied on the associated functional varieties. Conversely, we conjecture that such PDE constraints, once accompanied by appropriate non-singularity conditions and perhaps certain inequalities involving partial derivatives, guarantee that the smooth function under consideration can be represented by the network. The conjecture is verified in numerous examples including the case of tree architectures which are of neuroscientific interest. Our approach is a step toward formulating an algebraic description of functional spaces associated with specific neural networks, and may provide new, useful tools for constructing neural networks.
• Abstract（参考訳）: ニューラルネットワークは、幅広い関数を近似する能力を持つ、計算のための多用途なツールである。 ディープニューラルネットワークの理論における重要な問題は表現性である。つまり、与えられたネットワークによって計算可能な関数を理解したいのだ。 フィードフォワードニューラルネットワークによって実装された実無限微分可能(滑らかな)階層関数を,1) 合成の各構成関数が結果関数よりも入力が少ないこと,2) 構成関数は線形多変量関数に適用された非線形単変量関数(例: tanh)のより具体的であること,の2つのケースで検討する。 それぞれに非自明な代数偏微分方程式(PDE)が存在し、計算関数によって満たされることを示す。 これらのPDEは純粋に部分微分の項であり、ネットワークの位相にのみ依存する。 多項式函数の合成に対して、代数的 PDE は、関連する函数多様体で満たされる周囲多項式空間における非自明な方程式(アーキテクチャのみに依存する次数)を生成する。 逆に、そのようなPDE制約は、適切な非特異性条件とおそらく偏微分を含むある種の不等式を伴い、考慮中の滑らかな関数をネットワークで表現できることを予想する。 この予想は神経科学的な関心を持つ木アーキテクチャの事例を含む多くの例で検証されている。 このアプローチは、特定のニューラルネットワークに関連する関数空間の代数的記述を定式化するためのステップであり、ニューラルネットワークを構築するための新しい有用なツールを提供するかもしれない。

関連論文リスト

• DimOL: Dimensional Awareness as A New 'Dimension' in Operator Learning [63.5925701087252]
  本稿では,DimOL(Dimension-aware Operator Learning)を紹介し,次元解析から洞察を得る。 DimOLを実装するために,FNOおよびTransformerベースのPDEソルバにシームレスに統合可能なProdLayerを提案する。 経験的に、DimOLモデルはPDEデータセット内で最大48%のパフォーマンス向上を達成する。
  論文  参考訳（メタデータ） (2024-10-08T10:48:50Z)
• Polynomial-Augmented Neural Networks (PANNs) with Weak Orthogonality Constraints for Enhanced Function and PDE Approximation [22.689531776611084]
  現在拡張されたニューラルネットワーク(PANN) 本稿では、ディープニューラルネットワーク(DNN)と近似を組み合わせた新しい機械学習アーキテクチャを提案する。
  論文  参考訳（メタデータ） (2024-06-04T14:06:15Z)
• Structure of universal formulas [13.794391803767617]
  本稿では,大域近似特性と無限VC次元の弱い性質を結合するクラス階層を導入する。 活性化するニューロンの層が1つ以上ある固定サイズニューラルネットワークは任意の有限集合上の関数を近似できないことを示す。 任意の有限集合上の関数を近似する2層ニューラルネットワークを含む関数族を例に挙げるが、定義領域全体においてそれを行うことができない。
  論文  参考訳（メタデータ） (2023-11-07T11:50:25Z)
• Data-driven discovery of Green's functions [0.0]
  この論文は、線形偏微分方程式に関連するグリーン関数を学習するための理論的結果とディープラーニングアルゴリズムを導入している。 この構成は、PDE学習と数値線型代数の分野を結びつける。 レーショナルニューラルネットワーク(NN)は、トレーニング可能な有理活性化機能を持つニューラルネットワークによって導入され、構成されている。
  論文  参考訳（メタデータ） (2022-10-28T09:41:50Z)
• Learning differentiable solvers for systems with hard constraints [48.54197776363251]
  ニューラルネットワーク(NN)によって定義される関数に対する偏微分方程式(PDE)制約を強制する実践的手法を提案する。 我々は、任意のNNアーキテクチャに組み込むことができる微分可能なPDE制約層を開発した。 その結果、NNアーキテクチャに直接ハード制約を組み込むことで、制約のない目的のトレーニングに比べてテストエラーがはるかに少ないことがわかった。
  論文  参考訳（メタデータ） (2022-07-18T15:11:43Z)
• Message Passing Neural PDE Solvers [60.77761603258397]
  我々は、バックプロップ最適化されたニューラル関数近似器で、グラフのアリーデザインのコンポーネントを置き換えるニューラルメッセージパッシング解決器を構築した。 本稿では, 有限差分, 有限体積, WENOスキームなどの古典的手法を表現的に含んでいることを示す。 本研究では, 異なる領域のトポロジ, 方程式パラメータ, 離散化などにおける高速, 安定, 高精度な性能を, 1次元, 2次元で検証する。
  論文  参考訳（メタデータ） (2022-02-07T17:47:46Z)
• Neural Operator: Learning Maps Between Function Spaces [75.93843876663128]
  本稿では,無限次元関数空間間を写像する演算子,いわゆるニューラル演算子を学習するためのニューラルネットワークの一般化を提案する。 提案したニューラル作用素に対して普遍近似定理を証明し、任意の非線形連続作用素を近似することができることを示す。 ニューラル作用素に対する重要な応用は、偏微分方程式の解作用素に対する代理写像を学習することである。
  論文  参考訳（メタデータ） (2021-08-19T03:56:49Z)
• Neural Network Approximation of Refinable Functions [8.323468006516018]
  本研究では, 深部ReLUネットワークの出力幅が一定であり, 精度指数で深部を増大させることにより, 精錬可能関数が近似可能であることを示す。 本研究は,ウェーブレットの標準構成に使用される関数と,コンピュータ支援幾何設計における部分分割アルゴリズムを用いて構築される関数に適用する。
  論文  参考訳（メタデータ） (2021-07-28T06:45:36Z)
• Neural Network Approximations of Compositional Functions With Applications to Dynamical Systems [3.660098145214465]
  我々は,合成関数とそのニューラルネットワーク近似の近似理論を開発した。 構成関数の重要な特徴の集合と,ニューラルネットワークの特徴と複雑性の関係を同定する。 関数近似に加えて、ニューラルネットワークの誤差上限の式もいくつか証明する。
  論文  参考訳（メタデータ） (2020-12-03T04:40:25Z)
• Multipole Graph Neural Operator for Parametric Partial Differential Equations [57.90284928158383]
  物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。 線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。 実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
  論文  参考訳（メタデータ） (2020-06-16T21:56:22Z)
• Neural Operator: Graph Kernel Network for Partial Differential Equations [57.90284928158383]
  この作業はニューラルネットワークを一般化し、無限次元空間(演算子)間の写像を学習できるようにすることである。 非線形活性化関数と積分作用素のクラスを構成することにより、無限次元写像の近似を定式化する。 実験により,提案したグラフカーネルネットワークには所望の特性があり,最先端技術と比較した場合の競合性能を示すことが確認された。
  論文  参考訳（メタデータ） (2020-03-07T01:56:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。