論文の概要: PDE-based Group Equivariant Convolutional Neural Networks
- arxiv url: http://arxiv.org/abs/2001.09046v6
- Date: Mon, 30 May 2022 19:05:29 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-07 04:50:55.780798
- Title: PDE-based Group Equivariant Convolutional Neural Networks
- Title（参考訳）: PDEに基づくグループ同変畳み込みニューラルネットワーク
- Authors: Bart Smets, Jim Portegies, Erik Bekkers, Remco Duits
- Abstract要約: 群同変畳み込みニューラルネットワーク(G-CNN)を一般化したPDEに基づくフレームワークを提案する。
このフレームワークでは、ネットワーク層は、幾何学的に有意なPDE係数が層のトレーニング可能な重みとなるPDE解決器の集合と見なされる。
本稿では,深層学習に基づくイメージングアプリケーションの性能向上に向けたPDE-G-CNNの強みを示す実験を行う。
- 参考スコア（独自算出の注目度）: 1.949912057689623
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present a PDE-based framework that generalizes Group equivariant
Convolutional Neural Networks (G-CNNs). In this framework, a network layer is
seen as a set of PDE-solvers where geometrically meaningful PDE-coefficients
become the layer's trainable weights. Formulating our PDEs on homogeneous
spaces allows these networks to be designed with built-in symmetries such as
rotation in addition to the standard translation equivariance of CNNs.
Having all the desired symmetries included in the design obviates the need to
include them by means of costly techniques such as data augmentation. We will
discuss our PDE-based G-CNNs (PDE-G-CNNs) in a general homogeneous space
setting while also going into the specifics of our primary case of interest:
roto-translation equivariance.
We solve the PDE of interest by a combination of linear group convolutions
and non-linear morphological group convolutions with analytic kernel
approximations that we underpin with formal theorems. Our kernel approximations
allow for fast GPU-implementation of the PDE-solvers, we release our
implementation with this article in the form of the LieTorch extension to
PyTorch, available at https://gitlab.com/bsmetsjr/lietorch . Just like for
linear convolution a morphological convolution is specified by a kernel that we
train in our PDE-G-CNNs. In PDE-G-CNNs we do not use non-linearities such as
max/min-pooling and ReLUs as they are already subsumed by morphological
convolutions.
We present a set of experiments to demonstrate the strength of the proposed
PDE-G-CNNs in increasing the performance of deep learning based imaging
applications with far fewer parameters than traditional CNNs.
- Abstract（参考訳）: 本稿では,グループ同変畳み込みニューラルネットワーク(G-CNN)を一般化したPDEベースのフレームワークを提案する。
このフレームワークでは、ネットワーク層は、幾何学的に有意なPDE係数が層のトレーニング可能な重みとなるPDE解決器の集合と見なされる。
均質空間上でPDEを定式化することで、これらのネットワークはCNNの標準翻訳同値に加えて回転などの対称性を組み込んだ設計が可能となる。
設計に含まれているすべての所望の対称性を持つことで、データ拡張のようなコストのかかる技術によってそれらを含める必要がなくなる。
我々はPDEに基づくG-CNN(PDE-G-CNN)を一般の均一な空間設定で論じるとともに、関心の主事例であるロト翻訳同値(Roto-translation equivariance)の具体例についても検討する。
我々は、線形群畳み込みと非線形形態群畳み込みと解析的カーネル近似を組み合わせることで、形式的定理を基礎とする関心の PDE を解く。
私たちのカーネル近似は、PDE-solverの高速GPU実装を可能にします。この記事では、PyTorchへのLieTorch拡張の形で実装をリリースします。
線形畳み込みと同様に、形態的畳み込みは、PDE-G-CNNでトレーニングするカーネルによって指定される。
pde-g-cnnsでは、max/min-pooling や relus のような非線形性は使用しない。
提案するPDE-G-CNNの強みを実証する実験を行い,従来のCNNよりもはるかに少ないパラメータを持つディープラーニングベースイメージングアプリケーションの性能向上について述べる。
関連論文リスト
- RoPINN: Region Optimized Physics-Informed Neural Networks [66.38369833561039]
物理インフォームドニューラルネットワーク(PINN)は偏微分方程式(PDE)の解法として広く応用されている。
本稿では,地域最適化としての新たな訓練パラダイムを提案し,理論的に検討する。
実践的なトレーニングアルゴリズムであるRerea Optimized PINN(RoPINN)は、この新しいパラダイムからシームレスに派生している。
論文 参考訳（メタデータ） (2024-05-23T09:45:57Z) - PDE-CNNs: Axiomatic Derivations and Applications [0.1874930567916036]
Group Convolutional Neural Networks (PDE-G-CNNs) は、G-CNNの従来のコンポーネントの代用として、PDEを解く。
本稿では, ユークリッド同変 PDE-G-CNN に焦点をあてる。
我々は、PDE-CNNがより少ないパラメータを提供し、精度を向上し、CNNと比較してデータ効率が良くなる小さなネットワークを確認した。
論文 参考訳（メタデータ） (2024-03-22T13:11:26Z) - Geometric Generative Models based on Morphological Equivariant PDEs and GANs [3.6498648388765513]
群畳み込みニューラルネットワーク(G-CNN)のための等変偏微分方程式(PDE)に基づく幾何学的生成モデルを提案する。
提案手法は, PDE-G-CNNにおける形態的同変畳み込みを用いて, GM-GAN (Geological morphological GAN) を求める。
予備的な結果は、GM-GANモデルが古典的GANより優れていることを示している。
論文 参考訳（メタデータ） (2024-03-22T01:02:09Z) - Deep Equilibrium Based Neural Operators for Steady-State PDEs [100.88355782126098]
定常PDEに対する重み付けニューラルネットワークアーキテクチャの利点について検討する。
定常PDEの解を直接解くFNOアーキテクチャの深い平衡変種であるFNO-DEQを提案する。
論文 参考訳（メタデータ） (2023-11-30T22:34:57Z) - Lie Point Symmetry and Physics Informed Networks [59.56218517113066]
本稿では、損失関数を用いて、PINNモデルが基礎となるPDEを強制しようとするのと同じように、リー点対称性をネットワークに通知するロス関数を提案する。
我々の対称性の損失は、リー群の無限小生成元がPDE解を保存することを保証する。
実験により,PDEのリー点対称性による誘導バイアスはPINNの試料効率を大幅に向上させることが示された。
論文 参考訳（メタデータ） (2023-11-07T19:07:16Z) - MAgNet: Mesh Agnostic Neural PDE Solver [68.8204255655161]
気候予測は、流体シミュレーションにおける全ての乱流スケールを解決するために、微細な時間分解能を必要とする。
現在の数値モデル解法 PDEs on grids that too coarse (3km～200km on each side)
本研究では,空間的位置問合せが与えられたPDEの空間的連続解を予測する新しいアーキテクチャを設計する。
論文 参考訳（メタデータ） (2022-10-11T14:52:20Z) - Analysis of (sub-)Riemannian PDE-G-CNNs [1.9249287163937971]
グループ同変畳み込みニューラルネットワーク(G-CNN)は幾何学的深層学習に成功している。
これまでに提案した近似形態素カーネルが必ずしも正確なカーネルを正確に近似するとは限らないことを示す。
近似核のより優れた誤差推定を持つ新しい定理を提供し、それらがすべて正確なものと同じ反射対称性を持っていることを証明する。
論文 参考訳（メタデータ） (2022-10-03T13:47:47Z) - Lie Point Symmetry Data Augmentation for Neural PDE Solvers [69.72427135610106]
本稿では,ニューラルPDEソルバサンプルの複雑性を改善することにより,この問題を部分的に緩和する手法を提案する。
PDEの文脈では、データ変換の完全なリストを定量的に導き出せることが分かりました。
神経性PDEソルバサンプルの複雑さを桁違いに改善するために、どのように容易に展開できるかを示す。
論文 参考訳（メタデータ） (2022-02-15T18:43:17Z) - PDE-constrained Models with Neural Network Terms: Optimization and
Global Convergence [0.0]
近年の研究では、ディープラーニングを用いて、科学と工学における偏微分方程式(PDE)モデルを開発した。
ニューラルネットワークを用いた線形楕円型PDEの最適化について厳密に研究する。
ニューラルネットワークは,レイノルズ平均ナヴィエ・ストークス方程式の閉包モデルとして機能する流体力学への応用のために,ニューラルネットワークモデルを訓練する。
論文 参考訳（メタデータ） (2021-05-18T16:04:33Z) - dNNsolve: an efficient NN-based PDE solver [62.997667081978825]
ODE/PDEを解決するためにデュアルニューラルネットワークを利用するdNNsolveを紹介します。
我々は,dNNsolveが1,2,3次元の幅広いODE/PDEを解くことができることを示す。
論文 参考訳（メタデータ） (2021-03-15T19:14:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。