論文の概要: Designing Rotationally Invariant Neural Networks from PDEs and Variational Methods

• arxiv url: http://arxiv.org/abs/2108.13993v1
• Date: Tue, 31 Aug 2021 17:34:40 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-01 14:19:00.229648
• Title: Designing Rotationally Invariant Neural Networks from PDEs and Variational Methods
• Title（参考訳）: PDEと変分法による回転不変ニューラルネットワークの設計
• Authors: Tobias Alt, Karl Schrader, Joachim Weickert, Pascal Peter, Matthias Augustin
• Abstract要約: 拡散モデルと変動モデルが回転不変性をどのように達成し、これらのアイデアをニューラルネットワークに転送するかを検討する。 本稿では,複数の指向フィルタからの情報を組み合わせることで,ネットワークチャネルを結合するアクティベーション機能を提案する。 本研究は,拡散モデルと変分モデルを数学的に精細なネットワークアーキテクチャに変換し,モデルベースCNN設計のための新しい概念を提供するのに役立つ。
• 参考スコア（独自算出の注目度）: 8.660429288575367
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Partial differential equation (PDE) models and their associated variational energy formulations are often rotationally invariant by design. This ensures that a rotation of the input results in a corresponding rotation of the output, which is desirable in applications such as image analysis. Convolutional neural networks (CNNs) do not share this property, and existing remedies are often complex. The goal of our paper is to investigate how diffusion and variational models achieve rotation invariance and transfer these ideas to neural networks. As a core novelty we propose activation functions which couple network channels by combining information from several oriented filters. This guarantees rotation invariance within the basic building blocks of the networks while still allowing for directional filtering. The resulting neural architectures are inherently rotationally invariant. With only a few small filters, they can achieve the same invariance as existing techniques which require a fine-grained sampling of orientations. Our findings help to translate diffusion and variational models into mathematically well-founded network architectures, and provide novel concepts for model-based CNN design.
• Abstract（参考訳）: 偏微分方程式(PDE)モデルとその関連する変動エネルギーの定式化は、しばしば設計によって回転不変である。 これにより、入力の回転が対応する出力の回転をもたらすことが保証され、画像解析のようなアプリケーションで望ましい。 畳み込みニューラルネットワーク(CNN)はこの性質を共有しておらず、既存の治療法はしばしば複雑である。 本研究の目的は,拡散モデルと変動モデルが回転不変性を実現し,これらのアイデアをニューラルネットワークに伝達する方法を検討することである。 コアノベルティとして、複数の指向フィルタの情報を組み合わせてネットワークチャネルを結合するアクティベーション関数を提案する。 これにより、ネットワークの基本構造ブロック内での回転不変性が保証され、なおも方向フィルタリングが可能である。 結果として生じる神経構造は本質的に回転不変である。 少数の小さなフィルタで、方向の細かなサンプリングを必要とする既存の技術と同じ不変性を達成することができる。 本研究は,拡散モデルと変分モデルを数学的に確立されたネットワークアーキテクチャに変換し,モデルベースCNN設計のための新しい概念を提供するのに役立つ。

関連論文リスト

• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Non Commutative Convolutional Signal Models in Neural Networks: Stability to Small Deformations [111.27636893711055]
  非可換畳み込みフィルタのフィルタ特性と安定性について検討する。 この結果は,グループニューラルネットワーク,マルチグラフニューラルネットワーク,四元系ニューラルネットワークに直接影響する。
  論文  参考訳（メタデータ） (2023-10-05T20:27:22Z)
• Affine-Transformation-Invariant Image Classification by Differentiable Arithmetic Distribution Module [8.125023712173686]
  畳み込みニューラルネットワーク(CNN)は画像分類において有望な結果を得た。 CNNは回転、翻訳、フリップ、シャッフルなどのアフィン変換に弱い。 本研究では,分散学習手法を取り入れた,より堅牢な代替手法を提案する。
  論文  参考訳（メタデータ） (2023-09-01T22:31:32Z)
• Deep Neural Networks with Efficient Guaranteed Invariances [77.99182201815763]
  我々は、性能改善の問題、特にディープニューラルネットワークのサンプル複雑性に対処する。 群同変畳み込みは同変表現を得るための一般的なアプローチである。 本稿では,各ストリームが異なる変換に不変なマルチストリームアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-03-02T20:44:45Z)
• Permutation Equivariant Neural Functionals [92.0667671999604]
  この研究は、他のニューラルネットワークの重みや勾配を処理できるニューラルネットワークの設計を研究する。 隠れた層状ニューロンには固有の順序がないため, 深いフィードフォワードネットワークの重みに生じる置換対称性に着目する。 実験の結果, 置換同変ニューラル関数は多種多様なタスクに対して有効であることがわかった。
  論文  参考訳（メタデータ） (2023-02-27T18:52:38Z)
• Spatial Attention Kinetic Networks with E(n)-Equivariance [0.951828574518325]
  回転、翻訳、反射、n次元幾何学空間上の置換と等価なニューラルネットワークは、物理モデリングにおいて有望であることを示している。 本稿では, エッジベクトルの線形結合をニューラルネットワークでパラメトリケートし, 等価性を実現するための, 簡易な代替関数形式を提案する。 E(n)-等価性を持つ空間的注意運動ネットワーク(SAKE)を設計する。
  論文  参考訳（メタデータ） (2023-01-21T05:14:29Z)
• Improving the Sample-Complexity of Deep Classification Networks with Invariant Integration [77.99182201815763]
  変換によるクラス内分散に関する事前知識を活用することは、ディープニューラルネットワークのサンプル複雑性を改善するための強力な方法である。 そこで本研究では,アプリケーションの複雑な問題に対処するために,プルーニング法に基づく新しい単項選択アルゴリズムを提案する。 本稿では,Rotated-MNIST,SVHN,CIFAR-10データセットにおけるサンプルの複雑さの改善について述べる。
  論文  参考訳（メタデータ） (2022-02-08T16:16:11Z)
• Revisiting Transformation Invariant Geometric Deep Learning: Are Initial Representations All You Need? [80.86819657126041]
  変換不変および距離保存初期表現は変換不変性を達成するのに十分であることを示す。 具体的には、多次元スケーリングを変更することで、変換不変かつ距離保存された初期点表現を実現する。 我々は、TinvNNが変換不変性を厳密に保証し、既存のニューラルネットワークと組み合わせられるほど汎用的で柔軟なことを証明した。
  論文  参考訳（メタデータ） (2021-12-23T03:52:33Z)
• Implicit Equivariance in Convolutional Networks [1.911678487931003]
  IEN(Implicitly Equivariant Networks)は標準CNNモデルの異なる層で同変を誘導する。 IENは、高速な推論速度を提供しながら、最先端の回転同変追跡法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2021-11-28T14:44:17Z)
• SPINN: Sparse, Physics-based, and Interpretable Neural Networks for PDEs [0.0]
  Sparse, Physics-based, and Interpretable Neural Networks (SPINN) のクラスを導入し,一般微分方程式と部分微分方程式を解く。 従来のPDEのソリューションのメッシュレス表現を特別なスパースディープニューラルネットワークとして再解釈することにより、解釈可能なスパースニューラルネットワークアーキテクチャのクラスを開発する。
  論文  参考訳（メタデータ） (2021-02-25T17:45:50Z)
• Rotation-Invariant Gait Identification with Quaternion Convolutional Neural Networks [7.638280076041963]
  本稿では,ネットワークアーキテクチャであるQuaternion CNNを紹介する。 我々は,このネットワークが,マルチユーザ回転不変歩行分類設定において,従来のCNNよりも著しく優れていることを実証的に示す。
  論文  参考訳（メタデータ） (2020-08-04T23:22:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。