論文の概要: Nonlinearities in Steerable SO(2)-Equivariant CNNs
- arxiv url: http://arxiv.org/abs/2109.06861v1
- Date: Tue, 14 Sep 2021 17:53:45 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-15 15:31:43.091362
- Title: Nonlinearities in Steerable SO(2)-Equivariant CNNs
- Title（参考訳）: ステアブルSO(2)-等変CNNの非線形性
- Authors: Daniel Franzen, Michael Wand
- Abstract要約: 我々は,SO(2)の表現に対する非線形性の影響を照らし出すために調和歪み解析を適用した。
我々は、非線形変換されたアクティベーションの表現を計算するための新しいFFTベースのアルゴリズムを開発した。
2Dおよび3Dデータを用いた実験では、連続対称性と正確な同値性において、精度の点で最先端と良好に比較できる結果が得られる。
- 参考スコア（独自算出の注目度）: 7.552100672006172
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Invariance under symmetry is an important problem in machine learning. Our
paper looks specifically at equivariant neural networks where transformations
of inputs yield homomorphic transformations of outputs. Here, steerable CNNs
have emerged as the standard solution. An inherent problem of steerable
representations is that general nonlinear layers break equivariance, thus
restricting architectural choices. Our paper applies harmonic distortion
analysis to illuminate the effect of nonlinearities on Fourier representations
of SO(2). We develop a novel FFT-based algorithm for computing representations
of non-linearly transformed activations while maintaining band-limitation. It
yields exact equivariance for polynomial (approximations of) nonlinearities, as
well as approximate solutions with tunable accuracy for general functions. We
apply the approach to build a fully E(3)-equivariant network for sampled 3D
surface data. In experiments with 2D and 3D data, we obtain results that
compare favorably to the state-of-the-art in terms of accuracy while permitting
continuous symmetry and exact equivariance.
- Abstract（参考訳）: 対称性の下での不変性は機械学習において重要な問題である。
本稿では,入力の変換が出力の準同型変換をもたらす同変ニューラルネットワークについて考察する。
ここでは、ステアブルなCNNが標準ソリューションとして現れています。
ステアブル表現の固有の問題は、一般的な非線形層が等分散を破り、アーキテクチャ上の選択を制限することである。
本稿では,SO(2)のフーリエ表現に対する非線形性の影響を照らすために調和歪み解析を適用した。
バンドリミテーションを維持しつつ非線形変換されたアクティベーションの表現を計算する新しいfftベースアルゴリズムを開発した。
多項式(近似の)非線形性に対する完全同値であり、一般函数に対するチューナブルな精度の近似解である。
サンプル3次元表面データに対する完全E(3)同変ネットワークの構築に本手法を適用した。
2Dおよび3Dデータを用いた実験では、連続対称性と正確な等式を許容しながら、精度の観点から最先端技術と比較した結果が得られる。
関連論文リスト
- Learning Layer-wise Equivariances Automatically using Gradients [66.81218780702125]
畳み込みは等価対称性をニューラルネットワークにエンコードし、より優れた一般化性能をもたらす。
対称性は、ネットワークが表現できる機能、事前に指定する必要、適応できない機能に対して、固定されたハード制約を提供する。
私たちのゴールは、勾配を使ってデータから自動的に学習できるフレキシブル対称性の制約を可能にすることです。
論文 参考訳（メタデータ） (2023-10-09T20:22:43Z) - The Lie Derivative for Measuring Learned Equivariance [84.29366874540217]
我々は、CNN、トランスフォーマー、ミキサーアーキテクチャにまたがる数百の事前訓練されたモデルの同値性について検討する。
その結果,不等式違反の多くは,不等式などのユビキタスネットワーク層における空間エイリアスに関連付けられることがわかった。
例えば、トランスはトレーニング後の畳み込みニューラルネットワークよりも同種である。
論文 参考訳（メタデータ） (2022-10-06T15:20:55Z) - Equiformer: Equivariant Graph Attention Transformer for 3D Atomistic
Graphs [3.0603554929274908]
3D関連誘導バイアスは、分子のような3D原子性グラフで動作するグラフニューラルネットワークには不可欠である。
様々な領域におけるトランスフォーマーの成功に触発されて、これらのインダクティブバイアスをトランスフォーマーに組み込む方法について研究する。
本稿では,Transformerアーキテクチャの強みを利用したグラフニューラルネットワークであるEquiformerを提案する。
論文 参考訳（メタデータ） (2022-06-23T21:40:37Z) - Learning Symmetric Embeddings for Equivariant World Models [9.781637768189158]
入力空間(例えば画像)を符号化する学習対称埋め込みネットワーク(SEN)を提案する。
このネットワークは、同変のタスクネットワークでエンドツーエンドにトレーニングして、明示的に対称な表現を学ぶことができる。
実験により、SENは複素対称性表現を持つデータへの同変ネットワークの適用を促進することを示した。
論文 参考訳（メタデータ） (2022-04-24T22:31:52Z) - Relaxing Equivariance Constraints with Non-stationary Continuous Filters [20.74154804898478]
提案したパラメータ化は、ニューラルネットワークの調整可能な対称性構造を可能にするビルディングブロックと考えることができる。
CIFAR-10 および CIFAR-100 画像分類タスクにおいて, ソフトな等式が試験精度の向上につながることを実験的に検証した。
論文 参考訳（メタデータ） (2022-04-14T18:08:36Z) - 3D Equivariant Graph Implicit Functions [51.5559264447605]
局所的詳細のモデリングを容易にする同変層を持つグラフ暗黙関数の新しいファミリを導入する。
提案手法は,ShapeNet再構成作業において既存の回転同変暗黙関数を0.69から0.89に改善する。
論文 参考訳（メタデータ） (2022-03-31T16:51:25Z) - Equivariant vector field network for many-body system modeling [65.22203086172019]
Equivariant Vector Field Network (EVFN) は、新しい同変層と関連するスカラー化およびベクトル化層に基づいて構築されている。
シミュレーションされたニュートン力学系の軌跡を全観測データと部分観測データで予測する手法について検討した。
論文 参考訳（メタデータ） (2021-10-26T14:26:25Z) - Equivariant Point Network for 3D Point Cloud Analysis [17.689949017410836]
点雲解析のための実効的で実用的なSE(3)(3次元翻訳と回転)同変ネットワークを提案する。
まず,6次元の畳み込みを2つの分離可能な畳み込み作用素に分解する新しい枠組みであるSE(3)分離点畳み込みを提案する。
第2に,同変特徴の表現性を効果的に活用するアテンション層を導入する。
論文 参考訳（メタデータ） (2021-03-25T21:57:10Z) - Learning Equivariant Representations [10.745691354609738]
畳み込みニューラルネットワーク(CNN)はこの原理の成功例である。
対称性の群で定義される異なる変換に対する同変モデルを提案する。
これらのモデルはデータの対称性を利用して、サンプルとモデルの複雑さを減らし、一般化性能を向上させる。
論文 参考訳（メタデータ） (2020-12-04T18:46:17Z) - SE(3)-Transformers: 3D Roto-Translation Equivariant Attention Networks [71.55002934935473]
連続的な3次元ロト変換の下で同変である3次元点雲とグラフに対する自己アテンションモジュールの変種であるSE(3)-Transformerを導入する。
我々は, 入力の回転下での予測の頑健性を示す, おもちゃのN体粒子シミュレーションデータセットを用いて, モデルの評価を行った。
論文 参考訳（メタデータ） (2020-06-18T13:23:01Z) - Semiparametric Nonlinear Bipartite Graph Representation Learning with
Provable Guarantees [106.91654068632882]
半パラメトリック指数族分布におけるパラメータの統計的推定問題として、両部グラフを考察し、その表現学習問題を定式化する。
提案手法は, 地中真理付近で強い凸性を示すため, 勾配降下法が線形収束率を達成できることを示す。
我々の推定器は指数族内の任意のモデル誤特定に対して頑健であり、広範な実験で検証されている。
論文 参考訳（メタデータ） (2020-03-02T16:40:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。