論文の概要: Relaxing Equivariance Constraints with Non-stationary Continuous Filters
- arxiv url: http://arxiv.org/abs/2204.07178v1
- Date: Thu, 14 Apr 2022 18:08:36 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-18 12:20:08.919748
- Title: Relaxing Equivariance Constraints with Non-stationary Continuous Filters
- Title（参考訳）: 非定常連続フィルタによる緩和等分散制約
- Authors: Tycho F.A. van der Ouderaa, David W. Romero, Mark van der Wilk
- Abstract要約: 提案したパラメータ化は、ニューラルネットワークの調整可能な対称性構造を可能にするビルディングブロックと考えることができる。
CIFAR-10 および CIFAR-100 画像分類タスクにおいて, ソフトな等式が試験精度の向上につながることを実験的に検証した。
- 参考スコア（独自算出の注目度）: 20.74154804898478
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Equivariances provide useful inductive biases in neural network modeling,
with the translation equivariance of convolutional neural networks being a
canonical example. Equivariances can be embedded in architectures through
weight-sharing and place symmetry constraints on the functions a neural network
can represent. The type of symmetry is typically fixed and has to be chosen in
advance. Although some tasks are inherently equivariant, many tasks do not
strictly follow such symmetries. In such cases, equivariance constraints can be
overly restrictive. In this work, we propose a parameter-efficient relaxation
of equivariance that can effectively interpolate between a (i) non-equivariant
linear product, (ii) a strict-equivariant convolution, and (iii) a
strictly-invariant mapping. The proposed parameterization can be thought of as
a building block to allow adjustable symmetry structure in neural networks.
Compared to non-equivariant or strict-equivariant baselines, we experimentally
verify that soft equivariance leads to improved performance in terms of test
accuracy on CIFAR-10 and CIFAR-100 image classification tasks.
- Abstract（参考訳）: 等価性はニューラルネットワークモデリングにおいて有用な帰納バイアスを与え、畳み込みニューラルネットワークの変換等価性は標準的な例である。
等価性は、重み共有を通じてアーキテクチャに埋め込まれ、ニューラルネットワークが表現できる関数に対称性の制約を課すことができる。
対称性のタイプは通常固定されており、事前に選択する必要がある。
いくつかのタスクは本質的に同変であるが、多くのタスクはそのような対称性に厳密に従わない。
そのような場合、等分散制約は過度に制限される。
本研究では,a間に効果的に補間できるパラメータ効率の良い等分散緩和法を提案する。
(i)非同変線型積
(ii)厳密な同値な畳み込み、
(iii)厳密な不変写像。
提案したパラメータ化は、ニューラルネットワークの調整可能な対称性構造を可能にするビルディングブロックと考えることができる。
CIFAR-10 および CIFAR-100 画像分類タスクにおいて, ソフトな等式が試験精度の向上につながることを実験的に検証した。
関連論文リスト
- Approximate Equivariance in Reinforcement Learning [35.04248486334824]
等変ニューラルネットワークは強化学習において大きな成功を収めている。
多くの問題において、近似対称性のみが存在しており、これは正確な対称性を不適切なものにしている。
我々は、強化学習におけるほぼ同変のアルゴリズムを開発した。
論文 参考訳（メタデータ） (2024-11-06T19:44:46Z) - A Probabilistic Approach to Learning the Degree of Equivariance in Steerable CNNs [5.141137421503899]
ステアブル畳み込みニューラルネットワーク(SCNN)は、幾何学的対称性をモデル化することによってタスク性能を向上させる。
しかし、未知あるいは様々な対称性は、過剰に制約された重量と性能を低下させる可能性がある。
本稿では,SCNNの等価度を学習するための確率的手法を提案する。
論文 参考訳（メタデータ） (2024-06-06T10:45:19Z) - Symmetry Breaking and Equivariant Neural Networks [17.740760773905986]
我々は「緩和された同注入」という新しい概念を導入する。
我々は、この緩和を同変多層パーセプトロン(E-MLP)に組み込む方法を示す。
対称性の破れの関連性は、様々な応用領域で議論される。
論文 参考訳（メタデータ） (2023-12-14T15:06:48Z) - Learning Layer-wise Equivariances Automatically using Gradients [66.81218780702125]
畳み込みは等価対称性をニューラルネットワークにエンコードし、より優れた一般化性能をもたらす。
対称性は、ネットワークが表現できる機能、事前に指定する必要、適応できない機能に対して、固定されたハード制約を提供する。
私たちのゴールは、勾配を使ってデータから自動的に学習できるフレキシブル対称性の制約を可能にすることです。
論文 参考訳（メタデータ） (2023-10-09T20:22:43Z) - Learning Probabilistic Symmetrization for Architecture Agnostic Equivariance [16.49488981364657]
群対称性を持つ学習関数における同変アーキテクチャの限界を克服する新しい枠組みを提案する。
我々は、不変量や変圧器のような任意の基底モデルを使用し、それを与えられた群に同変するように対称性付けする。
実証実験は、調整された同変アーキテクチャに対する競争結果を示す。
論文 参考訳（メタデータ） (2023-06-05T13:40:54Z) - Self-Supervised Learning for Group Equivariant Neural Networks [75.62232699377877]
群同変ニューラルネットワーク(英: Group equivariant Neural Network)は、入力の変換で通勤する構造に制限されたモデルである。
自己教師型タスクには、同変プリテキストラベルと異変コントラスト損失という2つの概念を提案する。
標準画像認識ベンチマークの実験では、同変ニューラルネットワークが提案された自己教師型タスクを利用することを示した。
論文 参考訳（メタデータ） (2023-03-08T08:11:26Z) - Architectural Optimization over Subgroups for Equivariant Neural
Networks [0.0]
準同値緩和同型と$[G]$-mixed同変層を提案し、部分群上の同値制約で演算する。
進化的および微分可能なニューラルアーキテクチャ探索(NAS)アルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-10-11T14:37:29Z) - Equivariant Disentangled Transformation for Domain Generalization under
Combination Shift [91.38796390449504]
ドメインとラベルの組み合わせは、トレーニング中に観察されるのではなく、テスト環境に現れる。
我々は、同型の概念、同値性、および整合性の定義に基づく結合シフト問題の一意的な定式化を提供する。
論文 参考訳（メタデータ） (2022-08-03T12:31:31Z) - Equivariance Discovery by Learned Parameter-Sharing [153.41877129746223]
データから解釈可能な等価性を発見する方法について検討する。
具体的には、モデルのパラメータ共有方式に対する最適化問題として、この発見プロセスを定式化する。
また,ガウスデータの手法を理論的に解析し,研究された発見スキームとオラクルスキームの間の平均2乗ギャップを限定する。
論文 参考訳（メタデータ） (2022-04-07T17:59:19Z) - Frame Averaging for Invariant and Equivariant Network Design [50.87023773850824]
フレーム平均化(FA)は、既知の(バックボーン)アーキテクチャを新しい対称性タイプに不変あるいは同変に適応するためのフレームワークである。
FAモデルが最大表現力を持つことを示す。
我々は,新しいユニバーサルグラフニューラルネット(GNN),ユニバーサルユークリッド運動不変点クラウドネットワーク,およびユークリッド運動不変メッセージパッシング(MP)GNNを提案する。
論文 参考訳（メタデータ） (2021-10-07T11:05:23Z) - Learning Invariances in Neural Networks [51.20867785006147]
ネットワークパラメータや拡張パラメータに関して,拡張性よりも分布をパラメータ化し,トレーニング損失を同時に最適化する方法を示す。
画像分類,回帰,セグメンテーション,分子特性予測における不均一性の正確なセットと範囲を,拡張の広い空間から復元することができる。
論文 参考訳（メタデータ） (2020-10-22T17:18:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。