論文の概要: Investigating how ReLU-networks encode symmetries

• arxiv url: http://arxiv.org/abs/2305.17017v2
• Date: Fri, 8 Dec 2023 18:27:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-11 19:05:18.049965
• Title: Investigating how ReLU-networks encode symmetries
• Title（参考訳）: ReLU-networksによる対称性のエンコード方法の検討
• Authors: Georg B\"okman and Fredrik Kahl
• Abstract要約: ネットワークの等式がすべての層が等式であることを示すかどうかを考察する。 等変で訓練されたCNNは階層的に等変を示すと推測する。 2つの異なるネットワークをマージするよりも、ネットワークとグループ変換されたバージョンをマージすることが通常容易であることを示す。
• 参考スコア（独自算出の注目度）: 13.935148870831396
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Many data symmetries can be described in terms of group equivariance and the most common way of encoding group equivariances in neural networks is by building linear layers that are group equivariant. In this work we investigate whether equivariance of a network implies that all layers are equivariant. On the theoretical side we find cases where equivariance implies layerwise equivariance, but also demonstrate that this is not the case generally. Nevertheless, we conjecture that CNNs that are trained to be equivariant will exhibit layerwise equivariance and explain how this conjecture is a weaker version of the recent permutation conjecture by Entezari et al. [2022]. We perform quantitative experiments with VGG-nets on CIFAR10 and qualitative experiments with ResNets on ImageNet to illustrate and support our theoretical findings. These experiments are not only of interest for understanding how group equivariance is encoded in ReLU-networks, but they also give a new perspective on Entezari et al.'s permutation conjecture as we find that it is typically easier to merge a network with a group-transformed version of itself than merging two different networks.
• Abstract（参考訳）: 多くのデータ対称性は、群同値性と、ニューラルネットワークにおける群同分散を符号化する最も一般的な方法は、群同値である線形層を構築することである。 本研究は,ネットワークの等式がすべての層が等式であることを示すか否かを考察する。 理論面では、等式が層的等式を意味する場合が見つかるが、一般にはそうではないことを示す。 それでも、同変として訓練されたCNNが階層的に同値であることは予想し、この予想がエンテザリらによる最近の置換予想の弱いバージョンであることを示す。 [2022]. 我々は,CIFAR10上でのVGG-netを用いた定量的実験と,ImageNet上でのResNetsによる定性実験を行い,理論的知見を実証し,支持する。 これらの実験は、群同分散がrelu-ネットワークにどのようにエンコードされているかを理解することだけでなく、エンテザリらによる置換予想に対する新たな視点を与えている。

関連論文リスト

• A Probabilistic Approach to Learning the Degree of Equivariance in Steerable CNNs [5.141137421503899]
  ステアブル畳み込みニューラルネットワーク(SCNN)は、幾何学的対称性をモデル化することによってタスク性能を向上させる。 しかし、未知あるいは様々な対称性は、過剰に制約された重量と性能を低下させる可能性がある。 本稿では,SCNNの等価度を学習するための確率的手法を提案する。
  論文  参考訳（メタデータ） (2024-06-06T10:45:19Z)
• Using and Abusing Equivariance [10.70891251559827]
  群同変畳み込みニューラルネットワークは, サブサンプリングを用いて, 対称性に等しくなることを学習する。 ネットワークの入力次元を1ピクセル程度に変化させることで、一般的に使われているアーキテクチャが正確には同値ではなく、ほぼ同値となるのに十分であることを示す。
  論文  参考訳（メタデータ） (2023-08-22T09:49:26Z)
• Self-Supervised Learning for Group Equivariant Neural Networks [75.62232699377877]
  群同変ニューラルネットワーク(英: Group equivariant Neural Network)は、入力の変換で通勤する構造に制限されたモデルである。 自己教師型タスクには、同変プリテキストラベルと異変コントラスト損失という2つの概念を提案する。 標準画像認識ベンチマークの実験では、同変ニューラルネットワークが提案された自己教師型タスクを利用することを示した。
  論文  参考訳（メタデータ） (2023-03-08T08:11:26Z)
• Deep Neural Networks with Efficient Guaranteed Invariances [77.99182201815763]
  我々は、性能改善の問題、特にディープニューラルネットワークのサンプル複雑性に対処する。 群同変畳み込みは同変表現を得るための一般的なアプローチである。 本稿では,各ストリームが異なる変換に不変なマルチストリームアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-03-02T20:44:45Z)
• Learning Invariant Representations for Equivariant Neural Networks Using Orthogonal Moments [9.680414207552722]
  標準畳み込みニューラルネットワーク(CNN)の畳み込み層は、翻訳と等価である。 近年,従来のCNNの層を同変畳み込み,プーリング,バッチ正規化に置き換えた新しいCNNのクラスが提案されている。
  論文  参考訳（メタデータ） (2022-09-22T11:48:39Z)
• Equivariant Transduction through Invariant Alignment [71.45263447328374]
  グループ内ハードアライメント機構を組み込んだ,新しいグループ同変アーキテクチャを提案する。 我々のネットワーク構造は、既存のグループ同変アプローチよりも強い同変特性を発達させることができる。 また、SCANタスクにおいて、従来のグループ同変ネットワークよりも経験的に優れていたことが判明した。
  論文  参考訳（メタデータ） (2022-09-22T11:19:45Z)
• Equivariant Disentangled Transformation for Domain Generalization under Combination Shift [91.38796390449504]
  ドメインとラベルの組み合わせは、トレーニング中に観察されるのではなく、テスト環境に現れる。 我々は、同型の概念、同値性、および整合性の定義に基づく結合シフト問題の一意的な定式化を提供する。
  論文  参考訳（メタデータ） (2022-08-03T12:31:31Z)
• Equivariance versus Augmentation for Spherical Images [0.7388859384645262]
  球面画像に適用した畳み込みニューラルネットワーク(CNN)における回転同値の役割を解析する。 我々は、S2CNNとして知られるグループ同変ネットワークと、データ増大量で訓練された標準非同変CNNの性能を比較した。
  論文  参考訳（メタデータ） (2022-02-08T16:49:30Z)
• Group Equivariant Subsampling [60.53371517247382]
  サブサンプリングは、プールやストライド畳み込みの形で畳み込みニューラルネットワーク(CNN)で使用される。 まず、正確な翻訳同変CNNを構築するために使用できる翻訳同変サブサンプリング/アップサンプリング層を導入する。 次に、これらの層を一般群への変換を超えて一般化し、したがって群同変部分サンプリング/アップサンプリングを提案する。
  論文  参考訳（メタデータ） (2021-06-10T16:14:00Z)
• Group Equivariant Neural Architecture Search via Group Decomposition and Reinforcement Learning [17.291131923335918]
  我々は、同値ニューラルネットワークの文脈において、新しい群論的結果を証明する。 また、計算複雑性を大幅に改善する同変ネットワークを構築するアルゴリズムを設計する。 我々は、性能を最大化するグループ同変ネットワークの探索に深層Q-ラーニングを用いる。
  論文  参考訳（メタデータ） (2021-04-10T19:37:25Z)
• Generalizing Convolutional Neural Networks for Equivariance to Lie Groups on Arbitrary Continuous Data [52.78581260260455]
  任意の特定のリー群からの変換に同値な畳み込み層を構築するための一般的な方法を提案する。 同じモデルアーキテクチャを画像、ボール・アンド・スティック分子データ、ハミルトン力学系に適用する。
  論文  参考訳（メタデータ） (2020-02-25T17:40:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。