論文の概要: Drawback of Enforcing Equivariance and its Compensation via the Lens of Expressive Power

• arxiv url: http://arxiv.org/abs/2512.09673v1
• Date: Wed, 10 Dec 2025 14:18:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-11 15:14:53.550109
• Title: Drawback of Enforcing Equivariance and its Compensation via the Lens of Expressive Power
• Title（参考訳）: 圧縮力レンズによる等分散の引き戻しとその補償
• Authors: Yuzhu Chen, Tian Qin, Xinmei Tian, Fengxiang He, Dacheng Tao,
• Abstract要約: 等式および層ワイド等式ネットワークの表現性に対する等式制約の影響について検討する。 モデルのサイズが大きくなるにもかかわらず、結果として得られるアーキテクチャは、複雑さの低い仮説空間に対応できることを示した。
• 参考スコア（独自算出の注目度）: 75.44625156899468
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Equivariant neural networks encode symmetry as an inductive bias and have achieved strong empirical performance in wide domains. However, their expressive power remains not well understood. Focusing on 2-layer ReLU networks, this paper investigates the impact of equivariance constraints on the expressivity of equivariant and layer-wise equivariant networks. By examining the boundary hyperplanes and the channel vectors of ReLU networks, we construct an example showing that equivariance constraints could strictly limit expressive power. However, we demonstrate that this drawback can be compensated via enlarging the model size. Furthermore, we show that despite a larger model size, the resulting architecture could still correspond to a hypothesis space with lower complexity, implying superior generalizability for equivariant networks.
• Abstract（参考訳）: 等変ニューラルネットワークは、対称性を帰納バイアスとしてエンコードし、広い領域において強い経験的性能を達成している。 しかし、その表現力はよく分かっていない。 本稿では, 2層ReLUネットワークに着目し, 等式および層ワイド同変ネットワークの表現性に対する等式制約の影響について検討する。 境界超平面とReLUネットワークのチャネルベクトルを調べることで、同値制約が表現力を厳密に制限できることを示す例を構築した。 しかし,モデルのサイズを拡大することで,この欠点を補うことができることを示す。 さらに、モデルサイズが大きくなるにもかかわらず、結果として得られるアーキテクチャは、より複雑さの低い仮説空間に対応し、同変ネットワークのより優れた一般化可能性を示すことを示す。

関連論文リスト

• On Universality Classes of Equivariant Networks [9.137637807153464]
  分離制約を超えた同変ニューラルネットワークの近似パワーについて検討する。 分離電力が表現力を完全に捉えていないことを示す。 浅い同変ネットワークが普遍性を達成できるような設定を同定する。
  論文  参考訳（メタデータ） (2025-06-02T22:07:52Z)
• Improving Equivariant Model Training via Constraint Relaxation [31.507956579770088]
  そこで本研究では,トレーニング中の厳密な均衡制約を緩和することにより,そのようなモデルの最適化を改善する新しい枠組みを提案する。 本研究では,様々な最先端ネットワークアーキテクチャの実験結果を提供し,このトレーニングフレームワークが一般化性能を向上した同変モデルを実現する方法を示す。
  論文  参考訳（メタデータ） (2024-08-23T17:35:08Z)
• A Non-negative VAE:the Generalized Gamma Belief Network [49.970917207211556]
  ガンマ信念ネットワーク(GBN)は、テキストデータ中の多層解釈可能な潜在表現を明らかにする可能性を実証している。 本稿では、一般化ガンマ信念ネットワーク(Generalized GBN)を導入し、元の線形生成モデルをより表現力のある非線形生成モデルに拡張する。 また、潜伏変数の後方分布を近似する上向きのワイブル推論ネットワークを提案する。
  論文  参考訳（メタデータ） (2024-08-06T18:18:37Z)
• Optimization Dynamics of Equivariant and Augmented Neural Networks [2.7918308693131135]
  対称データに基づくニューラルネットワークの最適化について検討する。 アーキテクチャを制約する戦略を、データ拡張を使用する戦略と同等に扱う戦略と比較する。 後者の状況においても, 定常点が拡張トレーニングにおいて不安定であることは明らかだが, 明らかな同変モデルに対しては安定である。
  論文  参考訳（メタデータ） (2023-03-23T17:26:12Z)
• The Lie Derivative for Measuring Learned Equivariance [84.29366874540217]
  我々は、CNN、トランスフォーマー、ミキサーアーキテクチャにまたがる数百の事前訓練されたモデルの同値性について検討する。 その結果,不等式違反の多くは,不等式などのユビキタスネットワーク層における空間エイリアスに関連付けられることがわかった。 例えば、トランスはトレーニング後の畳み込みニューラルネットワークよりも同種である。
  論文  参考訳（メタデータ） (2022-10-06T15:20:55Z)
• Topographic VAEs learn Equivariant Capsules [84.33745072274942]
  本稿では, 地理的に整理された潜伏変数を用いた深部生成モデルを効率的に学習するための新しい手法であるTopographic VAEを紹介する。 このようなモデルでは,MNIST上での桁数クラス,幅,スタイルなどの健全な特徴に応じて,その活性化を組織化することが実際に学べることが示される。 我々は、既存の群同変ニューラルネットワークの能力を拡張して、複素変換に近似した同値性を示す。
  論文  参考訳（メタデータ） (2021-09-03T09:25:57Z)
• Generalizing Convolutional Neural Networks for Equivariance to Lie Groups on Arbitrary Continuous Data [52.78581260260455]
  任意の特定のリー群からの変換に同値な畳み込み層を構築するための一般的な方法を提案する。 同じモデルアーキテクチャを画像、ボール・アンド・スティック分子データ、ハミルトン力学系に適用する。
  論文  参考訳（メタデータ） (2020-02-25T17:40:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。