論文の概要: Architectural Optimization over Subgroups for Equivariant Neural Networks

• arxiv url: http://arxiv.org/abs/2210.05484v1
• Date: Tue, 11 Oct 2022 14:37:29 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-12 16:56:17.080735
• Title: Architectural Optimization over Subgroups for Equivariant Neural Networks
• Title（参考訳）: 同変ニューラルネットワークのサブグループに対するアーキテクチャ最適化
• Authors: Kaitlin Maile and Dennis G. Wilson and Patrick Forr\'e
• Abstract要約: 準同値緩和同型と$[G]$-mixed同変層を提案し、部分群上の同値制約で演算する。 進化的および微分可能なニューラルアーキテクチャ探索(NAS)アルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Incorporating equivariance to symmetry groups as a constraint during neural network training can improve performance and generalization for tasks exhibiting those symmetries, but such symmetries are often not perfectly nor explicitly present. This motivates algorithmically optimizing the architectural constraints imposed by equivariance. We propose the equivariance relaxation morphism, which preserves functionality while reparameterizing a group equivariant layer to operate with equivariance constraints on a subgroup, as well as the $[G]$-mixed equivariant layer, which mixes layers constrained to different groups to enable within-layer equivariance optimization. We further present evolutionary and differentiable neural architecture search (NAS) algorithms that utilize these mechanisms respectively for equivariance-aware architectural optimization. Experiments across a variety of datasets show the benefit of dynamically constrained equivariance to find effective architectures with approximate equivariance.
• Abstract（参考訳）: ニューラルネットワークトレーニング中に対称性群への等式を制約として組み込むことは、それらの対称性を示すタスクのパフォーマンスと一般化を改善することができるが、そのような対称性は完全で、明確ではないことが多い。 これは、等式によって課されるアーキテクチャ制約をアルゴリズム的に最適化する動機である。 群同変層を部分群上の同変制約で操作するように再パラメータ化しながら機能を保ち、また異なる群に制約された層を混合して層内同変最適化を可能にする$[G]$-mixed同変層も提案する。 さらに、これらのメカニズムを等分散アーキテクチャ最適化にそれぞれ活用する進化的および微分可能なニューラルアーキテクチャ探索(NAS)アルゴリズムを提案する。 様々なデータセットにわたる実験は、近似等式を持つ効果的なアーキテクチャを見つけるために動的に制約された等値の利点を示す。

関連論文リスト

• Approximate Equivariance in Reinforcement Learning [35.04248486334824]
  等変ニューラルネットワークは強化学習において大きな成功を収めている。 多くの問題において、近似対称性のみが存在しており、これは正確な対称性を不適切なものにしている。 我々は、強化学習におけるほぼ同変のアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2024-11-06T19:44:46Z)
• EKAN: Equivariant Kolmogorov-Arnold Networks [69.30866522377694]
  Kolmogorov-Arnold Networks (KAN) は科学分野で大きな成功を収めている。 しかし、スプライン関数は、機械学習において重要な事前知識であるタスクの対称性を尊重しないかもしれない。 本研究では,Equivariant Kolmogorov-Arnold Networks (EKAN)を提案する。
  論文  参考訳（メタデータ） (2024-10-01T06:34:58Z)
• Approximately Equivariant Neural Processes [47.14384085714576]
  ニューラルプロセスにおけるほぼ同変アーキテクチャの利用について考察する。 提案手法の有効性を, 合成および実世界のレグレッション実験で実証する。
  論文  参考訳（メタデータ） (2024-06-19T12:17:14Z)
• A Probabilistic Approach to Learning the Degree of Equivariance in Steerable CNNs [5.141137421503899]
  ステアブル畳み込みニューラルネットワーク(SCNN)は、幾何学的対称性をモデル化することによってタスク性能を向上させる。 しかし、未知あるいは様々な対称性は、過剰に制約された重量と性能を低下させる可能性がある。 本稿では,SCNNの等価度を学習するための確率的手法を提案する。
  論文  参考訳（メタデータ） (2024-06-06T10:45:19Z)
• Learning Layer-wise Equivariances Automatically using Gradients [66.81218780702125]
  畳み込みは等価対称性をニューラルネットワークにエンコードし、より優れた一般化性能をもたらす。 対称性は、ネットワークが表現できる機能、事前に指定する必要、適応できない機能に対して、固定されたハード制約を提供する。 私たちのゴールは、勾配を使ってデータから自動的に学習できるフレキシブル対称性の制約を可能にすることです。
  論文  参考訳（メタデータ） (2023-10-09T20:22:43Z)
• Learning Probabilistic Symmetrization for Architecture Agnostic Equivariance [16.49488981364657]
  群対称性を持つ学習関数における同変アーキテクチャの限界を克服する新しい枠組みを提案する。 我々は、不変量や変圧器のような任意の基底モデルを使用し、それを与えられた群に同変するように対称性付けする。 実証実験は、調整された同変アーキテクチャに対する競争結果を示す。
  論文  参考訳（メタデータ） (2023-06-05T13:40:54Z)
• Optimization Dynamics of Equivariant and Augmented Neural Networks [2.7918308693131135]
  対称データに基づくニューラルネットワークの最適化について検討する。 アーキテクチャを制約する戦略を、データ拡張を使用する戦略と同等に扱う戦略と比較する。 後者の状況においても, 定常点が拡張トレーニングにおいて不安定であることは明らかだが, 明らかな同変モデルに対しては安定である。
  論文  参考訳（メタデータ） (2023-03-23T17:26:12Z)
• Deep Neural Networks with Efficient Guaranteed Invariances [77.99182201815763]
  我々は、性能改善の問題、特にディープニューラルネットワークのサンプル複雑性に対処する。 群同変畳み込みは同変表現を得るための一般的なアプローチである。 本稿では,各ストリームが異なる変換に不変なマルチストリームアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-03-02T20:44:45Z)
• Relaxing Equivariance Constraints with Non-stationary Continuous Filters [20.74154804898478]
  提案したパラメータ化は、ニューラルネットワークの調整可能な対称性構造を可能にするビルディングブロックと考えることができる。 CIFAR-10 および CIFAR-100 画像分類タスクにおいて, ソフトな等式が試験精度の向上につながることを実験的に検証した。
  論文  参考訳（メタデータ） (2022-04-14T18:08:36Z)
• Frame Averaging for Invariant and Equivariant Network Design [50.87023773850824]
  フレーム平均化(FA)は、既知の(バックボーン)アーキテクチャを新しい対称性タイプに不変あるいは同変に適応するためのフレームワークである。 FAモデルが最大表現力を持つことを示す。 我々は,新しいユニバーサルグラフニューラルネット(GNN),ユニバーサルユークリッド運動不変点クラウドネットワーク,およびユークリッド運動不変メッセージパッシング(MP)GNNを提案する。
  論文  参考訳（メタデータ） (2021-10-07T11:05:23Z)
• Group Equivariant Subsampling [60.53371517247382]
  サブサンプリングは、プールやストライド畳み込みの形で畳み込みニューラルネットワーク(CNN)で使用される。 まず、正確な翻訳同変CNNを構築するために使用できる翻訳同変サブサンプリング/アップサンプリング層を導入する。 次に、これらの層を一般群への変換を超えて一般化し、したがって群同変部分サンプリング/アップサンプリングを提案する。
  論文  参考訳（メタデータ） (2021-06-10T16:14:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。