Fugu-MT 論文翻訳(概要): Optimization Dynamics of Equivariant and Augmented Neural Networks

論文の概要: Optimization Dynamics of Equivariant and Augmented Neural Networks

arxiv url: http://arxiv.org/abs/2303.13458v2
Date: Thu, 21 Sep 2023 18:18:44 GMT
ステータス: 処理完了
システム内更新日: 2023-09-25 19:16:26.756438
Title: Optimization Dynamics of Equivariant and Augmented Neural Networks
Title（参考訳）: 等価および拡張ニューラルネットワークの最適化ダイナミクス
Authors: Axel Flinth and Fredrik Ohlsson
Abstract要約: 対称データに基づく多層パーセプトロンの最適化について検討する。損失と非線形性に関する自然な仮定の下では、同変定常点の集合は2つの戦略に対して同一であることを示す。
参考スコア（独自算出の注目度）: 3.706821920681978
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: We investigate the optimization of multilayer perceptrons on symmetric data. We compare the strategy of constraining the architecture to be equivariant to that of using augmentation. We show that, under natural assumptions on the loss and non-linearities, the sets of equivariant stationary points are identical for the two strategies, and that the set of equivariant layers is invariant under the gradient flow for augmented models. Finally, we show that stationary points may be unstable for augmented training although they are stable for the equivariant models.
Abstract（参考訳）: 対称データに基づく多層パーセプトロンの最適化について検討する。我々は、アーキテクチャの制約戦略を、拡張の使用戦略と同等に扱う戦略と比較する。損失と非線形性に関する自然な仮定の下では、同変定常点の集合は2つの戦略と同一であり、同変層の集合は拡張モデルの勾配流れの下で不変であることを示した。最後に,同変モデルでは安定ではあるが,拡張トレーニングでは定常点が不安定であることを示す。

関連論文リスト

Symmetry Discovery for Different Data Types [52.2614860099811]
等価ニューラルネットワークは、そのアーキテクチャに対称性を取り入れ、より高度な一般化性能を実現する。本稿では,タスクの入出力マッピングを近似したトレーニングニューラルネットワークによる対称性発見手法であるLieSDを提案する。我々は,2体問題,慣性行列予測のモーメント,トップクォークタグ付けといった課題におけるLieSDの性能を検証した。
論文参考訳（メタデータ） (2024-10-13T13:39:39Z)
Equivariant score-based generative models provably learn distributions with symmetries efficiently [7.90752151686317]
実験的な研究により、対称性を生成モデルに組み込むことで、より優れた一般化とサンプリング効率が得られることが示されている。我々は,ある群対称性に対して不変な分布を学習するためのスコアベース生成モデル(SGM)の最初の理論的解析と保証を提供する。
論文参考訳（メタデータ） (2024-10-02T05:14:28Z)
Relative Representations: Topological and Geometric Perspectives [53.88896255693922]
相対表現はゼロショットモデルの縫合に対する確立されたアプローチである。相対変換において正規化手順を導入し、非等方的再スケーリングや置換に不変となる。第二に、クラス内のクラスタリングを促進するトポロジカル正規化損失である、微調整された相対表現におけるトポロジカルデシフィケーションの展開を提案する。
論文参考訳（メタデータ） (2024-09-17T08:09:22Z)
Enhancing lattice kinetic schemes for fluid dynamics with Lattice-Equivariant Neural Networks [79.16635054977068]
我々はLattice-Equivariant Neural Networks (LENNs)と呼ばれる新しい同変ニューラルネットワークのクラスを提案する。我々の手法は、ニューラルネットワークに基づく代理モデルLattice Boltzmann衝突作用素の学習を目的とした、最近導入されたフレームワーク内で開発されている。本研究は,実世界のシミュレーションにおける機械学習強化Lattice Boltzmann CFDの実用化に向けて展開する。
論文参考訳（メタデータ） (2024-05-22T17:23:15Z)
A Characterization Theorem for Equivariant Networks with Point-wise Activations [13.00676132572457]
回転同変ネットワークは、連結コンパクト群に対して同変である任意のネットワークに対してのみ不変であることを示す。本稿では, 畳み込み可能な畳み込み型ニューラルネットワークの特徴空間が, 自明な表現であることを示す。
論文参考訳（メタデータ） (2024-01-17T14:30:46Z)
Learning Layer-wise Equivariances Automatically using Gradients [66.81218780702125]
畳み込みは等価対称性をニューラルネットワークにエンコードし、より優れた一般化性能をもたらす。対称性は、ネットワークが表現できる機能、事前に指定する必要、適応できない機能に対して、固定されたハード制約を提供する。私たちのゴールは、勾配を使ってデータから自動的に学習できるフレキシブル対称性の制約を可能にすることです。
論文参考訳（メタデータ） (2023-10-09T20:22:43Z)
Using and Abusing Equivariance [10.70891251559827]
群同変畳み込みニューラルネットワークは, サブサンプリングを用いて, 対称性に等しくなることを学習する。ネットワークの入力次元を1ピクセル程度に変化させることで、一般的に使われているアーキテクチャが正確には同値ではなく、ほぼ同値となるのに十分であることを示す。
論文参考訳（メタデータ） (2023-08-22T09:49:26Z)
Architectural Optimization over Subgroups for Equivariant Neural Networks [0.0]
準同値緩和同型と$[G]$-mixed同変層を提案し、部分群上の同値制約で演算する。進化的および微分可能なニューラルアーキテクチャ探索(NAS)アルゴリズムを提案する。
論文参考訳（メタデータ） (2022-10-11T14:37:29Z)
Learning Symmetric Embeddings for Equivariant World Models [9.781637768189158]
入力空間(例えば画像)を符号化する学習対称埋め込みネットワーク(SEN)を提案する。このネットワークは、同変のタスクネットワークでエンドツーエンドにトレーニングして、明示的に対称な表現を学ぶことができる。実験により、SENは複素対称性表現を持つデータへの同変ネットワークの適用を促進することを示した。
論文参考訳（メタデータ） (2022-04-24T22:31:52Z)
Topographic VAEs learn Equivariant Capsules [84.33745072274942]
本稿では, 地理的に整理された潜伏変数を用いた深部生成モデルを効率的に学習するための新しい手法であるTopographic VAEを紹介する。このようなモデルでは,MNIST上での桁数クラス,幅,スタイルなどの健全な特徴に応じて,その活性化を組織化することが実際に学べることが示される。我々は、既存の群同変ニューラルネットワークの能力を拡張して、複素変換に近似した同値性を示す。
論文参考訳（メタデータ） (2021-09-03T09:25:57Z)
Learning Equivariant Energy Based Models with Equivariant Stein Variational Gradient Descent [80.73580820014242]
本稿では,確率モデルに対称性を組み込むことにより,確率密度の効率的なサンプリングと学習の問題に焦点をあてる。まず、等変シュタイン変分勾配Descentアルゴリズムを導入する。これは、対称性を持つ密度からサンプリングするスタインの同一性に基づく同変サンプリング法である。我々はエネルギーベースモデルのトレーニングを改善し、スケールアップする新しい方法を提案する。
論文参考訳（メタデータ） (2021-06-15T01:35:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。