Fugu-MT 論文翻訳(概要): On the Implicit Bias of Linear Equivariant Steerable Networks

論文の概要: On the Implicit Bias of Linear Equivariant Steerable Networks

arxiv url: http://arxiv.org/abs/2303.04198v2
Date: Fri, 5 May 2023 04:10:21 GMT
ステータス: 処理完了
システム内更新日: 2023-05-08 17:04:07.180386
Title: On the Implicit Bias of Linear Equivariant Steerable Networks
Title（参考訳）: 線形同変ステアブルネットワークの入射バイアスについて
Authors: Ziyu Chen, Wei Zhu
Abstract要約: 群不変二元分類における線形同変ステアブルネットワーク上の勾配流の暗黙バイアスについて検討する。入力表現のユニタリな仮定の下では、ステアブルネットワークとデータ拡張の等価性を確立する。
参考スコア（独自算出の注目度）: 9.539074889921935
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We study the implicit bias of gradient flow on linear equivariant steerable networks in group-invariant binary classification. Our findings reveal that the parameterized predictor converges in direction to the unique group-invariant classifier with a maximum margin defined by the input group action. Under a unitary assumption on the input representation, we establish the equivalence between steerable networks and data augmentation. Furthermore, we demonstrate the improved margin and generalization bound of steerable networks over their non-invariant counterparts.
Abstract（参考訳）: 群不変二元分類における線形同変ステアブルネットワーク上の勾配流の暗黙バイアスについて検討する。その結果,パラメータ化予測器は入力群アクションによって定義された最大辺を持つ一意な群不変分類器に方向収束することがわかった。入力表現のユニタリな仮定に基づき、ステアブルネットワークとデータ拡張の等価性を確立する。さらに,非不変ネットワークに対するステアブルネットワークのマージン改善と一般化のバウンダリを示す。

関連論文リスト

Interpreting Equivariant Representations [5.325297567945828]
本稿では,同変モデルによる帰納バイアスも潜在表現を用いて考慮する必要があることを示す。インダクティブバイアスを考慮しないと下流タスクのパフォーマンスが低下することを示す。
論文参考訳（メタデータ） (2024-01-23T09:43:30Z)
A Characterization Theorem for Equivariant Networks with Point-wise Activations [13.00676132572457]
回転同変ネットワークは、連結コンパクト群に対して同変である任意のネットワークに対してのみ不変であることを示す。本稿では, 畳み込み可能な畳み込み型ニューラルネットワークの特徴空間が, 自明な表現であることを示す。
論文参考訳（メタデータ） (2024-01-17T14:30:46Z)
Geometry of Linear Neural Networks: Equivariance and Invariance under Permutation Groups [0.0]
置換群の作用の下で同変あるいは不変な函数の部分多様体について検討する。パラメータ化と等変線形ネットワークの設計に関する結論を導出する。
論文参考訳（メタデータ） (2023-09-24T19:40:15Z)
Optimization Dynamics of Equivariant and Augmented Neural Networks [2.7918308693131135]
対称データに基づくニューラルネットワークの最適化について検討する。アーキテクチャを制約する戦略を、データ拡張を使用する戦略と同等に扱う戦略と比較する。後者の状況においても, 定常点が拡張トレーニングにおいて不安定であることは明らかだが, 明らかな同変モデルに対しては安定である。
論文参考訳（メタデータ） (2023-03-23T17:26:12Z)
Self-Supervised Learning for Group Equivariant Neural Networks [75.62232699377877]
群同変ニューラルネットワーク(英: Group equivariant Neural Network)は、入力の変換で通勤する構造に制限されたモデルである。自己教師型タスクには、同変プリテキストラベルと異変コントラスト損失という2つの概念を提案する。標準画像認識ベンチマークの実験では、同変ニューラルネットワークが提案された自己教師型タスクを利用することを示した。
論文参考訳（メタデータ） (2023-03-08T08:11:26Z)
On the Effective Number of Linear Regions in Shallow Univariate ReLU Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
論文参考訳（メタデータ） (2022-05-18T16:57:10Z)
Topographic VAEs learn Equivariant Capsules [84.33745072274942]
本稿では, 地理的に整理された潜伏変数を用いた深部生成モデルを効率的に学習するための新しい手法であるTopographic VAEを紹介する。このようなモデルでは,MNIST上での桁数クラス,幅,スタイルなどの健全な特徴に応じて,その活性化を組織化することが実際に学べることが示される。我々は、既存の群同変ニューラルネットワークの能力を拡張して、複素変換に近似した同値性を示す。
論文参考訳（メタデータ） (2021-09-03T09:25:57Z)
Directional Convergence Analysis under Spherically Symmetric Distribution [21.145823611499104]
勾配流や勾配降下を伴うニューラルネットワークを用いた線形予測子(すなわち、ゼロマージンの分離可能なデータセット)の学習に関する基礎的な問題を考える。 2つの隠れノードしか持たない2層非線形ネットワークと(ディープ)線形ネットワークに対して、方向収束保証と正確な収束率を示す。
論文参考訳（メタデータ） (2021-05-09T08:59:58Z)
GroupifyVAE: from Group-based Definition to VAE-based Unsupervised Representation Disentanglement [91.9003001845855]
他の誘導バイアスを導入しないと、VAEベースの非監視的非絡み合いは実現できない。グループ理論に基づく定義から導かれる制約を非確率的帰納的バイアスとして活用し,vaeに基づく教師なし不連続に対処する。提案手法の有効性を検証するために,5つのデータセット上で,vaeベースモデルが最も目立つ1800モデルをトレーニングした。
論文参考訳（メタデータ） (2021-02-20T09:49:51Z)
LieTransformer: Equivariant self-attention for Lie Groups [49.9625160479096]
群等価ニューラルネットワークは群不変ニューラルネットワークの構成要素として用いられる。我々は、文学の範囲を、ディープラーニングモデルの顕著な構築ブロックとして現れつつある自己注意にまで広げる。任意のリー群とその離散部分群に同値なリー自己結合層からなる構造であるリー変換器を提案する。
論文参考訳（メタデータ） (2020-12-20T11:02:49Z)
Learning Invariances in Neural Networks [51.20867785006147]
ネットワークパラメータや拡張パラメータに関して,拡張性よりも分布をパラメータ化し,トレーニング損失を同時に最適化する方法を示す。画像分類,回帰,セグメンテーション,分子特性予測における不均一性の正確なセットと範囲を,拡張の広い空間から復元することができる。
論文参考訳（メタデータ） (2020-10-22T17:18:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。