論文の概要: A tradeoff between universality of equivariant models and learnability of symmetries

• arxiv url: http://arxiv.org/abs/2210.09444v1
• Date: Mon, 17 Oct 2022 21:23:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-19 13:48:06.529978
• Title: A tradeoff between universality of equivariant models and learnability of symmetries
• Title（参考訳）: 等価モデルの普遍性と対称性の学習可能性とのトレードオフ
• Authors: Vasco Portilheiro
• Abstract要約: 特定の条件下で対称性と関数を同時に学習することは不可能であることを示す。 我々は、ニューラルネットワークの特定のファミリーを分析し、それらが不合理な結果の条件を満たすかどうかを判断する。 実用面では、グループ畳み込みニューラルネットワークの分析により、よく知られた畳み込みを一般化することができる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We prove an impossibility result, which in the context of function learning says the following: under certain conditions, it is impossible to simultaneously learn symmetries and functions equivariant under them using an ansatz consisting of equivariant functions. To formalize this statement, we carefully study notions of approximation for groups and semigroups. We analyze certain families of neural networks for whether they satisfy the conditions of the impossibility result: what we call ``linearly equivariant'' networks, and group-convolutional networks. A lot can be said precisely about linearly equivariant networks, making them theoretically useful. On the practical side, our analysis of group-convolutional neural networks allows us generalize the well-known ``convolution is all you need'' theorem to non-homogeneous spaces. We additionally find an important difference between group convolution and semigroup convolution.
• Abstract（参考訳）: 関数学習の文脈では、ある条件下では、同変関数からなるアンザッツを用いて対称性と同変関数を同時に学習することは不可能である。 この文を形式化するために、群と半群に対する近似の概念を慎重に研究する。 我々は,「線形同変」ネットワークと呼ばれるもの,および群畳み込みネットワークという,非可算結果の条件を満たすかどうかについて,ニューラルネットワークの特定のファミリーを分析した。 線形同変ネットワークについてよく言えることがあり、理論的に有用である。 実用面では、グループ畳み込みニューラルネットワークの解析により、よく知られた ‘convolution is all you need''' の定理を非一様空間に一般化することができる。 グループ畳み込みとセミグループ畳み込みの間にも重要な違いがある。

関連論文リスト

• Symmetry Discovery for Different Data Types [52.2614860099811]
  等価ニューラルネットワークは、そのアーキテクチャに対称性を取り入れ、より高度な一般化性能を実現する。 本稿では,タスクの入出力マッピングを近似したトレーニングニューラルネットワークによる対称性発見手法であるLieSDを提案する。 我々は,2体問題,慣性行列予測のモーメント,トップクォークタグ付けといった課題におけるLieSDの性能を検証した。
  論文  参考訳（メタデータ） (2024-10-13T13:39:39Z)
• A Characterization Theorem for Equivariant Networks with Point-wise Activations [13.00676132572457]
  回転同変ネットワークは、連結コンパクト群に対して同変である任意のネットワークに対してのみ不変であることを示す。 本稿では, 畳み込み可能な畳み込み型ニューラルネットワークの特徴空間が, 自明な表現であることを示す。
  論文  参考訳（メタデータ） (2024-01-17T14:30:46Z)
• Harmonics of Learning: Universal Fourier Features Emerge in Invariant Networks [14.259918357897408]
  ある条件下では、ニューラルネットワークが有限群に不変であれば、その重みはその群上のフーリエ変換を回復する。 これは、生物学的および人工的な学習システムにおいて、ユビキタスな現象であるフーリエ特徴の出現に関する数学的説明を提供する。
  論文  参考訳（メタデータ） (2023-12-13T22:42:55Z)
• Lie Group Decompositions for Equivariant Neural Networks [12.139222986297261]
  コンボリューションカーネルをパラメータ化してアフィン変換に対する同変モデルを構築する方法を示す。 我々は,ベンチマークアフィン不変分類タスクにおいて,モデルのロバスト性と分布外一般化能力を評価する。
  論文  参考訳（メタデータ） (2023-10-17T16:04:33Z)
• Deep Learning Symmetries and Their Lie Groups, Algebras, and Subalgebras from First Principles [55.41644538483948]
  ラベル付きデータセットに存在する連続した対称性群の検出と同定のためのディープラーニングアルゴリズムを設計する。 完全に接続されたニューラルネットワークを用いて、変換対称性と対応するジェネレータをモデル化する。 また,Lie群とその性質の数学的研究に機械学習アプローチを使うための扉を開く。
  論文  参考訳（メタデータ） (2023-01-13T16:25:25Z)
• Capacity of Group-invariant Linear Readouts from Equivariant Representations: How Many Objects can be Linearly Classified Under All Possible Views? [21.06669693699965]
  分離可能な二コトミーの分数は群作用によって固定される空間の次元によって決定される。 この関係が、畳み込み、要素ワイド非線形性、大域的および局所的なプーリングなどの操作にどのように拡張されるかを示す。
  論文  参考訳（メタデータ） (2021-10-14T15:46:53Z)
• Convolutional Filtering and Neural Networks with Non Commutative Algebras [153.20329791008095]
  本研究では,非可換畳み込みニューラルネットワークの一般化について検討する。 非可換畳み込み構造は作用素空間上の変形に対して安定であることを示す。
  論文  参考訳（メタデータ） (2021-08-23T04:22:58Z)
• Coordinate Independent Convolutional Networks -- Isometry and Gauge Equivariant Convolutions on Riemannian Manifolds [70.32518963244466]
  平坦空間と比較して大きな複雑さは、コンボリューション核が多様体にどのようなアライメントを適用するべきかが不明確であることである。 コーディネート化の特定の選択は、ネットワークの推論に影響を与えるべきではない、と我々は主張する。 座標独立と重み共有の同時要求は、ネットワーク上の同変要求をもたらす。
  論文  参考訳（メタデータ） (2021-06-10T19:54:19Z)
• Universal Approximation Theorem for Equivariant Maps by Group CNNs [14.810452619505137]
  本稿では,CNNによる同値写像の普遍近似定理の統一手法を提案する。 その大きな利点として、非コンパクト群に対する無限次元空間間の非線形同変写像を扱うことができる。
  論文  参考訳（メタデータ） (2020-12-27T07:09:06Z)
• LieTransformer: Equivariant self-attention for Lie Groups [49.9625160479096]
  群等価ニューラルネットワークは群不変ニューラルネットワークの構成要素として用いられる。 我々は、文学の範囲を、ディープラーニングモデルの顕著な構築ブロックとして現れつつある自己注意にまで広げる。 任意のリー群とその離散部分群に同値なリー自己結合層からなる構造であるリー変換器を提案する。
  論文  参考訳（メタデータ） (2020-12-20T11:02:49Z)
• Coupling-based Invertible Neural Networks Are Universal Diffeomorphism Approximators [72.62940905965267]
  結合フロー(CF-INN)に基づく可逆ニューラルネットワークは、画像合成や表現学習など、さまざまな機械学習応用を有する。 CF-INNは可逆関数に対する普遍近似器か? 我々は、ある微分同相類に対する普遍性の同値性を示す一般的な定理を証明する。
  論文  参考訳（メタデータ） (2020-06-20T02:07:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。