論文の概要: Harmonics of Learning: Universal Fourier Features Emerge in Invariant Networks

• arxiv url: http://arxiv.org/abs/2312.08550v2
• Date: Sat, 23 Dec 2023 06:04:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-27 20:56:46.883159
• Title: Harmonics of Learning: Universal Fourier Features Emerge in Invariant Networks
• Title（参考訳）: 学習の調和:不変ネットワークに現れる普遍的フーリエ特徴
• Authors: Giovanni Luca Marchetti, Christopher Hillar, Danica Kragic, Sophia Sanborn
• Abstract要約: ある条件下では、ニューラルネットワークが有限群に不変であれば、その重みはその群上のフーリエ変換を回復する。 これは、生物学的および人工的な学習システムにおいて、ユビキタスな現象であるフーリエ特徴の出現に関する数学的説明を提供する。
• 参考スコア（独自算出の注目度）: 15.577936380452854
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this work, we formally prove that, under certain conditions, if a neural network is invariant to a finite group then its weights recover the Fourier transform on that group. This provides a mathematical explanation for the emergence of Fourier features -- a ubiquitous phenomenon in both biological and artificial learning systems. The results hold even for non-commutative groups, in which case the Fourier transform encodes all the irreducible unitary group representations. Our findings have consequences for the problem of symmetry discovery. Specifically, we demonstrate that the algebraic structure of an unknown group can be recovered from the weights of a network that is at least approximately invariant within certain bounds. Overall, this work contributes to a foundation for an algebraic learning theory of invariant neural network representations.
• Abstract（参考訳）: この研究において、ある条件下で、ニューラルネットワークが有限群に不変であれば、その重みはその群のフーリエ変換を回復することを正式に証明する。 これは、生物と人工学習システムの両方においてユビキタスな現象であるフーリエ特徴の出現に関する数学的説明を提供する。 結果は非可換群に対しても成り立ち、その場合フーリエ変換はすべての既約ユニタリ群表現を符号化する。 我々の発見は対称性発見の問題に影響を及ぼす。 具体的には、未知群の代数的構造は、ある境界内で少なくともほぼ不変であるネットワークの重みから回復できることを実証する。 全体として、この研究は不変ニューラルネットワーク表現の代数的学習理論の基礎に貢献する。

関連論文リスト

• Unsupervised Learning of Invariance Transformations [105.54048699217668]
  近似グラフ自己同型を見つけるためのアルゴリズムフレームワークを開発する。 重み付きグラフにおける近似自己同型を見つけるために、このフレームワークをどのように利用できるかについて議論する。
  論文  参考訳（メタデータ） (2023-07-24T17:03:28Z)
• A tradeoff between universality of equivariant models and learnability of symmetries [0.0]
  特定の条件下で対称性と関数を同時に学習することは不可能であることを示す。 我々は、ニューラルネットワークの特定のファミリーを分析し、それらが不合理な結果の条件を満たすかどうかを判断する。 実用面では、グループ畳み込みニューラルネットワークの分析により、よく知られた畳み込みを一般化することができる。
  論文  参考訳（メタデータ） (2022-10-17T21:23:22Z)
• Equivariant Transduction through Invariant Alignment [71.45263447328374]
  グループ内ハードアライメント機構を組み込んだ,新しいグループ同変アーキテクチャを提案する。 我々のネットワーク構造は、既存のグループ同変アプローチよりも強い同変特性を発達させることができる。 また、SCANタスクにおいて、従来のグループ同変ネットワークよりも経験的に優れていたことが判明した。
  論文  参考訳（メタデータ） (2022-09-22T11:19:45Z)
• Bispectral Neural Networks [1.0323063834827415]
  ニューラルネットワークアーキテクチャBNN(Bispectral Neural Networks)を提案する。 BNNは、群、その既約表現、および対応する同変写像と完全不変写像を同時に学習することができる。
  論文  参考訳（メタデータ） (2022-09-07T18:34:48Z)
• Equivariant Disentangled Transformation for Domain Generalization under Combination Shift [91.38796390449504]
  ドメインとラベルの組み合わせは、トレーニング中に観察されるのではなく、テスト環境に現れる。 我々は、同型の概念、同値性、および整合性の定義に基づく結合シフト問題の一意的な定式化を提供する。
  論文  参考訳（メタデータ） (2022-08-03T12:31:31Z)
• Unified Fourier-based Kernel and Nonlinearity Design for Equivariant Networks on Homogeneous Spaces [52.424621227687894]
  等質空間上の群同変ネットワークに対する統一的枠組みを導入する。 昇降した特徴場のフーリエ係数の空間性を利用する。 安定化部分群におけるフーリエ係数としての特徴を取り扱う他の方法が、我々のアクティベーションの特別な場合であることを示す。
  論文  参考訳（メタデータ） (2022-06-16T17:59:01Z)
• Convolutional Filtering and Neural Networks with Non Commutative Algebras [153.20329791008095]
  本研究では,非可換畳み込みニューラルネットワークの一般化について検討する。 非可換畳み込み構造は作用素空間上の変形に対して安定であることを示す。
  論文  参考訳（メタデータ） (2021-08-23T04:22:58Z)
• Lorentz Group Equivariant Neural Network for Particle Physics [58.56031187968692]
  ローレンツ群の下での変換に関して完全に同値なニューラルネットワークアーキテクチャを提案する。 素粒子物理学における分類問題に対して、そのような同変構造は、比較的学習可能なパラメータの少ない非常に単純なモデルをもたらすことを実証する。
  論文  参考訳（メタデータ） (2020-06-08T17:54:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。