論文の概要: On the Ability of Deep Networks to Learn Symmetries from Data: A Neural Kernel Theory
- arxiv url: http://arxiv.org/abs/2412.11521v2
- Date: Thu, 26 Jun 2025 15:02:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-27 17:45:18.795338
- Title: On the Ability of Deep Networks to Learn Symmetries from Data: A Neural Kernel Theory
- Title（参考訳）: 深層ネットワークがデータから対称性を学習する能力について:ニューラルカーネル理論
- Authors: Andrea Perin, Stephane Deny,
- Abstract要約: 本研究では,深層ネットワークがデータから対称性をいつ,どのように学習するかを理解することを目的とする。
実世界のシナリオに触発されて、トレーニング中にデータ対称性が部分的にのみ観察されるような分類パラダイムについて検討する。
カーネル類似が適用される無限幅極限では、対称性学習のニューラルネットワーク理論が導かれる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Symmetries (transformations by group actions) are present in many datasets, and leveraging them holds considerable promise for improving predictions in machine learning. In this work, we aim to understand when and how deep networks -- with standard architectures trained in a standard, supervised way -- learn symmetries from data. Inspired by real-world scenarios, we study a classification paradigm where data symmetries are only partially observed during training: some classes include all transformations of a cyclic group, while others -- only a subset. In the infinite-width limit, where kernel analogies apply, we derive a neural kernel theory of symmetry learning. The group-cyclic nature of the dataset allows us to analyze the Gram matrix of neural kernels in the Fourier domain; here we find a simple characterization of the generalization error as a function of class separation (signal) and class-orbit density (noise). This characterization reveals that generalization can only be successful when the local structure of the data prevails over its non-local, symmetry-induced structure, in the kernel space defined by the architecture. We extend our theoretical treatment to any finite group, including non-abelian groups. Our framework also applies to equivariant architectures (e.g., CNNs), and recovers their success in the special case where the architecture matches the inherent symmetry of the data. Empirically, our theory reproduces the generalization failure of finite-width networks (MLP, CNN, ViT) trained on partially observed versions of rotated-MNIST. We conclude that conventional deep networks lack a mechanism to learn symmetries that have not been explicitly embedded in their architecture a priori. Our framework could be extended to guide the design of architectures and training procedures able to learn symmetries from data.
- Abstract（参考訳）: 対称性(グループアクションによる変換)は多くのデータセットに存在し、それらを活用することで、機械学習の予測を改善するためのかなりの約束が達成される。
この研究は、標準で教師付きされた方法でトレーニングされた、ディープ・ネットワークがデータから対称性をいつ、どのように学習するかを理解することを目的としています。
実世界のシナリオにインスパイアされた私たちは、トレーニング中にデータ対称性が部分的にのみ観察されるような分類パラダイムを研究します。
カーネル類似が適用される無限幅極限では、対称性学習のニューラルネットワーク理論が導かれる。
ここでは、クラス分離(信号)とクラス軌道密度(雑音)の関数として一般化誤差の簡易な特徴づけを求める。
この特徴付けは、アーキテクチャによって定義されるカーネル空間において、データの局所構造が非局所対称性によって引き起こされる構造に支配されるときのみ、一般化が成功することを示している。
我々は、非アーベル群を含む任意の有限群に理論的処理を拡張する。
また、同変アーキテクチャ(例えばCNN)にも適用し、そのアーキテクチャがデータ固有の対称性にマッチする特別な場合において、その成功を回復する。
この理論は、有限幅ネットワーク(MLP, CNN, ViT)の部分的に観察された回転MNISTの一般化失敗を実証的に再現する。
従来のディープネットワークには,アーキテクチャに明示的に組み込まれていない対称性を優先的に学習するメカニズムが欠如している,と結論付けている。
我々のフレームワークは、アーキテクチャの設計をガイドし、データから対称性を学習する訓練手順を拡張することができる。
関連論文リスト
- Learning Broken Symmetries with Approximate Invariance [1.0485739694839669]
多くの場合、正確な基礎となる対称性は理想化されたデータセットにのみ存在し、実際のデータに分解される。
データ拡張や同変ネットワークのような標準的なアプローチは、完全な、壊れた対称性の性質を表現できない。
本稿では,制約のないネットワークの一般性と性能と,制約のないネットワークの高速学習のバランスをとる学習モデルを提案する。
論文 参考訳（メタデータ） (2024-12-25T04:29:04Z) - Symmetry Discovery for Different Data Types [52.2614860099811]
等価ニューラルネットワークは、そのアーキテクチャに対称性を取り入れ、より高度な一般化性能を実現する。
本稿では,タスクの入出力マッピングを近似したトレーニングニューラルネットワークによる対称性発見手法であるLieSDを提案する。
我々は,2体問題,慣性行列予測のモーメント,トップクォークタグ付けといった課題におけるLieSDの性能を検証した。
論文 参考訳（メタデータ） (2024-10-13T13:39:39Z) - Enhancing lattice kinetic schemes for fluid dynamics with Lattice-Equivariant Neural Networks [79.16635054977068]
我々はLattice-Equivariant Neural Networks (LENNs)と呼ばれる新しい同変ニューラルネットワークのクラスを提案する。
我々の手法は、ニューラルネットワークに基づく代理モデルLattice Boltzmann衝突作用素の学習を目的とした、最近導入されたフレームワーク内で開発されている。
本研究は,実世界のシミュレーションにおける機械学習強化Lattice Boltzmann CFDの実用化に向けて展開する。
論文 参考訳（メタデータ） (2024-05-22T17:23:15Z) - Deep Learning Symmetries and Their Lie Groups, Algebras, and Subalgebras
from First Principles [55.41644538483948]
ラベル付きデータセットに存在する連続した対称性群の検出と同定のためのディープラーニングアルゴリズムを設計する。
完全に接続されたニューラルネットワークを用いて、変換対称性と対応するジェネレータをモデル化する。
また,Lie群とその性質の数学的研究に機械学習アプローチを使うための扉を開く。
論文 参考訳（メタデータ） (2023-01-13T16:25:25Z) - LieGG: Studying Learned Lie Group Generators [1.5293427903448025]
ニューラルネットワークに組み込まれた対称性は、データを保存して学習することで、幅広いタスクに対して非常に有益であるように思える。
本稿では,ニューラルネットワークが学習した対称性を抽出し,ネットワークの不変度を評価する手法を提案する。
論文 参考訳（メタデータ） (2022-10-09T20:42:37Z) - On the Symmetries of Deep Learning Models and their Internal
Representations [1.418465438044804]
我々は、モデルのファミリーのアーキテクチャから生じる対称性と、そのファミリーの内部データ表現の対称性を結びつけることを目指している。
我々の研究は、ネットワークの対称性が、そのネットワークのデータ表現の対称性に伝播されることを示唆している。
論文 参考訳（メタデータ） (2022-05-27T22:29:08Z) - Quasi-orthogonality and intrinsic dimensions as measures of learning and
generalisation [55.80128181112308]
ニューラルネットワークの特徴空間の次元性と準直交性は、ネットワークの性能差別と共同して機能する可能性があることを示す。
本研究は, ネットワークの最終的な性能と, ランダムに初期化された特徴空間の特性との関係を示唆する。
論文 参考訳（メタデータ） (2022-03-30T21:47:32Z) - Dynamic Inference with Neural Interpreters [72.90231306252007]
本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。
モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。
ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
論文 参考訳（メタデータ） (2021-10-12T23:22:45Z) - Encoding Involutory Invariance in Neural Networks [1.6371837018687636]
ある状況では、ニューラルネットワーク(NN)は、基礎となる物理対称性に従うデータに基づいて訓練される。
本研究では、関数がパリティまでのインボリュート線型/ファイン変換に対して不変な特別な対称性について検討する。
数値実験により,提案モデルが与えられた対称性を尊重しながらベースラインネットワークより優れていたことが示唆された。
また,本手法を水平/垂直反射対称性を持つデータセットに対する畳み込みNN分類タスクに適用する手法も提案されている。
論文 参考訳（メタデータ） (2021-06-07T16:07:15Z) - MDP Homomorphic Networks: Group Symmetries in Reinforcement Learning [90.20563679417567]
本稿では,深層強化学習のためのMDP準同型ネットワークを提案する。
MDP準同型ネットワーク(英: MDP homomorphic network)は、MDPの結合状態-作用空間における対称性の下で不変なニューラルネットワークである。
このようなネットワークは,グリッドワールドであるCartPoleとPongの非構造化ネットワークよりも高速に収束することを示す。
論文 参考訳（メタデータ） (2020-06-30T15:38:37Z) - Detecting Symmetries with Neural Networks [0.0]
ニューラルネットワークの埋め込み層における構造を広範囲に活用する。
我々は、対称性が存在するかどうかを特定し、入力中の対称性の軌道を特定する。
この例では、グラフの観点で新しいデータ表現を示す。
論文 参考訳（メタデータ） (2020-03-30T17:58:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。