論文の概要: On the Ability of Deep Networks to Learn Symmetries from Data: A Neural Kernel Theory
- arxiv url: http://arxiv.org/abs/2412.11521v1
- Date: Mon, 16 Dec 2024 07:56:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-17 13:55:55.332416
- Title: On the Ability of Deep Networks to Learn Symmetries from Data: A Neural Kernel Theory
- Title（参考訳）: 深層ネットワークがデータから対称性を学習する能力について:ニューラルカーネル理論
- Authors: Andrea Perin, Stephane Deny,
- Abstract要約: 一般化は、データの局所構造が非局所的、対称的構造よりも優勢である場合にのみ成功することを示す。
我々のフレームワークは、アーキテクチャの設計をガイドし、データから対称性を学習する訓練手順を拡張することができる。
- 参考スコア（独自算出の注目度）: 0.0
- License:
- Abstract: Symmetries (transformations by group actions) are present in many datasets, and leveraging them holds significant promise for improving predictions in machine learning. In this work, we aim to understand when and how deep networks can learn symmetries from data. We focus on a supervised classification paradigm where data symmetries are only partially observed during training: some classes include all transformations of a cyclic group, while others include only a subset. We ask: can deep networks generalize symmetry invariance to the partially sampled classes? In the infinite-width limit, where kernel analogies apply, we derive a neural kernel theory of symmetry learning to address this question. The group-cyclic nature of the dataset allows us to analyze the spectrum of neural kernels in the Fourier domain; here we find a simple characterization of the generalization error as a function of the interaction between class separation (signal) and class-orbit density (noise). We observe that generalization can only be successful when the local structure of the data prevails over its non-local, symmetric, structure, in the kernel space defined by the architecture. This occurs when (1) classes are sufficiently distinct and (2) class orbits are sufficiently dense. Our framework also applies to equivariant architectures (e.g., CNNs), and recovers their success in the special case where the architecture matches the inherent symmetry of the data. Empirically, our theory reproduces the generalization failure of finite-width networks (MLP, CNN, ViT) trained on partially observed versions of rotated-MNIST. We conclude that conventional networks trained with supervision lack a mechanism to learn symmetries that have not been explicitly embedded in their architecture a priori. Our framework could be extended to guide the design of architectures and training procedures able to learn symmetries from data.
- Abstract（参考訳）: 対称性(グループアクションによる変換)は多くのデータセットに存在し、それらを活用することは、機械学習の予測を改善するための重要な約束である。
本研究では,深層ネットワークがデータから対称性をいつ,どのように学習できるかを理解することを目的とする。
我々は、訓練中にデータ対称性が部分的にのみ観察されるような教師付き分類パラダイムに注目し、あるクラスは循環群のすべての変換を含むが、他のクラスはサブセットのみを含む。
私たちは、ディープ・ネットワークは部分的にサンプリングされたクラスに対する対称性の不変性を一般化できるだろうか?
カーネル類似が適用される無限幅極限では、この問題に対処するために対称性学習の神経核理論が導かれる。
ここでは、クラス分離(信号)とクラス軌道密度(雑音)の相互作用の関数として一般化誤差の単純な特徴付けを見つける。
一般化は、アーキテクチャによって定義されるカーネル空間において、データの局所構造が非局所的、対称的、構造に支配される場合にのみ成功する。
これは(1)クラスが十分に区別され、(2)クラス軌道が十分に密度が高いときに起こる。
また、同変アーキテクチャ(例えばCNN)にも適用し、そのアーキテクチャがデータ固有の対称性にマッチする特別な場合において、その成功を回復する。
この理論は、有限幅ネットワーク(MLP, CNN, ViT)の部分的に観察された回転MNISTの一般化失敗を実証的に再現する。
従来のネットワークには、アーキテクチャに明示的に組み込まれていない対称性を優先的に学習するためのメカニズムが欠けていると結論付けている。
我々のフレームワークは、アーキテクチャの設計をガイドし、データから対称性を学習する訓練手順を拡張することができる。
関連論文リスト
- Symmetry Discovery for Different Data Types [52.2614860099811]
等価ニューラルネットワークは、そのアーキテクチャに対称性を取り入れ、より高度な一般化性能を実現する。
本稿では,タスクの入出力マッピングを近似したトレーニングニューラルネットワークによる対称性発見手法であるLieSDを提案する。
我々は,2体問題,慣性行列予測のモーメント,トップクォークタグ付けといった課題におけるLieSDの性能を検証した。
論文 参考訳（メタデータ） (2024-10-13T13:39:39Z) - Enhancing lattice kinetic schemes for fluid dynamics with Lattice-Equivariant Neural Networks [79.16635054977068]
我々はLattice-Equivariant Neural Networks (LENNs)と呼ばれる新しい同変ニューラルネットワークのクラスを提案する。
我々の手法は、ニューラルネットワークに基づく代理モデルLattice Boltzmann衝突作用素の学習を目的とした、最近導入されたフレームワーク内で開発されている。
本研究は,実世界のシミュレーションにおける機械学習強化Lattice Boltzmann CFDの実用化に向けて展開する。
論文 参考訳（メタデータ） (2024-05-22T17:23:15Z) - A Unified Framework to Enforce, Discover, and Promote Symmetry in Machine Learning [5.1105250336911405]
機械学習モデルに対称性を組み込むための統一理論および方法論の枠組みを提供する。
対称性の強制と発見は、リー微分の双線型構造に対して双対である線形代数的タスクであることを示す。
本稿では、リー微分と核ノルム緩和に基づく凸正規化関数のクラスを導入することで対称性を促進する新しい方法を提案する。
論文 参考訳（メタデータ） (2023-11-01T01:19:54Z) - Deep Learning Symmetries and Their Lie Groups, Algebras, and Subalgebras
from First Principles [55.41644538483948]
ラベル付きデータセットに存在する連続した対称性群の検出と同定のためのディープラーニングアルゴリズムを設計する。
完全に接続されたニューラルネットワークを用いて、変換対称性と対応するジェネレータをモデル化する。
また,Lie群とその性質の数学的研究に機械学習アプローチを使うための扉を開く。
論文 参考訳（メタデータ） (2023-01-13T16:25:25Z) - LieGG: Studying Learned Lie Group Generators [1.5293427903448025]
ニューラルネットワークに組み込まれた対称性は、データを保存して学習することで、幅広いタスクに対して非常に有益であるように思える。
本稿では,ニューラルネットワークが学習した対称性を抽出し,ネットワークの不変度を評価する手法を提案する。
論文 参考訳（メタデータ） (2022-10-09T20:42:37Z) - On the Symmetries of Deep Learning Models and their Internal
Representations [1.418465438044804]
我々は、モデルのファミリーのアーキテクチャから生じる対称性と、そのファミリーの内部データ表現の対称性を結びつけることを目指している。
我々の研究は、ネットワークの対称性が、そのネットワークのデータ表現の対称性に伝播されることを示唆している。
論文 参考訳（メタデータ） (2022-05-27T22:29:08Z) - Quasi-orthogonality and intrinsic dimensions as measures of learning and
generalisation [55.80128181112308]
ニューラルネットワークの特徴空間の次元性と準直交性は、ネットワークの性能差別と共同して機能する可能性があることを示す。
本研究は, ネットワークの最終的な性能と, ランダムに初期化された特徴空間の特性との関係を示唆する。
論文 参考訳（メタデータ） (2022-03-30T21:47:32Z) - Dynamic Inference with Neural Interpreters [72.90231306252007]
本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。
モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。
ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
論文 参考訳（メタデータ） (2021-10-12T23:22:45Z) - Encoding Involutory Invariance in Neural Networks [1.6371837018687636]
ある状況では、ニューラルネットワーク(NN)は、基礎となる物理対称性に従うデータに基づいて訓練される。
本研究では、関数がパリティまでのインボリュート線型/ファイン変換に対して不変な特別な対称性について検討する。
数値実験により,提案モデルが与えられた対称性を尊重しながらベースラインネットワークより優れていたことが示唆された。
また,本手法を水平/垂直反射対称性を持つデータセットに対する畳み込みNN分類タスクに適用する手法も提案されている。
論文 参考訳（メタデータ） (2021-06-07T16:07:15Z) - MDP Homomorphic Networks: Group Symmetries in Reinforcement Learning [90.20563679417567]
本稿では,深層強化学習のためのMDP準同型ネットワークを提案する。
MDP準同型ネットワーク(英: MDP homomorphic network)は、MDPの結合状態-作用空間における対称性の下で不変なニューラルネットワークである。
このようなネットワークは,グリッドワールドであるCartPoleとPongの非構造化ネットワークよりも高速に収束することを示す。
論文 参考訳（メタデータ） (2020-06-30T15:38:37Z) - Detecting Symmetries with Neural Networks [0.0]
ニューラルネットワークの埋め込み層における構造を広範囲に活用する。
我々は、対称性が存在するかどうかを特定し、入力中の対称性の軌道を特定する。
この例では、グラフの観点で新しいデータ表現を示す。
論文 参考訳（メタデータ） (2020-03-30T17:58:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。