論文の概要: A Unified Framework to Enforce, Discover, and Promote Symmetry in
Machine Learning
- arxiv url: http://arxiv.org/abs/2311.00212v1
- Date: Wed, 1 Nov 2023 01:19:54 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-02 15:22:03.515618
- Title: A Unified Framework to Enforce, Discover, and Promote Symmetry in
Machine Learning
- Title（参考訳）: 機械学習における対称性の強制、発見、促進のための統一フレームワーク
- Authors: Samuel E. Otto, Nicholas Zolman, J. Nathan Kutz, Steven L. Brunton
- Abstract要約: 機械学習モデルに対称性を組み込むための統一理論および方法論の枠組みを提供する。
対称性の強制と発見は、リー微分の双線型構造に対して双対である線形代数的タスクであることを示す。
これらのアイデアを、基底関数回帰、動的システム発見、多層パーセプトロン、画像などの空間場に作用するニューラルネットワークなど、幅広い機械学習モデルに適用する方法について説明する。
- 参考スコア（独自算出の注目度）: 5.582881461692378
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Symmetry is present throughout nature and continues to play an increasingly
central role in physics and machine learning. Fundamental symmetries, such as
Poincar\'{e} invariance, allow physical laws discovered in laboratories on
Earth to be extrapolated to the farthest reaches of the universe. Symmetry is
essential to achieving this extrapolatory power in machine learning
applications. For example, translation invariance in image classification
allows models with fewer parameters, such as convolutional neural networks, to
be trained on smaller data sets and achieve state-of-the-art performance. In
this paper, we provide a unifying theoretical and methodological framework for
incorporating symmetry into machine learning models in three ways: 1. enforcing
known symmetry when training a model; 2. discovering unknown symmetries of a
given model or data set; and 3. promoting symmetry during training by learning
a model that breaks symmetries within a user-specified group of candidates when
there is sufficient evidence in the data. We show that these tasks can be cast
within a common mathematical framework whose central object is the Lie
derivative associated with fiber-linear Lie group actions on vector bundles. We
extend and unify several existing results by showing that enforcing and
discovering symmetry are linear-algebraic tasks that are dual with respect to
the bilinear structure of the Lie derivative. We also propose a novel way to
promote symmetry by introducing a class of convex regularization functions
based on the Lie derivative and nuclear norm relaxation to penalize symmetry
breaking during training of machine learning models. We explain how these ideas
can be applied to a wide range of machine learning models including basis
function regression, dynamical systems discovery, multilayer perceptrons, and
neural networks acting on spatial fields such as images.
- Abstract（参考訳）: 対称性は自然界に存在し、物理と機械学習においてますます中心的な役割を担っている。
Poincar\'{e}不変性のような基本的な対称性は、地球上の研究所で発見された物理法則を宇宙の最も遠い領域に外挿することができる。
シンメトリーは、機械学習アプリケーションでこの外挿能力を達成するために不可欠である。
例えば、画像分類における変換不変性により、畳み込みニューラルネットワークのようなより少ないパラメータを持つモデルは、より小さなデータセットでトレーニングされ、最先端のパフォーマンスを達成することができる。
本稿では,機械学習モデルに対称性を組み込むための統一理論と方法論の枠組みについて述べる。
一 模型の訓練の際に既知の対称性を課すこと。
2 所定のモデル又はデータセットの未知の対称性の発見及び
3.データに十分な証拠がある場合に、ユーザ特定候補グループ内の対称性を破るモデルを学ぶことにより、トレーニング中の対称性を促進すること。
これらのタスクは、ベクトル束上のファイバー線形リー群作用に付随するリー微分を中心対象とする共通の数学的枠組みの中にキャストできることを示す。
我々は、対称性の強制と発見がリー微分の双線型構造に対して双対な線形代数的タスクであることを示し、いくつかの既存の結果を拡張し、統一する。
また,機械学習モデルのトレーニング中に対称性の破れをペナル化するために,リー微分と核ノルム緩和に基づく凸正規化関数のクラスを導入することで,対称性を促進する新しい手法を提案する。
これらのアイデアを、基底関数回帰、動的システム発見、多層パーセプトロン、画像などの空間場に作用するニューラルネットワークなど、幅広い機械学習モデルに適用する方法について説明する。
関連論文リスト
- Learning Infinitesimal Generators of Continuous Symmetries from Data [15.42275880523356]
1-パラメータ群で定義された変換に基づく新しい対称性学習アルゴリズムを提案する。
この手法は最小限の帰納バイアスに基づいて構築され、リー群に根付いた一般的な対称性だけでなく、非線形発生器由来の対称性にまで拡張される。
論文 参考訳（メタデータ） (2024-10-29T08:28:23Z) - Symmetry Discovery for Different Data Types [52.2614860099811]
等価ニューラルネットワークは、そのアーキテクチャに対称性を取り入れ、より高度な一般化性能を実現する。
本稿では,タスクの入出力マッピングを近似したトレーニングニューラルネットワークによる対称性発見手法であるLieSDを提案する。
我々は,2体問題,慣性行列予測のモーメント,トップクォークタグ付けといった課題におけるLieSDの性能を検証した。
論文 参考訳（メタデータ） (2024-10-13T13:39:39Z) - Symmetry From Scratch: Group Equivariance as a Supervised Learning Task [1.8570740863168362]
対称性を持つ機械学習データセットにおいて、対称性の破れとの後方互換性のパラダイムは、同変のアーキテクチャ制約を緩和することであった。
機械学習モデルにおける同値化を誘導する手法である対称性閉包を導入する。
論文 参考訳（メタデータ） (2024-10-05T00:44:09Z) - Enhancing lattice kinetic schemes for fluid dynamics with Lattice-Equivariant Neural Networks [79.16635054977068]
我々はLattice-Equivariant Neural Networks (LENNs)と呼ばれる新しい同変ニューラルネットワークのクラスを提案する。
我々の手法は、ニューラルネットワークに基づく代理モデルLattice Boltzmann衝突作用素の学習を目的とした、最近導入されたフレームワーク内で開発されている。
本研究は,実世界のシミュレーションにおける機械学習強化Lattice Boltzmann CFDの実用化に向けて展開する。
論文 参考訳（メタデータ） (2024-05-22T17:23:15Z) - A Generative Model of Symmetry Transformations [44.87295754993983]
我々はデータの近似対称性を明示的に捉えることを目的とした生成モデルを構築した。
我々は、アフィンおよび色変換の下で対称性を捕捉する能力を実証的に実証した。
論文 参考訳（メタデータ） (2024-03-04T11:32:18Z) - ${\rm E}(3)$-Equivariant Actor-Critic Methods for Cooperative Multi-Agent Reinforcement Learning [7.712824077083934]
我々は,ある協調型マルチエージェント強化学習問題に固有のユークリッド対称性の活用に焦点をあてる。
我々は,マルチエージェントアクター批判手法の帰納バイアスとして,対称的制約を組み込んだニューラルネットワークアーキテクチャを設計する。
論文 参考訳（メタデータ） (2023-08-23T00:18:17Z) - FAENet: Frame Averaging Equivariant GNN for Materials Modeling [123.19473575281357]
データ変換による任意のモデルE(3)-同変や不変化を実現するために,フレームアラグリング(SFA)に依存したフレキシブルなフレームワークを導入する。
本手法の有効性を理論的および実験的に証明し, 材料モデリングにおける精度と計算スケーラビリティを実証する。
論文 参考訳（メタデータ） (2023-04-28T21:48:31Z) - Capturing dynamical correlations using implicit neural representations [85.66456606776552]
実験データから未知のパラメータを復元するために、モデルハミルトンのシミュレーションデータを模倣するために訓練されたニューラルネットワークと自動微分を組み合わせた人工知能フレームワークを開発する。
そこで本研究では, 実時間から多次元散乱データに適用可能な微分可能なモデルを1回だけ構築し, 訓練する能力について述べる。
論文 参考訳（メタデータ） (2023-04-08T07:55:36Z) - Generative Adversarial Symmetry Discovery [19.098785309131458]
リーGANは対称性を解釈可能なリー代数基底として表現し、様々な対称性を発見できる。
学習された対称性は、予測の精度と一般化を改善するために、既存の同変ニューラルネットワークで容易に利用することができる。
論文 参考訳（メタデータ） (2023-02-01T04:28:36Z) - Deep Learning Symmetries and Their Lie Groups, Algebras, and Subalgebras
from First Principles [55.41644538483948]
ラベル付きデータセットに存在する連続した対称性群の検出と同定のためのディープラーニングアルゴリズムを設計する。
完全に接続されたニューラルネットワークを用いて、変換対称性と対応するジェネレータをモデル化する。
また,Lie群とその性質の数学的研究に機械学習アプローチを使うための扉を開く。
論文 参考訳（メタデータ） (2023-01-13T16:25:25Z) - Learning Physical Dynamics with Subequivariant Graph Neural Networks [99.41677381754678]
グラフニューラルネットワーク(GNN)は、物理力学を学習するための一般的なツールとなっている。
物理法則は、モデル一般化に必須な帰納バイアスである対称性に従属する。
本モデルは,RigidFall上でのPhysylonと2倍低ロールアウトMSEの8つのシナリオにおいて,平均3%以上の接触予測精度の向上を実現している。
論文 参考訳（メタデータ） (2022-10-13T10:00:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。