論文の概要: LieGG: Studying Learned Lie Group Generators
- arxiv url: http://arxiv.org/abs/2210.04345v1
- Date: Sun, 9 Oct 2022 20:42:37 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-11 18:41:13.377635
- Title: LieGG: Studying Learned Lie Group Generators
- Title(参考訳): LieGG:学習リー群発電機の研究
- Authors: Artem Moskalev, Anna Sepliarskaia, Ivan Sosnovik, Arnold Smeulders
- Abstract要約: ニューラルネットワークに組み込まれた対称性は、データを保存して学習することで、幅広いタスクに対して非常に有益であるように思える。
本稿では,ニューラルネットワークが学習した対称性を抽出し,ネットワークの不変度を評価する手法を提案する。
- 参考スコア(独自算出の注目度): 1.5293427903448025
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Symmetries built into a neural network have appeared to be very beneficial
for a wide range of tasks as it saves the data to learn them. We depart from
the position that when symmetries are not built into a model a priori, it is
advantageous for robust networks to learn symmetries directly from the data to
fit a task function. In this paper, we present a method to extract symmetries
learned by a neural network and to evaluate the degree to which a network is
invariant to them. With our method, we are able to explicitly retrieve learned
invariances in a form of the generators of corresponding Lie-groups without
prior knowledge of symmetries in the data. We use the proposed method to study
how symmetrical properties depend on a neural network's parameterization and
configuration. We found that the ability of a network to learn symmetries
generalizes over a range of architectures. However, the quality of learned
symmetries depends on the depth and the number of parameters.
- Abstract(参考訳): ニューラルネットワークに組み込まれた対称性は、データを保存して学習することで、幅広いタスクに対して非常に有益であるように思える。
我々は、モデルに対称性が組み込まれていない場合、ロバストネットワークがデータから直接対称性を学習してタスク関数に適合させるのが有利である、という立場から離れる。
本稿では,ニューラルネットワークが学習した対称性を抽出し,ネットワークの不変度を評価する手法を提案する。
本手法では,データの対称性を事前に知ることなく,対応するリー群の生成元の形で学習不変性を明示的に検索することができる。
提案手法を用いて,ニューラルネットワークのパラメータ化と構成に依存する対称性について検討する。
ネットワークが対称性を学習する能力は、さまざまなアーキテクチャを一般化していることが分かりました。
しかし、学習対称性の質は、深さとパラメータの数に依存する。
関連論文リスト
- A Unified Framework to Enforce, Discover, and Promote Symmetry in
Machine Learning [5.582881461692378]
機械学習モデルに対称性を組み込むための統一理論および方法論の枠組みを提供する。
対称性の強制と発見は、リー微分の双線型構造に対して双対である線形代数的タスクであることを示す。
これらのアイデアを、基底関数回帰、動的システム発見、多層パーセプトロン、画像などの空間場に作用するニューラルネットワークなど、幅広い機械学習モデルに適用する方法について説明する。
論文 参考訳(メタデータ) (2023-11-01T01:19:54Z) - Riemannian Residual Neural Networks [58.925132597945634]
残余ニューラルネットワーク(ResNet)の拡張方法を示す。
ResNetは、機械学習において、有益な学習特性、優れた経験的結果、そして様々なニューラルネットワークを構築する際に容易に組み込める性質のために、ユビキタスになった。
論文 参考訳(メタデータ) (2023-10-16T02:12:32Z) - Learning Layer-wise Equivariances Automatically using Gradients [66.81218780702125]
畳み込みは等価対称性をニューラルネットワークにエンコードし、より優れた一般化性能をもたらす。
対称性は、ネットワークが表現できる機能、事前に指定する必要、適応できない機能に対して、固定されたハード制約を提供する。
私たちのゴールは、勾配を使ってデータから自動的に学習できるフレキシブル対称性の制約を可能にすることです。
論文 参考訳(メタデータ) (2023-10-09T20:22:43Z) - Learning Lie Group Symmetry Transformations with Neural Networks [17.49001206996365]
この研究は、データセットに存在する未知の対称性、すなわちリー群対称性変換の発見と特徴付けに焦点を当てている。
私たちのゴールは、変換グループとパラメータ値の分布を特徴づけることです。
その結果、どちらの設定でもアプローチの有効性が示された。
論文 参考訳(メタデータ) (2023-07-04T09:23:24Z) - Hidden symmetries of ReLU networks [17.332539115959708]
一部のネットワークでは、ある層内のニューロンの置換と、ニューロンにおけるパラメータの正のスケーリングが唯一の対称性であり、他のネットワークでは、追加の隠れ対称性が認められる。
本研究では, 層が入力よりも狭いネットワークアーキテクチャでは, 隠れ対称性を持たないパラメータ設定が存在することを証明した。
論文 参考訳(メタデータ) (2023-06-09T18:07:06Z) - Generative Adversarial Symmetry Discovery [19.098785309131458]
リーGANは対称性を解釈可能なリー代数基底として表現し、様々な対称性を発見できる。
学習された対称性は、予測の精度と一般化を改善するために、既存の同変ニューラルネットワークで容易に利用することができる。
論文 参考訳(メタデータ) (2023-02-01T04:28:36Z) - Deep Learning Symmetries and Their Lie Groups, Algebras, and Subalgebras
from First Principles [55.41644538483948]
ラベル付きデータセットに存在する連続した対称性群の検出と同定のためのディープラーニングアルゴリズムを設計する。
完全に接続されたニューラルネットワークを用いて、変換対称性と対応するジェネレータをモデル化する。
また,Lie群とその性質の数学的研究に機械学習アプローチを使うための扉を開く。
論文 参考訳(メタデータ) (2023-01-13T16:25:25Z) - Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。
提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。
我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
論文 参考訳(メタデータ) (2022-09-26T17:59:58Z) - Learning Invariances in Neural Networks [51.20867785006147]
ネットワークパラメータや拡張パラメータに関して,拡張性よりも分布をパラメータ化し,トレーニング損失を同時に最適化する方法を示す。
画像分類,回帰,セグメンテーション,分子特性予測における不均一性の正確なセットと範囲を,拡張の広い空間から復元することができる。
論文 参考訳(メタデータ) (2020-10-22T17:18:48Z) - Meta-Learning Symmetries by Reparameterization [63.85144439337671]
データから対応するパラメータ共有パターンを学習し、等価性をネットワークに学習し、符号化する手法を提案する。
本実験は,画像処理タスクで使用される共通変換に等価性をエンコードして自動的に学習できることを示唆する。
論文 参考訳(メタデータ) (2020-07-06T17:59:54Z) - Detecting Symmetries with Neural Networks [0.0]
ニューラルネットワークの埋め込み層における構造を広範囲に活用する。
我々は、対称性が存在するかどうかを特定し、入力中の対称性の軌道を特定する。
この例では、グラフの観点で新しいデータ表現を示す。
論文 参考訳(メタデータ) (2020-03-30T17:58:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。