論文の概要: Learning Symmetries via Weight-Sharing with Doubly Stochastic Tensors
- arxiv url: http://arxiv.org/abs/2412.04594v2
- Date: Tue, 14 Jan 2025 11:03:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-15 13:26:28.856829
- Title: Learning Symmetries via Weight-Sharing with Doubly Stochastic Tensors
- Title（参考訳）: 二重確率テンソルを用いた重み共有による対称性の学習
- Authors: Putri A. van der Linden, Alejandro García-Castellanos, Sharvaree Vadgama, Thijs P. Kuipers, Erik J. Bekkers,
- Abstract要約: グループ平等は、ディープラーニングにおいて価値ある帰納的バイアスとして現れてきた。
群同変法は、利害の群を事前に知る必要がある。
データセットが強い対称性を示すと、置換行列は正規群表現に収束することを示す。
- 参考スコア（独自算出の注目度）: 46.59269589647962
- License:
- Abstract: Group equivariance has emerged as a valuable inductive bias in deep learning, enhancing generalization, data efficiency, and robustness. Classically, group equivariant methods require the groups of interest to be known beforehand, which may not be realistic for real-world data. Additionally, baking in fixed group equivariance may impose overly restrictive constraints on model architecture. This highlights the need for methods that can dynamically discover and apply symmetries as soft constraints. For neural network architectures, equivariance is commonly achieved through group transformations of a canonical weight tensor, resulting in weight sharing over a given group $G$. In this work, we propose to learn such a weight-sharing scheme by defining a collection of learnable doubly stochastic matrices that act as soft permutation matrices on canonical weight tensors, which can take regular group representations as a special case. This yields learnable kernel transformations that are jointly optimized with downstream tasks. We show that when the dataset exhibits strong symmetries, the permutation matrices will converge to regular group representations and our weight-sharing networks effectively become regular group convolutions. Additionally, the flexibility of the method enables it to effectively pick up on partial symmetries.
- Abstract（参考訳）: グループ平等は、ディープラーニングにおける価値ある帰納バイアスとして現れ、一般化、データ効率、堅牢性を高めている。
古典的には、群同変法は利害の群を事前に知る必要があるが、これは実世界のデータには現実的でないかもしれない。
さらに、固定群同値のベーキングはモデルアーキテクチャに過度に制限的な制約を課すことがある。
これは、対称性をソフトな制約として動的に発見し、適用できるメソッドの必要性を強調している。
ニューラルネットワークアーキテクチャでは、等分散は正準重みテンソルの群変換によって達成され、与えられた群をG$で共有する。
本研究では,正準重みテンソル上のソフトな置換行列として機能する学習可能な2重確率行列の集合を定義し,正規群表現を特別なケースとして扱うことにより,そのような重み共有方式を学習することを提案する。
これにより、ダウンストリームタスクと共同最適化された学習可能なカーネル変換が得られる。
データセットが強い対称性を示すと、置換行列は正規群表現に収束し、重み共有ネットワークは効果的に正規群畳み込みとなることを示す。
さらに、この手法の柔軟性により、部分対称性を効果的に拾い上げることができる。
関連論文リスト
- Symmetry Discovery for Different Data Types [52.2614860099811]
等価ニューラルネットワークは、そのアーキテクチャに対称性を取り入れ、より高度な一般化性能を実現する。
本稿では,タスクの入出力マッピングを近似したトレーニングニューラルネットワークによる対称性発見手法であるLieSDを提案する。
我々は,2体問題,慣性行列予測のモーメント,トップクォークタグ付けといった課題におけるLieSDの性能を検証した。
論文 参考訳（メタデータ） (2024-10-13T13:39:39Z) - Lie Algebra Canonicalization: Equivariant Neural Operators under arbitrary Lie Groups [11.572188414440436]
我々は、対称性群の無限小生成子の作用のみを利用する新しいアプローチであるLie aLgebrA Canonicalization (LieLAC)を提案する。
標準化のフレームワーク内で運用されているため、LieLACは制約のない事前訓練されたモデルと容易に統合できる。
論文 参考訳（メタデータ） (2024-10-03T17:21:30Z) - Metric Learning for Clifford Group Equivariant Neural Networks [15.551447911164903]
クリフォード群同変ニューラルネットワーク(Clifford Group Equivariant Neural Networks, CGENNs)は、クリフォード代数と多ベクトルを利用して、ニューラル表現における対称性の制約を保証する。
これまでの研究では、内部ネットワークの表現をユークリッドやミンコフスキー(擬似計量)に制限していた。
我々は、CGENNネットワークがより柔軟な表現を学べるように、データ駆動方式でメトリックを学習できる別の方法を提案する。
論文 参考訳（メタデータ） (2024-07-13T15:41:14Z) - Lie Group Decompositions for Equivariant Neural Networks [12.139222986297261]
コンボリューションカーネルをパラメータ化してアフィン変換に対する同変モデルを構築する方法を示す。
我々は,ベンチマークアフィン不変分類タスクにおいて,モデルのロバスト性と分布外一般化能力を評価する。
論文 参考訳（メタデータ） (2023-10-17T16:04:33Z) - Accelerated Discovery of Machine-Learned Symmetries: Deriving the
Exceptional Lie Groups G2, F4 and E6 [55.41644538483948]
このレターでは、対称性変換の発見を著しく高速化する2つの改良されたアルゴリズムを紹介している。
例外的リー群の複雑性を考えると,この機械学習手法は完全に汎用的であり,多種多様なラベル付きデータセットに適用可能であることを示す。
論文 参考訳（メタデータ） (2023-07-10T20:25:44Z) - Learning Probabilistic Symmetrization for Architecture Agnostic Equivariance [16.49488981364657]
群対称性を持つ学習関数における同変アーキテクチャの限界を克服する新しい枠組みを提案する。
我々は、不変量や変圧器のような任意の基底モデルを使用し、それを与えられた群に同変するように対称性付けする。
実証実験は、調整された同変アーキテクチャに対する競争結果を示す。
論文 参考訳（メタデータ） (2023-06-05T13:40:54Z) - Generative Adversarial Symmetry Discovery [19.098785309131458]
リーGANは対称性を解釈可能なリー代数基底として表現し、様々な対称性を発見できる。
学習された対称性は、予測の精度と一般化を改善するために、既存の同変ニューラルネットワークで容易に利用することができる。
論文 参考訳（メタデータ） (2023-02-01T04:28:36Z) - Deep Learning Symmetries and Their Lie Groups, Algebras, and Subalgebras
from First Principles [55.41644538483948]
ラベル付きデータセットに存在する連続した対称性群の検出と同定のためのディープラーニングアルゴリズムを設計する。
完全に接続されたニューラルネットワークを用いて、変換対称性と対応するジェネレータをモデル化する。
また,Lie群とその性質の数学的研究に機械学習アプローチを使うための扉を開く。
論文 参考訳（メタデータ） (2023-01-13T16:25:25Z) - Learning Graphical Factor Models with Riemannian Optimization [70.13748170371889]
本稿では,低ランク構造制約下でのグラフ学習のためのフレキシブルなアルゴリズムフレームワークを提案する。
この問題は楕円分布のペナルティ化された最大推定値として表される。
楕円モデルによく適合する正定行列と定ランクの正半定行列のジオメトリを利用する。
論文 参考訳（メタデータ） (2022-10-21T13:19:45Z) - LieTransformer: Equivariant self-attention for Lie Groups [49.9625160479096]
群等価ニューラルネットワークは群不変ニューラルネットワークの構成要素として用いられる。
我々は、文学の範囲を、ディープラーニングモデルの顕著な構築ブロックとして現れつつある自己注意にまで広げる。
任意のリー群とその離散部分群に同値なリー自己結合層からなる構造であるリー変換器を提案する。
論文 参考訳（メタデータ） (2020-12-20T11:02:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。