論文の概要: Discovering Symmetry Group Structures via Implicit Orthogonality Bias
- arxiv url: http://arxiv.org/abs/2402.17002v3
- Date: Thu, 7 Mar 2024 03:03:06 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-08 16:47:47.609930
- Title: Discovering Symmetry Group Structures via Implicit Orthogonality Bias
- Title(参考訳): 入射直交バイアスによる対称性群構造の発見
- Authors: Dongsung Huh
- Abstract要約: データ内の対称性グループ構造を自律的に発見するための新しいアプローチであるHyperCubeネットワークを導入する。
HyperCubeは、部分的に観測されたデータからジェネラルグループ操作を効率的に学習する。
結果から,本手法はデータ内の固有対称性を活用可能な,新たな学習モデルのクラスを解き放つことが示唆された。
- 参考スコア(独自算出の注目度): 7.303827428956944
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: We introduce the HyperCube network, a novel approach for autonomously
discovering symmetry group structures within data. The key innovation is a
unique factorization architecture coupled with a novel regularizer that
instills a powerful inductive bias towards learning orthogonal representations.
This leverages a fundamental theorem of representation theory that all
compact/finite groups can be represented by orthogonal matrices. HyperCube
efficiently learns general group operations from partially observed data,
successfully recovering complete operation tables. Remarkably, the learned
factors correspond directly to exact matrix representations of the underlying
group. Moreover, these factors capture the group's complete set of irreducible
representations, forming the generalized Fourier basis for performing group
convolutions. In extensive experiments with both group and non-group symbolic
operations, HyperCube demonstrates a dramatic 100-1000x improvement in training
speed and 2-10x greater sample efficiency compared to the Transformer baseline.
These results suggest that our approach unlocks a new class of deep learning
models capable of harnessing inherent symmetries within data, leading to
significant improvements in performance and broader applicability.
- Abstract(参考訳): データ内の対称性グループ構造を自律的に発見するための新しいアプローチであるHyperCubeネットワークを導入する。
重要なイノベーションは、直交表現を学ぶための強力な帰納的バイアスを注入する新しい正規化子と組み合わされたユニークな分解アーキテクチャである。
これはすべてのコンパクトかつ有限な群は直交行列で表せるという表現論の基本的な定理を利用する。
HyperCubeは、部分的に観測されたデータからグループ操作を効率よく学習し、完全な操作テーブルを回復する。
驚くべきことに、学習された因子は基礎となる群の正確な行列表現に直接対応している。
さらに、これらの因子は群の既約表現の完全な集合を捉え、群畳み込みを行うための一般化されたフーリエ基底を形成する。
グループおよび非グループのシンボル操作による広範な実験では、HyperCubeはTransformerベースラインに比べてトレーニング速度が100~1000倍、サンプル効率が2~10倍向上した。
これらの結果から,本手法は,データ固有の対称性を活用可能な新たな学習モデルのクラスを開放し,性能と適用性に大きな改善をもたらすことが示唆された。
関連論文リスト
- Grokking Group Multiplication with Cosets [11.002834318280552]
1層フィードフォワードネットワークをリバースエンジニアリングし、$S_5$と$S_6$の乗算を"グロッキング"します。
我々は,データとモデルの対称性を用いて,それらのメカニズムを理解し,コセット回路をホールドアップする価値を実証する。」
論文 参考訳(メタデータ) (2023-12-11T18:12:18Z) - Lie Group Decompositions for Equivariant Neural Networks [0.0]
ここでは、Lie 群 $G = textGL+(n, mathbbR)$ および $G = textSL(n, mathbbR)$ を扱うことができるフレームワークを提案する。
コンボリューションカーネルをパラメータ化してアフィン変換に対する同変モデルを構築する方法を示す。
論文 参考訳(メタデータ) (2023-10-17T16:04:33Z) - Accelerated Discovery of Machine-Learned Symmetries: Deriving the
Exceptional Lie Groups G2, F4 and E6 [55.41644538483948]
このレターでは、対称性変換の発見を著しく高速化する2つの改良されたアルゴリズムを紹介している。
例外的リー群の複雑性を考えると,この機械学習手法は完全に汎用的であり,多種多様なラベル付きデータセットに適用可能であることを示す。
論文 参考訳(メタデータ) (2023-07-10T20:25:44Z) - Neural Fourier Transform: A General Approach to Equivariant
Representation Learning [25.904804065332794]
本稿では,その集団がデータに対してどのように振る舞うかを明確に知ることなく,その集団の潜在線形作用を学習する一般的な枠組みを提案する。
等式学習においてユビキタスに仮定された線形同変関数の存在は,データ空間上の群不変カーネルの存在と等価であることを示す。
論文 参考訳(メタデータ) (2023-05-29T12:06:53Z) - DIFFormer: Scalable (Graph) Transformers Induced by Energy Constrained
Diffusion [66.21290235237808]
本稿では,データセットからのインスタンスのバッチを進化状態にエンコードするエネルギー制約拡散モデルを提案する。
任意のインスタンス対間の対拡散強度に対する閉形式最適推定を示唆する厳密な理論を提供する。
各種タスクにおいて優れた性能を有する汎用エンコーダバックボーンとして,本モデルの適用性を示す実験を行った。
論文 参考訳(メタデータ) (2023-01-23T15:18:54Z) - Improved Representation Learning Through Tensorized Autoencoders [7.056005298953332]
オートエンコーダ(AE)は、教師なし表現学習において広く使われている。
本稿では,任意のAEアーキテクチャをテンソル化バージョン(TAE)に拡張するメタアルゴリズムを提案する。
我々は,TAEが標準AEによって回収されたデータ全体の原理成分とは対照的に,異なるクラスタの原理成分を復元できることを証明した。
論文 参考訳(メタデータ) (2022-12-02T09:29:48Z) - Equivariance with Learned Canonicalization Functions [77.32483958400282]
正規化を行うために小さなニューラルネットワークを学習することは、事前定義を使用することよりも優れていることを示す。
実験の結果,正準化関数の学習は多くのタスクで同変関数を学習する既存の手法と競合することがわかった。
論文 参考訳(メタデータ) (2022-11-11T21:58:15Z) - LieTransformer: Equivariant self-attention for Lie Groups [49.9625160479096]
群等価ニューラルネットワークは群不変ニューラルネットワークの構成要素として用いられる。
我々は、文学の範囲を、ディープラーニングモデルの顕著な構築ブロックとして現れつつある自己注意にまで広げる。
任意のリー群とその離散部分群に同値なリー自己結合層からなる構造であるリー変換器を提案する。
論文 参考訳(メタデータ) (2020-12-20T11:02:49Z) - Stochastic Flows and Geometric Optimization on the Orthogonal Group [52.50121190744979]
直交群 $O(d)$ 上の幾何駆動最適化アルゴリズムの新しいクラスを示す。
提案手法は,深層,畳み込み,反復的なニューラルネットワーク,強化学習,フロー,メトリック学習など,機械学習のさまざまな分野に適用可能であることを示す。
論文 参考訳(メタデータ) (2020-03-30T15:37:50Z) - Invariant Feature Coding using Tensor Product Representation [75.62232699377877]
我々は,群不変特徴ベクトルが線形分類器を学習する際に十分な識別情報を含んでいることを証明した。
主成分分析やk平均クラスタリングにおいて,グループアクションを明示的に考慮する新たな特徴モデルを提案する。
論文 参考訳(メタデータ) (2019-06-05T07:15:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。