論文の概要: Discovering Symmetry Group Structures via Implicit Orthogonality Bias

• arxiv url: http://arxiv.org/abs/2402.17002v3
• Date: Thu, 7 Mar 2024 03:03:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-08 16:47:47.609930
• Title: Discovering Symmetry Group Structures via Implicit Orthogonality Bias
• Title（参考訳）: 入射直交バイアスによる対称性群構造の発見
• Authors: Dongsung Huh
• Abstract要約: データ内の対称性グループ構造を自律的に発見するための新しいアプローチであるHyperCubeネットワークを導入する。 HyperCubeは、部分的に観測されたデータからジェネラルグループ操作を効率的に学習する。 結果から,本手法はデータ内の固有対称性を活用可能な,新たな学習モデルのクラスを解き放つことが示唆された。
• 参考スコア（独自算出の注目度）: 7.303827428956944
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We introduce the HyperCube network, a novel approach for autonomously discovering symmetry group structures within data. The key innovation is a unique factorization architecture coupled with a novel regularizer that instills a powerful inductive bias towards learning orthogonal representations. This leverages a fundamental theorem of representation theory that all compact/finite groups can be represented by orthogonal matrices. HyperCube efficiently learns general group operations from partially observed data, successfully recovering complete operation tables. Remarkably, the learned factors correspond directly to exact matrix representations of the underlying group. Moreover, these factors capture the group's complete set of irreducible representations, forming the generalized Fourier basis for performing group convolutions. In extensive experiments with both group and non-group symbolic operations, HyperCube demonstrates a dramatic 100-1000x improvement in training speed and 2-10x greater sample efficiency compared to the Transformer baseline. These results suggest that our approach unlocks a new class of deep learning models capable of harnessing inherent symmetries within data, leading to significant improvements in performance and broader applicability.
• Abstract（参考訳）: データ内の対称性グループ構造を自律的に発見するための新しいアプローチであるHyperCubeネットワークを導入する。 重要なイノベーションは、直交表現を学ぶための強力な帰納的バイアスを注入する新しい正規化子と組み合わされたユニークな分解アーキテクチャである。 これはすべてのコンパクトかつ有限な群は直交行列で表せるという表現論の基本的な定理を利用する。 HyperCubeは、部分的に観測されたデータからグループ操作を効率よく学習し、完全な操作テーブルを回復する。 驚くべきことに、学習された因子は基礎となる群の正確な行列表現に直接対応している。 さらに、これらの因子は群の既約表現の完全な集合を捉え、群畳み込みを行うための一般化されたフーリエ基底を形成する。 グループおよび非グループのシンボル操作による広範な実験では、HyperCubeはTransformerベースラインに比べてトレーニング速度が100～1000倍、サンプル効率が2～10倍向上した。 これらの結果から,本手法は,データ固有の対称性を活用可能な新たな学習モデルのクラスを開放し,性能と適用性に大きな改善をもたらすことが示唆された。

関連論文リスト

• Geometric Relational Embeddings [19.383110247906256]
  本稿では,基礎となるシンボル構造を尊重する埋め込みのパラダイムであるリレーショナル埋め込みを提案する。 実世界のベンチマークデータセットから得られた結果は、幾何学的リレーショナル埋め込みの有効性を示す。
  論文  参考訳（メタデータ） (2024-09-18T22:02:24Z)
• LARS-VSA: A Vector Symbolic Architecture For Learning with Abstract Rules [1.3049516752695616]
  我々は、オブジェクトレベルの特徴を抽象ルールから分離し、限られた量のデータから学習できる「関係ボトルネック」を提案する。 我々は「関係ボトルネック」戦略を高次元空間に適応させ、シンボルと関係表現の間の明示的なベクトル結合操作を取り入れた。 我々のシステムは超次元空間における演算のオーバーヘッドが低いことの恩恵を受けており、様々なテストデータセットで評価すると、技術の状態よりもはるかに効率的である。
  論文  参考訳（メタデータ） (2024-05-23T11:05:42Z)
• A Probabilistic Model Behind Self-Supervised Learning [53.64989127914936]
  自己教師付き学習(SSL)では、アノテートラベルなしで補助的なタスクを通じて表現が学習される。 自己教師型学習のための生成潜在変数モデルを提案する。 対照的な方法を含む識別的SSLのいくつかのファミリーは、表現に匹敵する分布を誘導することを示した。
  論文  参考訳（メタデータ） (2024-02-02T13:31:17Z)
• Learning Hierarchical Relational Representations through Relational Convolutions [2.5322020135765464]
  本稿では、より複雑な関係性の特徴を捉える計算機構を備えたニューラルネットワークである「リレーショナル畳み込みネットワーク」を紹介する。 このフレームワークの重要なコンポーネントは、グラフレットフィルタを畳み込み、オブジェクトのグループ内の関係パターンをキャプチャする新しい操作である。 アーキテクチャのモチベーションと詳細、およびリレーショナル畳み込みネットワークが階層構造を持つリレーショナルタスクをモデル化するための効果的なフレームワークを提供するための一連の実験を示す。
  論文  参考訳（メタデータ） (2023-10-05T01:22:50Z)
• Discrete, compositional, and symbolic representations through attractor dynamics [51.20712945239422]
  我々は,思考の確率的言語(PLoT)に似た認知過程をモデル化するために,アトラクタダイナミクスを記号表現と統合した新しいニューラルシステムモデルを導入する。 我々のモデルは、連続表現空間を、事前定義されたプリミティブに頼るのではなく、教師なし学習を通じて、記号系の意味性と構成性の特徴を反映する、記号列に対応する引き付け状態を持つ離散盆地に分割する。 このアプローチは、認知操作の複雑な双対性を反映したより包括的なモデルを提供する、AIにおける表現力の証明された神経弁別可能な基質であるニューラルダイナミクスを通じて、シンボル処理とサブシンボル処理の両方を統合する統一的なフレームワークを確立する。
  論文  参考訳（メタデータ） (2023-10-03T05:40:56Z)
• LOGICSEG: Parsing Visual Semantics with Neural Logic Learning and Reasoning [73.98142349171552]
  LOGICSEGは、神経誘導学習と論理推論をリッチデータとシンボリック知識の両方に統合する、全体論的視覚意味論である。 ファジィ論理に基づく連続的な緩和の間、論理式はデータとニューラルな計算グラフに基礎を置いており、論理によるネットワークトレーニングを可能にする。 これらの設計によりLOGICSEGは、既存のセグメンテーションモデルに容易に統合できる汎用的でコンパクトなニューラル論理マシンとなる。
  論文  参考訳（メタデータ） (2023-09-24T05:43:19Z)
• A Recursive Bateson-Inspired Model for the Generation of Semantic Formal Concepts from Spatial Sensory Data [77.34726150561087]
  本稿では,複雑な感覚データから階層構造を生成するための記号のみの手法を提案する。 このアプローチは、概念や概念の創始の鍵としてのバテソンの差異の概念に基づいている。 このモデルは、トレーニングなしでかなりリッチだが人間に読まれる概念表現を生成することができる。
  論文  参考訳（メタデータ） (2023-07-16T15:59:13Z)
• On Neural Architecture Inductive Biases for Relational Tasks [76.18938462270503]
  合成ネットワーク一般化(CoRelNet)と呼ばれる類似度分布スコアに基づく簡単なアーキテクチャを導入する。 単純なアーキテクチャの選択は、分布外一般化において既存のモデルより優れていることが分かる。
  論文  参考訳（メタデータ） (2022-06-09T16:24:01Z)
• DensE: An Enhanced Non-commutative Representation for Knowledge Graph Embedding with Adaptive Semantic Hierarchy [4.607120217372668]
  本研究では,関係の複雑な構成パターンをモデル化するための新しい知識グラフ埋め込み手法DensEを開発した。 本手法は,SO(3)群に基づく回転作用素と3次元ユークリッド空間におけるスケーリング作用素に各関係を分解する。 複数のベンチマーク知識グラフの実験結果から、DensEはリンク予測の欠如に対して現在の最先端モデルよりも優れていた。
  論文  参考訳（メタデータ） (2020-08-11T06:45:50Z)
• Relation-Guided Representation Learning [53.60351496449232]
  本稿では,サンプル関係を明示的にモデル化し,活用する表現学習手法を提案する。 私たちのフレームワークは、サンプル間の関係をよく保存します。 サンプルをサブスペースに埋め込むことにより,本手法が大規模なサンプル外問題に対処可能であることを示す。
  論文  参考訳（メタデータ） (2020-07-11T10:57:45Z)
• Lattice Representation Learning [6.427169570069738]
  ユークリッド空間に埋め込まれた格子を利用する離散表現を学習するための理論とアルゴリズムを導入する。 格子表現は興味深い性質の組み合わせを持つ:a) 格子量子化を用いて明示的に計算できるが、導入したアイデアを使って効率的に学習することができる。 この記事では、トレーニングや推論時間に使用される式をリンクする新しい数学的結果や、2つの一般的なデータセットに対する実験的な検証など、最初の2つの特性を探索し、活用するための基盤の整備に焦点をあてる。
  論文  参考訳（メタデータ） (2020-06-24T16:05:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。