論文の概要: Discovering Abstract Symbolic Relations by Learning Unitary Group Representations
- arxiv url: http://arxiv.org/abs/2402.17002v4
- Date: Wed, 22 May 2024 23:02:44 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-25 06:29:07.875710
- Title: Discovering Abstract Symbolic Relations by Learning Unitary Group Representations
- Title(参考訳): 単位群表現の学習による抽象記号関係の発見
- Authors: Dongsung Huh,
- Abstract要約: 記号演算完了(SOC)の原理的アプローチについて検討する。
SOCは離散記号間の抽象的関係をモデル化する際、ユニークな挑戦となる。
SOCは最小限のモデル(双線型写像)で、新しい分解アーキテクチャで効率的に解けることを実証する。
- 参考スコア(独自算出の注目度): 7.303827428956944
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: We investigate a principled approach for symbolic operation completion (SOC), a minimal task for studying symbolic reasoning. While conceptually similar to matrix completion, SOC poses a unique challenge in modeling abstract relationships between discrete symbols. We demonstrate that SOC can be efficiently solved by a minimal model - a bilinear map - with a novel factorized architecture. Inspired by group representation theory, this architecture leverages matrix embeddings of symbols, modeling each symbol as an operator that dynamically influences others. Our model achieves perfect test accuracy on SOC with comparable or superior sample efficiency to Transformer baselines across most datasets, while boasting significantly faster learning speeds (100-1000$\times$). Crucially, the model exhibits an implicit bias towards learning general group structures, precisely discovering the unitary representations of underlying groups. This remarkable property not only confers interpretability but also significant implications for automatic symmetry discovery in geometric deep learning. Overall, our work establishes group theory as a powerful guiding principle for discovering abstract algebraic structures in deep learning, and showcases matrix representations as a compelling alternative to traditional vector embeddings for modeling symbolic relationships.
- Abstract(参考訳): シンボリック・オペレーション・コンプリート(SOC)の原理的アプローチについて検討する。
概念的には行列完備化に似ているが、SOCは離散記号間の抽象的関係をモデル化する際、一意に挑戦する。
SOCは最小限のモデル(双線型写像)で、新しい分解アーキテクチャで効率的に解けることを実証する。
群表現理論にインスパイアされたこのアーキテクチャは、記号の行列埋め込みを利用して、各シンボルを他のシンボルに動的に影響を与える演算子としてモデル化する。
我々のモデルは、ほとんどのデータセットでTransformerベースラインに匹敵する、あるいは優れたサンプル効率で、SOC上で完全なテスト精度を達成します。
重要なことに、このモデルは一般群構造を学ぶことに対する暗黙の偏見を示し、基礎となる群のユニタリ表現を正確に発見する。
この顕著な性質は解釈可能性だけでなく、幾何学的深層学習における自動対称性発見に重要な意味を持つ。
全体として、本研究は、深層学習における抽象代数構造を発見するための強力な指針原理として群論を確立し、記号関係をモデル化するための伝統的なベクトル埋め込みの代替として行列表現を示す。
関連論文リスト
- LARS-VSA: A Vector Symbolic Architecture For Learning with Abstract Rules [1.3049516752695616]
我々は、オブジェクトレベルの特徴を抽象ルールから分離し、限られた量のデータから学習できる「関係ボトルネック」を提案する。
我々は「関係ボトルネック」戦略を高次元空間に適応させ、シンボルと関係表現の間の明示的なベクトル結合操作を取り入れた。
我々のシステムは超次元空間における演算のオーバーヘッドが低いことの恩恵を受けており、様々なテストデータセットで評価すると、技術の状態よりもはるかに効率的である。
論文 参考訳(メタデータ) (2024-05-23T11:05:42Z) - A Probabilistic Model behind Self-Supervised Learning [53.64989127914936]
自己教師付き学習(SSL)では、アノテートラベルなしで補助的なタスクを通じて表現が学習される。
自己教師型学習のための生成潜在変数モデルを提案する。
識別性SSLのいくつかのファミリーは、表現に匹敵する分布を誘導することを示す。
論文 参考訳(メタデータ) (2024-02-02T13:31:17Z) - Learning Hierarchical Relational Representations through Relational
Convolutions [2.99146123420045]
我々は「関係畳み込みネットワーク」と呼ぶアーキテクチャフレームワークを提案する。
グラフレットフィルタが入力のパッチにマッチする関係畳み込み演算を形式化する。
また、下流タスクに関連するオブジェクトのグルーピングを明示的に学習するためのメカニズムも提案する。
論文 参考訳(メタデータ) (2023-10-05T01:22:50Z) - LOGICSEG: Parsing Visual Semantics with Neural Logic Learning and
Reasoning [73.98142349171552]
LOGICSEGは、神経誘導学習と論理推論をリッチデータとシンボリック知識の両方に統合する、全体論的視覚意味論である。
ファジィ論理に基づく連続的な緩和の間、論理式はデータとニューラルな計算グラフに基礎を置いており、論理によるネットワークトレーニングを可能にする。
これらの設計によりLOGICSEGは、既存のセグメンテーションモデルに容易に統合できる汎用的でコンパクトなニューラル論理マシンとなる。
論文 参考訳(メタデータ) (2023-09-24T05:43:19Z) - Semantic Graph Representation Learning for Handwritten Mathematical
Expression Recognition [57.60390958736775]
セマンティック・インタラクション・ラーニング(SIL)の簡易かつ効率的な手法を提案する。
まず,統計的シンボル共起確率に基づく意味グラフを構築する。
次に、視覚的および分類的特徴を意味空間に投影する意味認識モジュール(SAM)を設計する。
本手法は, CROHMEとHME100Kの両方のデータセットにおいて, 先行技術よりも優れた認識性能を実現する。
論文 参考訳(メタデータ) (2023-08-21T06:23:41Z) - A Recursive Bateson-Inspired Model for the Generation of Semantic Formal
Concepts from Spatial Sensory Data [77.34726150561087]
本稿では,複雑な感覚データから階層構造を生成するための記号のみの手法を提案する。
このアプローチは、概念や概念の創始の鍵としてのバテソンの差異の概念に基づいている。
このモデルは、トレーニングなしでかなりリッチだが人間に読まれる概念表現を生成することができる。
論文 参考訳(メタデータ) (2023-07-16T15:59:13Z) - On Neural Architecture Inductive Biases for Relational Tasks [76.18938462270503]
合成ネットワーク一般化(CoRelNet)と呼ばれる類似度分布スコアに基づく簡単なアーキテクチャを導入する。
単純なアーキテクチャの選択は、分布外一般化において既存のモデルより優れていることが分かる。
論文 参考訳(メタデータ) (2022-06-09T16:24:01Z) - DensE: An Enhanced Non-commutative Representation for Knowledge Graph
Embedding with Adaptive Semantic Hierarchy [4.607120217372668]
本研究では,関係の複雑な構成パターンをモデル化するための新しい知識グラフ埋め込み手法DensEを開発した。
本手法は,SO(3)群に基づく回転作用素と3次元ユークリッド空間におけるスケーリング作用素に各関係を分解する。
複数のベンチマーク知識グラフの実験結果から、DensEはリンク予測の欠如に対して現在の最先端モデルよりも優れていた。
論文 参考訳(メタデータ) (2020-08-11T06:45:50Z) - Relation-Guided Representation Learning [53.60351496449232]
本稿では,サンプル関係を明示的にモデル化し,活用する表現学習手法を提案する。
私たちのフレームワークは、サンプル間の関係をよく保存します。
サンプルをサブスペースに埋め込むことにより,本手法が大規模なサンプル外問題に対処可能であることを示す。
論文 参考訳(メタデータ) (2020-07-11T10:57:45Z) - Lattice Representation Learning [6.427169570069738]
ユークリッド空間に埋め込まれた格子を利用する離散表現を学習するための理論とアルゴリズムを導入する。
格子表現は興味深い性質の組み合わせを持つ:a) 格子量子化を用いて明示的に計算できるが、導入したアイデアを使って効率的に学習することができる。
この記事では、トレーニングや推論時間に使用される式をリンクする新しい数学的結果や、2つの一般的なデータセットに対する実験的な検証など、最初の2つの特性を探索し、活用するための基盤の整備に焦点をあてる。
論文 参考訳(メタデータ) (2020-06-24T16:05:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。