論文の概要: Discovering Abstract Symbolic Relations by Learning Unitary Group Representations

• arxiv url: http://arxiv.org/abs/2402.17002v4
• Date: Wed, 22 May 2024 23:02:44 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-25 06:29:07.875710
• Title: Discovering Abstract Symbolic Relations by Learning Unitary Group Representations
• Title（参考訳）: 単位群表現の学習による抽象記号関係の発見
• Authors: Dongsung Huh,
• Abstract要約: 記号演算完了(SOC)の原理的アプローチについて検討する。 SOCは離散記号間の抽象的関係をモデル化する際、ユニークな挑戦となる。 SOCは最小限のモデル(双線型写像)で、新しい分解アーキテクチャで効率的に解けることを実証する。
• 参考スコア（独自算出の注目度）: 7.303827428956944
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We investigate a principled approach for symbolic operation completion (SOC), a minimal task for studying symbolic reasoning. While conceptually similar to matrix completion, SOC poses a unique challenge in modeling abstract relationships between discrete symbols. We demonstrate that SOC can be efficiently solved by a minimal model - a bilinear map - with a novel factorized architecture. Inspired by group representation theory, this architecture leverages matrix embeddings of symbols, modeling each symbol as an operator that dynamically influences others. Our model achieves perfect test accuracy on SOC with comparable or superior sample efficiency to Transformer baselines across most datasets, while boasting significantly faster learning speeds (100-1000$\times$). Crucially, the model exhibits an implicit bias towards learning general group structures, precisely discovering the unitary representations of underlying groups. This remarkable property not only confers interpretability but also significant implications for automatic symmetry discovery in geometric deep learning. Overall, our work establishes group theory as a powerful guiding principle for discovering abstract algebraic structures in deep learning, and showcases matrix representations as a compelling alternative to traditional vector embeddings for modeling symbolic relationships.
• Abstract（参考訳）: シンボリック・オペレーション・コンプリート(SOC)の原理的アプローチについて検討する。 概念的には行列完備化に似ているが、SOCは離散記号間の抽象的関係をモデル化する際、一意に挑戦する。 SOCは最小限のモデル(双線型写像)で、新しい分解アーキテクチャで効率的に解けることを実証する。 群表現理論にインスパイアされたこのアーキテクチャは、記号の行列埋め込みを利用して、各シンボルを他のシンボルに動的に影響を与える演算子としてモデル化する。 我々のモデルは、ほとんどのデータセットでTransformerベースラインに匹敵する、あるいは優れたサンプル効率で、SOC上で完全なテスト精度を達成します。 重要なことに、このモデルは一般群構造を学ぶことに対する暗黙の偏見を示し、基礎となる群のユニタリ表現を正確に発見する。 この顕著な性質は解釈可能性だけでなく、幾何学的深層学習における自動対称性発見に重要な意味を持つ。 全体として、本研究は、深層学習における抽象代数構造を発見するための強力な指針原理として群論を確立し、記号関係をモデル化するための伝統的なベクトル埋め込みの代替として行列表現を示す。

関連論文リスト

• Geometric Relational Embeddings [19.383110247906256]
  本稿では,基礎となるシンボル構造を尊重する埋め込みのパラダイムであるリレーショナル埋め込みを提案する。 実世界のベンチマークデータセットから得られた結果は、幾何学的リレーショナル埋め込みの有効性を示す。
  論文  参考訳（メタデータ） (2024-09-18T22:02:24Z)
• LARS-VSA: A Vector Symbolic Architecture For Learning with Abstract Rules [1.3049516752695616]
  我々は、オブジェクトレベルの特徴を抽象ルールから分離し、限られた量のデータから学習できる「関係ボトルネック」を提案する。 我々は「関係ボトルネック」戦略を高次元空間に適応させ、シンボルと関係表現の間の明示的なベクトル結合操作を取り入れた。 我々のシステムは超次元空間における演算のオーバーヘッドが低いことの恩恵を受けており、様々なテストデータセットで評価すると、技術の状態よりもはるかに効率的である。
  論文  参考訳（メタデータ） (2024-05-23T11:05:42Z)
• A Probabilistic Model Behind Self-Supervised Learning [53.64989127914936]
  自己教師付き学習(SSL)では、アノテートラベルなしで補助的なタスクを通じて表現が学習される。 自己教師型学習のための生成潜在変数モデルを提案する。 対照的な方法を含む識別的SSLのいくつかのファミリーは、表現に匹敵する分布を誘導することを示した。
  論文  参考訳（メタデータ） (2024-02-02T13:31:17Z)
• Learning Hierarchical Relational Representations through Relational Convolutions [2.5322020135765464]
  本稿では、より複雑な関係性の特徴を捉える計算機構を備えたニューラルネットワークである「リレーショナル畳み込みネットワーク」を紹介する。 このフレームワークの重要なコンポーネントは、グラフレットフィルタを畳み込み、オブジェクトのグループ内の関係パターンをキャプチャする新しい操作である。 アーキテクチャのモチベーションと詳細、およびリレーショナル畳み込みネットワークが階層構造を持つリレーショナルタスクをモデル化するための効果的なフレームワークを提供するための一連の実験を示す。
  論文  参考訳（メタデータ） (2023-10-05T01:22:50Z)
• Discrete, compositional, and symbolic representations through attractor dynamics [51.20712945239422]
  我々は,思考の確率的言語(PLoT)に似た認知過程をモデル化するために,アトラクタダイナミクスを記号表現と統合した新しいニューラルシステムモデルを導入する。 我々のモデルは、連続表現空間を、事前定義されたプリミティブに頼るのではなく、教師なし学習を通じて、記号系の意味性と構成性の特徴を反映する、記号列に対応する引き付け状態を持つ離散盆地に分割する。 このアプローチは、認知操作の複雑な双対性を反映したより包括的なモデルを提供する、AIにおける表現力の証明された神経弁別可能な基質であるニューラルダイナミクスを通じて、シンボル処理とサブシンボル処理の両方を統合する統一的なフレームワークを確立する。
  論文  参考訳（メタデータ） (2023-10-03T05:40:56Z)
• LOGICSEG: Parsing Visual Semantics with Neural Logic Learning and Reasoning [73.98142349171552]
  LOGICSEGは、神経誘導学習と論理推論をリッチデータとシンボリック知識の両方に統合する、全体論的視覚意味論である。 ファジィ論理に基づく連続的な緩和の間、論理式はデータとニューラルな計算グラフに基礎を置いており、論理によるネットワークトレーニングを可能にする。 これらの設計によりLOGICSEGは、既存のセグメンテーションモデルに容易に統合できる汎用的でコンパクトなニューラル論理マシンとなる。
  論文  参考訳（メタデータ） (2023-09-24T05:43:19Z)
• A Recursive Bateson-Inspired Model for the Generation of Semantic Formal Concepts from Spatial Sensory Data [77.34726150561087]
  本稿では,複雑な感覚データから階層構造を生成するための記号のみの手法を提案する。 このアプローチは、概念や概念の創始の鍵としてのバテソンの差異の概念に基づいている。 このモデルは、トレーニングなしでかなりリッチだが人間に読まれる概念表現を生成することができる。
  論文  参考訳（メタデータ） (2023-07-16T15:59:13Z)
• On Neural Architecture Inductive Biases for Relational Tasks [76.18938462270503]
  合成ネットワーク一般化(CoRelNet)と呼ばれる類似度分布スコアに基づく簡単なアーキテクチャを導入する。 単純なアーキテクチャの選択は、分布外一般化において既存のモデルより優れていることが分かる。
  論文  参考訳（メタデータ） (2022-06-09T16:24:01Z)
• DensE: An Enhanced Non-commutative Representation for Knowledge Graph Embedding with Adaptive Semantic Hierarchy [4.607120217372668]
  本研究では,関係の複雑な構成パターンをモデル化するための新しい知識グラフ埋め込み手法DensEを開発した。 本手法は,SO(3)群に基づく回転作用素と3次元ユークリッド空間におけるスケーリング作用素に各関係を分解する。 複数のベンチマーク知識グラフの実験結果から、DensEはリンク予測の欠如に対して現在の最先端モデルよりも優れていた。
  論文  参考訳（メタデータ） (2020-08-11T06:45:50Z)
• Relation-Guided Representation Learning [53.60351496449232]
  本稿では,サンプル関係を明示的にモデル化し,活用する表現学習手法を提案する。 私たちのフレームワークは、サンプル間の関係をよく保存します。 サンプルをサブスペースに埋め込むことにより,本手法が大規模なサンプル外問題に対処可能であることを示す。
  論文  参考訳（メタデータ） (2020-07-11T10:57:45Z)
• Lattice Representation Learning [6.427169570069738]
  ユークリッド空間に埋め込まれた格子を利用する離散表現を学習するための理論とアルゴリズムを導入する。 格子表現は興味深い性質の組み合わせを持つ:a) 格子量子化を用いて明示的に計算できるが、導入したアイデアを使って効率的に学習することができる。 この記事では、トレーニングや推論時間に使用される式をリンクする新しい数学的結果や、2つの一般的なデータセットに対する実験的な検証など、最初の2つの特性を探索し、活用するための基盤の整備に焦点をあてる。
  論文  参考訳（メタデータ） (2020-06-24T16:05:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。