論文の概要: LARS-VSA: A Vector Symbolic Architecture For Learning with Abstract Rules

• arxiv url: http://arxiv.org/abs/2405.14436v1
• Date: Thu, 23 May 2024 11:05:42 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-24 15:34:33.760724
• Title: LARS-VSA: A Vector Symbolic Architecture For Learning with Abstract Rules
• Title（参考訳）: LARS-VSA: 抽象ルールによる学習のためのベクトル記号型アーキテクチャ
• Authors: Mohamed Mejri, Chandramouli Amarnath, Abhijit Chatterjee,
• Abstract要約: 我々は、オブジェクトレベルの特徴を抽象ルールから分離し、限られた量のデータから学習できる「関係ボトルネック」を提案する。 我々は「関係ボトルネック」戦略を高次元空間に適応させ、シンボルと関係表現の間の明示的なベクトル結合操作を取り入れた。 我々のシステムは超次元空間における演算のオーバーヘッドが低いことの恩恵を受けており、様々なテストデータセットで評価すると、技術の状態よりもはるかに効率的である。
• 参考スコア（独自算出の注目度）: 1.3049516752695616
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Human cognition excels at symbolic reasoning, deducing abstract rules from limited samples. This has been explained using symbolic and connectionist approaches, inspiring the development of a neuro-symbolic architecture that combines both paradigms. In parallel, recent studies have proposed the use of a "relational bottleneck" that separates object-level features from abstract rules, allowing learning from limited amounts of data . While powerful, it is vulnerable to the curse of compositionality meaning that object representations with similar features tend to interfere with each other. In this paper, we leverage hyperdimensional computing, which is inherently robust to such interference to build a compositional architecture. We adapt the "relational bottleneck" strategy to a high-dimensional space, incorporating explicit vector binding operations between symbols and relational representations. Additionally, we design a novel high-dimensional attention mechanism that leverages this relational representation. Our system benefits from the low overhead of operations in hyperdimensional space, making it significantly more efficient than the state of the art when evaluated on a variety of test datasets, while maintaining higher or equal accuracy.
• Abstract（参考訳）: 人間の認知は記号的推論において優れ、限られたサンプルから抽象的な規則を導出する。 これはシンボリックとコネクショナリストのアプローチを用いて説明され、両方のパラダイムを組み合わせたニューロシンボリックアーキテクチャの開発を刺激している。 並行して、最近の研究では、オブジェクトレベルの特徴を抽象ルールから分離し、限られた量のデータから学習できる「関係ボトルネック」の使用が提案されている。 強いが、構成性の呪いに弱いため、類似した特徴を持つオブジェクト表現が互いに干渉する傾向がある。 本稿では、そのような干渉に対して本質的に堅牢な超次元計算を活用して構成的アーキテクチャを構築する。 我々は「関係ボトルネック」戦略を高次元空間に適応させ、シンボルと関係表現の間の明示的なベクトル結合操作を取り入れた。 さらに,この関係表現を利用した新しい高次元アテンション機構を設計する。 我々のシステムは超次元空間における演算のオーバーヘッドが低いことの恩恵を受けており、高い精度や等しい精度を維持しつつ、様々なテストデータセットで評価した場合の最先端よりもはるかに効率的である。

関連論文リスト

• Semantic Loss Functions for Neuro-Symbolic Structured Prediction [74.18322585177832]
  このような構造に関する知識を象徴的に定義した意味的損失をトレーニングに注入する。 記号の配置に非依存であり、それによって表現される意味論にのみ依存する。 識別型ニューラルモデルと生成型ニューラルモデルの両方と組み合わせることができる。
  論文  参考訳（メタデータ） (2024-05-12T22:18:25Z)
• Discovering Abstract Symbolic Relations by Learning Unitary Group Representations [7.303827428956944]
  記号演算完了(SOC)の原理的アプローチについて検討する。 SOCは離散記号間の抽象的関係をモデル化する際、ユニークな挑戦となる。 SOCは最小限のモデル(双線型写像)で、新しい分解アーキテクチャで効率的に解けることを実証する。
  論文  参考訳（メタデータ） (2024-02-26T20:18:43Z)
• Probabilistic Abduction for Visual Abstract Reasoning via Learning Rules in Vector-symbolic Architectures [22.12114509953737]
  抽象推論は人間の知性の基礎であり、それを人工知能(AI)で複製することは、現在進行中の課題である。 本研究では,抽象的推論能力を評価する視覚的テストであるRaven's Progress matrices (RPM) を効率的に解くことに焦点を当てた。 RPMに関連するルール定式化をハードコーディングする代わりに、トレーニングデータに1回だけ通すだけでVSAルール定式化を学習することができる。
  論文  参考訳（メタデータ） (2024-01-29T10:17:18Z)
• Discrete, compositional, and symbolic representations through attractor dynamics [61.58042831010077]
  記号空間におけるインポーティング構造は、リッチな感覚入力のアトラクタ支持表現空間において構成性をもたらすことを示す。 我々のモデルは、意識経験において重要な役割を果たしていると考えられる情報のボトルネックの過程を示す。
  論文  参考訳（メタデータ） (2023-10-03T05:40:56Z)
• LOGICSEG: Parsing Visual Semantics with Neural Logic Learning and Reasoning [73.98142349171552]
  LOGICSEGは、神経誘導学習と論理推論をリッチデータとシンボリック知識の両方に統合する、全体論的視覚意味論である。 ファジィ論理に基づく連続的な緩和の間、論理式はデータとニューラルな計算グラフに基礎を置いており、論理によるネットワークトレーニングを可能にする。 これらの設計によりLOGICSEGは、既存のセグメンテーションモデルに容易に統合できる汎用的でコンパクトなニューラル論理マシンとなる。
  論文  参考訳（メタデータ） (2023-09-24T05:43:19Z)
• Symbolic Visual Reinforcement Learning: A Scalable Framework with Object-Level Abstraction and Differentiable Expression Search [63.3745291252038]
  DiffSESは、離散的なシンボルポリシーを発見する新しいシンボリック学習手法である。 生のピクセルレベルの入力の代わりにオブジェクトレベルの抽象化を使用することで、DiffSESはシンボリック表現の単純さとスケーラビリティの利点を活用することができる。 我々の実験は、DiffSESが最先端のシンボルRL法よりもシンプルでスケーラブルなシンボリックポリシーを生成することができることを示した。
  論文  参考訳（メタデータ） (2022-12-30T17:50:54Z)
• Sparse Relational Reasoning with Object-Centric Representations [78.83747601814669]
  対象中心表現の操作において,リレーショナルニューラルアーキテクチャによって学習されたソフトルールの構成可能性について検討する。 特に特徴量の増加は,いくつかのモデルの性能を向上し,より単純な関係をもたらすことが判明した。
  論文  参考訳（メタデータ） (2022-07-15T14:57:33Z)
• pix2rule: End-to-end Neuro-symbolic Rule Learning [84.76439511271711]
  本稿では,画像のオブジェクトへの処理,学習関係,論理規則に関する完全なニューロシンボリックな手法を提案する。 主な貢献は、シンボリックリレーションとルールを抽出できるディープラーニングアーキテクチャにおける差別化可能なレイヤである。 我々のモデルは最先端のシンボリックラーナーを超えてスケールし、ディープリレーショナルニューラルネットワークアーキテクチャよりも優れていることを実証する。
  論文  参考訳（メタデータ） (2021-06-14T15:19:06Z)
• Emergent Symbols through Binding in External Memory [2.3562267625320352]
  本稿では,外部メモリを付加したリカレントネットワークであるEmergent Symbol Binding Network (ESBN)を紹介する。 このバインディングメカニズムにより、シンボル処理機械を明示的に組み込むことなく、学習プロセスを通じてシンボルのような表現が現れます。 一連のタスクを通じて、このアーキテクチャは学習したルールのほぼ完全な一般化を新しい実体に示すことを示しています。
  論文  参考訳（メタデータ） (2020-12-29T04:28:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。