論文の概要: RESOLVE: Relational Reasoning with Symbolic and Object-Level Features Using Vector Symbolic Processing
- arxiv url: http://arxiv.org/abs/2411.08290v1
- Date: Wed, 13 Nov 2024 02:17:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-14 16:09:17.362427
- Title: RESOLVE: Relational Reasoning with Symbolic and Object-Level Features Using Vector Symbolic Processing
- Title（参考訳）: RESOLVE:ベクトル記号処理を用いたシンボリック特徴とオブジェクトレベル特徴の関連推論
- Authors: Mohamed Mejri, Chandramouli Amarnath, Abhijit Chatterjee,
- Abstract要約: 本研究では,物体レベルの特徴と高次元空間における関係表現を組み合わせたニューロベクトルシンボルアーキテクチャRESOLVEを提案する。
この設計を活用することで、このモデルは低計算レイテンシとメモリ効率の両方を達成する。
- 参考スコア（独自算出の注目度）: 1.3049516752695616
- License:
- Abstract: Modern transformer-based encoder-decoder architectures struggle with reasoning tasks due to their inability to effectively extract relational information between input objects (data/tokens). Recent work introduced the Abstractor module, embedded between transformer layers, to address this gap. However, the Abstractor layer while excelling at capturing relational information (pure relational reasoning), faces challenges in tasks that require both object and relational-level reasoning (partial relational reasoning). To address this, we propose RESOLVE, a neuro-vector symbolic architecture that combines object-level features with relational representations in high-dimensional spaces, using fast and efficient operations such as bundling (summation) and binding (Hadamard product) allowing both object-level features and relational representations to coexist within the same structure without interfering with one another. RESOLVE is driven by a novel attention mechanism that operates in a bipolar high dimensional space, allowing fast attention score computation compared to the state-of-the-art. By leveraging this design, the model achieves both low compute latency and memory efficiency. RESOLVE also offers better generalizability while achieving higher accuracy in purely relational reasoning tasks such as sorting as well as partial relational reasoning tasks such as math problem-solving compared to state-of-the-art methods.
- Abstract（参考訳）: 現代のトランスフォーマーベースのエンコーダデコーダアーキテクチャは、入力オブジェクト(データ/トークン)間の関係情報を効果的に抽出できないため、推論タスクに苦労する。
最近の作業では、このギャップに対処するために、トランスフォーマー層の間に埋め込まれたAbstractorモジュールが導入されている。
しかしながら、抽象層は、リレーショナル情報(純粋なリレーショナル推論)の取得に長けながら、オブジェクトとリレーショナルレベルの推論(部分リレーショナル推論)の両方を必要とするタスクの課題に直面します。
そこで我々は,オブジェクトレベルの特徴と高次元空間におけるリレーショナル表現を組み合わせたニューロベクトルシンボルアーキテクチャRESOLVEを提案し,オブジェクトレベルの特徴とリレーショナル表現が同一構造内で相互干渉することなく共存できるようにする。
RESOLVEはバイポーラ高次元空間で動作する新しいアテンション機構によって駆動され、最先端技術と比較して高速なアテンションスコア計算を可能にする。
この設計を活用することで、このモデルは低計算レイテンシとメモリ効率の両方を達成する。
RESOLVEはまた、ソートのような純粋にリレーショナルな推論タスクや、数学の問題解決のような部分的リレーショナルな推論タスクにおいて、最先端の手法よりも高い精度で、より優れた一般化性を提供する。
関連論文リスト
- LARS-VSA: A Vector Symbolic Architecture For Learning with Abstract Rules [1.3049516752695616]
我々は、オブジェクトレベルの特徴を抽象ルールから分離し、限られた量のデータから学習できる「関係ボトルネック」を提案する。
我々は「関係ボトルネック」戦略を高次元空間に適応させ、シンボルと関係表現の間の明示的なベクトル結合操作を取り入れた。
我々のシステムは超次元空間における演算のオーバーヘッドが低いことの恩恵を受けており、様々なテストデータセットで評価すると、技術の状態よりもはるかに効率的である。
論文 参考訳（メタデータ） (2024-05-23T11:05:42Z) - Self-Attention Based Semantic Decomposition in Vector Symbolic Architectures [6.473177443214531]
本稿では,反復探索問題における自己アテンションに基づく更新規則に基づく共振器ネットワークの新たな変種を提案する。
認識に基づくパターン認識,シーン分解,オブジェクト推論など,多くのタスクに応用できる。
論文 参考訳（メタデータ） (2024-03-20T00:37:19Z) - Abstractors and relational cross-attention: An inductive bias for explicit relational reasoning in Transformers [4.562331048595688]
抽象モジュールと呼ばれる新しいモジュールを通じて明示的なリレーショナル推論を可能にするトランスフォーマーの拡張が提案されている。
Abstractorの中核には、リレーショナル・クロスアテンション(relational cross-attention)と呼ばれる注意の亜種がある。
このアプローチは、関係情報をオブジェクトレベルの特徴から切り離す関係学習のためのアーキテクチャ的帰納的バイアスによって動機付けられます。
論文 参考訳（メタデータ） (2023-04-01T01:49:08Z) - Neural Constraint Satisfaction: Hierarchical Abstraction for
Combinatorial Generalization in Object Rearrangement [75.9289887536165]
基礎となるエンティティを明らかにするための階層的抽象化手法を提案する。
本研究では,エージェントのモデルにおける実体の状態の介入と,環境中の物体に作用する状態の対応関係を学習する方法を示す。
この対応を利用して、オブジェクトの異なる数や構成に一般化する制御法を開発する。
論文 参考訳（メタデータ） (2023-03-20T18:19:36Z) - UNETR++: Delving into Efficient and Accurate 3D Medical Image Segmentation [93.88170217725805]
本稿では,高画質なセグメンテーションマスクと,パラメータ,計算コスト,推論速度の両面での効率性を提供するUNETR++という3次元医用画像セグメンテーション手法を提案する。
我々の設計の核となるのは、空間的およびチャネル的な識別的特徴を効率的に学習する、新しい効率的な対注意ブロック(EPA)の導入である。
Synapse, BTCV, ACDC, BRaTs, Decathlon-Lungの5つのベンチマークで評価した結果, 効率と精度の両面で, コントリビューションの有効性が示された。
論文 参考訳（メタデータ） (2022-12-08T18:59:57Z) - Sparse Relational Reasoning with Object-Centric Representations [78.83747601814669]
対象中心表現の操作において,リレーショナルニューラルアーキテクチャによって学習されたソフトルールの構成可能性について検討する。
特に特徴量の増加は,いくつかのモデルの性能を向上し,より単純な関係をもたらすことが判明した。
論文 参考訳（メタデータ） (2022-07-15T14:57:33Z) - HiURE: Hierarchical Exemplar Contrastive Learning for Unsupervised
Relation Extraction [60.80849503639896]
非教師なし関係抽出は、関係範囲や分布に関する事前情報のない自然言語文からエンティティ間の関係を抽出することを目的としている。
本稿では,階層間注目を用いた階層的特徴空間から階層的信号を導出する機能を持つ,HiUREという新しいコントラスト学習フレームワークを提案する。
2つの公開データセットの実験結果は、最先端モデルと比較した場合の教師なし関係抽出におけるHiUREの有効性とロバスト性を示す。
論文 参考訳（メタデータ） (2022-05-04T17:56:48Z) - RatE: Relation-Adaptive Translating Embedding for Knowledge Graph
Completion [51.64061146389754]
複素空間における新たな重み付き積の上に構築された関係適応変換関数を提案する。
次に、関係適応型翻訳埋め込み(RatE)アプローチを示し、各グラフを3倍にスコアする。
論文 参考訳（メタデータ） (2020-10-10T01:30:30Z) - Semantic Loss Application to Entity Relation Recognition [0.0]
本稿では,エンティティ関係認識のための2つの一般的なアプローチを比較する。
本論文の主な貢献は,結合実体関係抽出のためのエンドツーエンドニューラルネットワークである。
論文 参考訳（メタデータ） (2020-06-07T03:12:38Z) - Probing Linguistic Features of Sentence-Level Representations in Neural
Relation Extraction [80.38130122127882]
ニューラルリレーション抽出(RE)に関連する言語特性を対象とした14の探索タスクを導入する。
私たちは、40以上の異なるエンコーダアーキテクチャと2つのデータセットでトレーニングされた言語的特徴の組み合わせによって学習された表現を研究するためにそれらを使用します。
アーキテクチャによって引き起こされるバイアスと言語的特徴の含意は、探索タスクのパフォーマンスにおいて明らかに表現されている。
論文 参考訳（メタデータ） (2020-04-17T09:17:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。