論文の概要: Abstractors: Transformer Modules for Symbolic Message Passing and Relational Reasoning

• arxiv url: http://arxiv.org/abs/2304.00195v2
• Date: Thu, 25 May 2023 19:29:57 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-29 20:23:56.145144
• Title: Abstractors: Transformer Modules for Symbolic Message Passing and Relational Reasoning
• Title（参考訳）: abstractors: シンボリックメッセージパッシングとリレーショナル推論のためのトランスフォーマーモジュール
• Authors: Awni Altabaa, Taylor Webb, Jonathan Cohen, John Lafferty
• Abstract要約: 本稿では,トランスフォーマーの拡張という観点から,この帰納バイアスを呈するフレームワークを提案する。 モデルが計算できる関係関数のクラスを理論的に解析し、関係タスクにおいて優れたサンプル効率を実証する。
• 参考スコア（独自算出の注目度）: 3.377298662011438
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reasoning in terms of relations, analogies, and abstraction is a hallmark of human intelligence. An active debate is whether this relies on the use of symbolic processing or can be achieved using the same forms of function approximation that have been used for tasks such as image, audio, and, most recently, language processing. We propose an intermediate approach, motivated by principles of cognitive neuroscience, in which abstract symbols can emerge from distributed, neural representations under the influence of an inductive bias for learning that we refer to as a ``relational bottleneck.'' We present a framework that casts this inductive bias in terms of an extension of Transformers, in which specific types of attention mechanisms enforce the relational bottleneck and transform distributed symbols to implement a form of relational reasoning and abstraction. We theoretically analyze the class of relation functions the models can compute and empirically demonstrate superior sample-efficiency on relational tasks compared to standard Transformer architectures.
• Abstract（参考訳）: 関係性、類似性、抽象性の点での推論は人間の知性の目印である。 活発な議論は、これがシンボリック処理の使用に依存するのか、あるいは画像、音声、そして最近では言語処理などのタスクに使われているのと同じ関数近似を用いて達成できるのかである。 我々は,「関係性ボトルネック」と呼ばれる学習のための帰納的バイアスの影響下で,抽象的な記号が分散した神経表現から出現する認知神経科学の原理に動機づけられた中間的アプローチを提案する。 我々は,この帰納的バイアスをトランスフォーマーの拡張の観点から捉え,特定の種類の注意機構が関係的ボトルネックを強制し,分散シンボルを変換して関係的推論と抽象化の形式を実装するフレームワークを提案する。 モデルが計算できる関係関数のクラスを理論的に解析し、標準的なトランスフォーマーアーキテクチャと比較して、関係タスクにおいて優れたサンプル効率を示す。

関連論文リスト

• RESOLVE: Relational Reasoning with Symbolic and Object-Level Features Using Vector Symbolic Processing [1.3049516752695616]
  本研究では,物体レベルの特徴と高次元空間における関係表現を組み合わせたニューロベクトルシンボルアーキテクチャRESOLVEを提案する。 この設計を活用することで、このモデルは低計算レイテンシとメモリ効率の両方を達成する。
  論文  参考訳（メタデータ） (2024-11-13T02:17:03Z)
• Strengthening Structural Inductive Biases by Pre-training to Perform Syntactic Transformations [75.14793516745374]
  中間学習によりトランスフォーマーの構造的帰納バイアスを強化することを提案する。 実験の結果,チャンキングなどの構文的タスクのわずかな学習に有効であることが確認された。 分析の結果,中間的事前学習は,どのトークンにシナティクス変換を適用する必要があるかを追尾する注意を喚起することが明らかとなった。
  論文  参考訳（メタデータ） (2024-07-05T14:29:44Z)
• Slot Abstractors: Toward Scalable Abstract Visual Reasoning [5.262577780347204]
  Slot Abstractorsは、多数のオブジェクトと複数の関連性を含む問題にスケールできる、抽象的な視覚的推論のアプローチである。 このアプローチでは、4つの抽象的な視覚的推論タスクにまたがる最先端のパフォーマンスと、現実世界の画像を含む抽象的な推論タスクを表示する。
  論文  参考訳（メタデータ） (2024-03-06T04:49:02Z)
• On Neural Architecture Inductive Biases for Relational Tasks [76.18938462270503]
  合成ネットワーク一般化(CoRelNet)と呼ばれる類似度分布スコアに基づく簡単なアーキテクチャを導入する。 単純なアーキテクチャの選択は、分布外一般化において既存のモデルより優れていることが分かる。
  論文  参考訳（メタデータ） (2022-06-09T16:24:01Z)
• Amortized Inference for Causal Structure Learning [72.84105256353801]
  因果構造を学習することは、通常、スコアまたは独立テストを使用して構造を評価することを伴う探索問題を引き起こす。 本研究では,観測・干渉データから因果構造を予測するため,変分推論モデルを訓練する。 我々のモデルは、実質的な分布シフトの下で頑健な一般化能力を示す。
  論文  参考訳（メタデータ） (2022-05-25T17:37:08Z)
• HiURE: Hierarchical Exemplar Contrastive Learning for Unsupervised Relation Extraction [60.80849503639896]
  非教師なし関係抽出は、関係範囲や分布に関する事前情報のない自然言語文からエンティティ間の関係を抽出することを目的としている。 本稿では,階層間注目を用いた階層的特徴空間から階層的信号を導出する機能を持つ,HiUREという新しいコントラスト学習フレームワークを提案する。 2つの公開データセットの実験結果は、最先端モデルと比較した場合の教師なし関係抽出におけるHiUREの有効性とロバスト性を示す。
  論文  参考訳（メタデータ） (2022-05-04T17:56:48Z)
• Dynamic Language Binding in Relational Visual Reasoning [67.85579756590478]
  言語結合型オブジェクトグラフネットワークは,視覚領域とテキスト領域の両方にわたる動的関係構造を持つ最初のニューラル推論手法である。 本手法は,複数の対象関係が関係する高度な質問応答タスクにおいて,他の手法よりも優れる。
  論文  参考訳（メタデータ） (2020-04-30T06:26:20Z)
• SelfORE: Self-supervised Relational Feature Learning for Open Relation Extraction [60.08464995629325]
  オープンドメイン関係抽出は、自然言語文からオープンドメイン関係事実を抽出するタスクである。 弱い自己教師型信号を利用する自己教師型フレームワークであるSelfOREを提案する。 3つのデータセットの実験結果は、SelfOREの有効性とロバスト性を示している。
  論文  参考訳（メタデータ） (2020-04-06T07:23:17Z)
• Better Set Representations For Relational Reasoning [30.398348643632445]
  リレーショナル推論は、標準的なベクトル表現とは対照的に、エンティティのセットで動作する。 本稿では,SRN(Set Refiner Network)と呼ばれるシンプルで汎用的なネットワークモジュールを提案する。
  論文  参考訳（メタデータ） (2020-03-09T23:07:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。