論文の概要: Abstractors and relational cross-attention: An inductive bias for explicit relational reasoning in Transformers

• arxiv url: http://arxiv.org/abs/2304.00195v3
• Date: Thu, 5 Oct 2023 01:02:05 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-06 22:43:59.431139
• Title: Abstractors and relational cross-attention: An inductive bias for explicit relational reasoning in Transformers
• Title（参考訳）: 抽象論と相互注意:変圧器の明示的関係推論における帰納的バイアス
• Authors: Awni Altabaa, Taylor Webb, Jonathan Cohen, John Lafferty
• Abstract要約: 抽象モジュールと呼ばれる新しいモジュールを通じて明示的なリレーショナル推論を可能にするトランスフォーマーの拡張が提案されている。 Abstractorの中核には、リレーショナル・クロスアテンション(relational cross-attention)と呼ばれる注意の亜種がある。 これにより、明示的なリレーショナル推論が可能となり、限定データからの抽象化と一般化がサポートされる。
• 参考スコア（独自算出の注目度）: 4.984018914962971
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: An extension of Transformers is proposed that enables explicit relational reasoning through a novel module called the Abstractor. At the core of the Abstractor is a variant of attention called relational cross-attention. The approach is motivated by an architectural inductive bias for relational learning that disentangles relational information from extraneous features about individual objects. This enables explicit relational reasoning, supporting abstraction and generalization from limited data. The Abstractor is first evaluated on simple discriminative relational tasks and compared to existing relational architectures. Next, the Abstractor is evaluated on purely relational sequence-to-sequence tasks, where dramatic improvements are seen in sample efficiency compared to standard Transformers. Finally, Abstractors are evaluated on a collection of tasks based on mathematical problem solving, where modest but consistent improvements in performance and sample efficiency are observed.
• Abstract（参考訳）: Transformerの拡張は、Abstractorと呼ばれる新しいモジュールを通じて明示的なリレーショナル推論を可能にする。 abstractorの中核は、relational cross-attentionと呼ばれる注意の変種である。 このアプローチは、関係学習のためのアーキテクチャ的帰納バイアスによって動機付けられ、個々のオブジェクトに関する外的特徴から関係情報を分離する。 これにより、明示的なリレーショナル推論が可能となり、限定データからの抽象化と一般化がサポートされる。 abstractorは、単純な判別関係タスクで最初に評価され、既存のリレーショナルアーキテクチャと比較される。 次に、Abstractorを純粋にリレーショナルなシーケンス・ツー・シーケンスタスクで評価し、標準のTransformerと比較してサンプル効率が劇的に改善される。 最後に、数理問題解決に基づくタスクの集合に基づいて、性能とサンプル効率の控えめだが一貫した改善が観察される。

関連論文リスト

• RESOLVE: Relational Reasoning with Symbolic and Object-Level Features Using Vector Symbolic Processing [1.3049516752695616]
  本研究では,物体レベルの特徴と高次元空間における関係表現を組み合わせたニューロベクトルシンボルアーキテクチャRESOLVEを提案する。 この設計を活用することで、このモデルは低計算レイテンシとメモリ効率の両方を達成する。
  論文  参考訳（メタデータ） (2024-11-13T02:17:03Z)
• Strengthening Structural Inductive Biases by Pre-training to Perform Syntactic Transformations [75.14793516745374]
  中間学習によりトランスフォーマーの構造的帰納バイアスを強化することを提案する。 実験の結果,チャンキングなどの構文的タスクのわずかな学習に有効であることが確認された。 分析の結果,中間的事前学習は,どのトークンにシナティクス変換を適用する必要があるかを追尾する注意を喚起することが明らかとなった。
  論文  参考訳（メタデータ） (2024-07-05T14:29:44Z)
• Slot Abstractors: Toward Scalable Abstract Visual Reasoning [5.262577780347204]
  Slot Abstractorsは、多数のオブジェクトと複数の関連性を含む問題にスケールできる、抽象的な視覚的推論のアプローチである。 このアプローチでは、4つの抽象的な視覚的推論タスクにまたがる最先端のパフォーマンスと、現実世界の画像を含む抽象的な推論タスクを表示する。
  論文  参考訳（メタデータ） (2024-03-06T04:49:02Z)
• On Neural Architecture Inductive Biases for Relational Tasks [76.18938462270503]
  合成ネットワーク一般化(CoRelNet)と呼ばれる類似度分布スコアに基づく簡単なアーキテクチャを導入する。 単純なアーキテクチャの選択は、分布外一般化において既存のモデルより優れていることが分かる。
  論文  参考訳（メタデータ） (2022-06-09T16:24:01Z)
• Amortized Inference for Causal Structure Learning [72.84105256353801]
  因果構造を学習することは、通常、スコアまたは独立テストを使用して構造を評価することを伴う探索問題を引き起こす。 本研究では,観測・干渉データから因果構造を予測するため,変分推論モデルを訓練する。 我々のモデルは、実質的な分布シフトの下で頑健な一般化能力を示す。
  論文  参考訳（メタデータ） (2022-05-25T17:37:08Z)
• HiURE: Hierarchical Exemplar Contrastive Learning for Unsupervised Relation Extraction [60.80849503639896]
  非教師なし関係抽出は、関係範囲や分布に関する事前情報のない自然言語文からエンティティ間の関係を抽出することを目的としている。 本稿では,階層間注目を用いた階層的特徴空間から階層的信号を導出する機能を持つ,HiUREという新しいコントラスト学習フレームワークを提案する。 2つの公開データセットの実験結果は、最先端モデルと比較した場合の教師なし関係抽出におけるHiUREの有効性とロバスト性を示す。
  論文  参考訳（メタデータ） (2022-05-04T17:56:48Z)
• Dynamic Language Binding in Relational Visual Reasoning [67.85579756590478]
  言語結合型オブジェクトグラフネットワークは,視覚領域とテキスト領域の両方にわたる動的関係構造を持つ最初のニューラル推論手法である。 本手法は,複数の対象関係が関係する高度な質問応答タスクにおいて,他の手法よりも優れる。
  論文  参考訳（メタデータ） (2020-04-30T06:26:20Z)
• SelfORE: Self-supervised Relational Feature Learning for Open Relation Extraction [60.08464995629325]
  オープンドメイン関係抽出は、自然言語文からオープンドメイン関係事実を抽出するタスクである。 弱い自己教師型信号を利用する自己教師型フレームワークであるSelfOREを提案する。 3つのデータセットの実験結果は、SelfOREの有効性とロバスト性を示している。
  論文  参考訳（メタデータ） (2020-04-06T07:23:17Z)
• Better Set Representations For Relational Reasoning [30.398348643632445]
  リレーショナル推論は、標準的なベクトル表現とは対照的に、エンティティのセットで動作する。 本稿では,SRN(Set Refiner Network)と呼ばれるシンプルで汎用的なネットワークモジュールを提案する。
  論文  参考訳（メタデータ） (2020-03-09T23:07:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。