論文の概要: Disentangling and Integrating Relational and Sensory Information in Transformer Architectures

• arxiv url: http://arxiv.org/abs/2405.16727v2
• Date: Wed, 02 Oct 2024 06:31:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-03 15:16:53.540023
• Title: Disentangling and Integrating Relational and Sensory Information in Transformer Architectures
• Title（参考訳）: 変圧器アーキテクチャにおける関係情報と感覚情報の分離と統合
• Authors: Awni Altabaa, John Lafferty,
• Abstract要約: 我々は、個々の物体の性質に関する感覚情報と、物体間の関係に関する関係情報とを区別する。 本稿では,感性情報の流れを指示する感覚的注意機構と,関係情報の流れを指示する新たな関係的注意機構とを特徴とするトランスフォーマーフレームワークのアーキテクチャ拡張を提案する。
• 参考スコア（独自算出の注目度）: 2.5322020135765464
• License:
• Abstract: Relational reasoning is a central component of generally intelligent systems, enabling robust and data-efficient inductive generalization. Recent empirical evidence shows that many existing neural architectures, including Transformers, struggle with tasks requiring relational reasoning. In this work, we distinguish between two types of information: sensory information about the properties of individual objects, and relational information about the relationships between objects. While neural attention provides a powerful mechanism for controlling the flow of sensory information between objects, the Transformer lacks an explicit computational mechanism for routing and processing relational information. To address this limitation, we propose an architectural extension of the Transformer framework that we call the Dual Attention Transformer (DAT), featuring two distinct attention mechanisms: sensory attention for directing the flow of sensory information, and a novel relational attention mechanism for directing the flow of relational information. We empirically evaluate DAT on a diverse set of tasks ranging from synthetic relational benchmarks to complex real-world tasks such as language modeling and visual processing. Our results demonstrate that integrating explicit relational computational mechanisms into the Transformer architecture leads to significant performance gains in terms of data efficiency and parameter efficiency.
• Abstract（参考訳）: リレーショナル推論は、一般にインテリジェントなシステムの中心的なコンポーネントであり、堅牢でデータ効率の良い帰納的一般化を可能にする。 最近の実証的な証拠は、トランスフォーマーを含む多くの既存のニューラルアーキテクチャがリレーショナル推論を必要とするタスクに苦労していることを示している。 本研究では,個々の物体の性質に関する感覚情報と,物体間の関係に関する関係情報とを区別する。 ニューラルアテンションは、オブジェクト間の知覚情報のフローを制御する強力なメカニズムを提供するが、Transformerには、関係情報のルーティングと処理のための明示的な計算メカニズムがない。 この制限に対処するため,我々はDAT (Dual Attention Transformer) と呼ぶTransformerフレームワークのアーキテクチャ拡張を提案する。 我々は、合成関係ベンチマークから言語モデリングや視覚処理といった複雑な実世界のタスクまで、様々なタスクのセットでDATを実証的に評価する。 以上の結果から,明示的な関係計算機構をトランスフォーマーアーキテクチャに統合することで,データ効率やパラメータ効率の面で大きな性能向上が期待できる。

関連論文リスト

• Understanding the Expressive Power and Mechanisms of Transformer for Sequence Modeling [10.246977481606427]
  ドット積自己注意などのトランスフォーマーの異なる成分が表現力に影響を及ぼすメカニズムについて検討する。 本研究では,トランスフォーマーにおける臨界パラメータの役割を明らかにする。
  論文  参考訳（メタデータ） (2024-02-01T11:43:13Z)
• Correlated Attention in Transformers for Multivariate Time Series [22.542109523780333]
  本稿では,特徴量依存を効率的に捕捉し,既存のトランスフォーマーのエンコーダブロックにシームレスに統合できる新しいアテンション機構を提案する。 特に、関連性のある注意は、特徴チャネルを横断して、クエリとキー間の相互共分散行列をラグ値で計算し、サブシリーズレベルで選択的に表現を集約する。 このアーキテクチャは、瞬時だけでなく、ラタグされた相互相関の発見と表現の学習を容易にすると同時に、本質的に時系列の自動相関をキャプチャする。
  論文  参考訳（メタデータ） (2023-11-20T17:35:44Z)
• Neural-Logic Human-Object Interaction Detection [67.4993347702353]
  本稿では,ニューラルロジック推論を利用した新しいHOI検出器であるL OGIC HOIと,実体間の相互作用を推測するTransformerを提案する。 具体的には,バニラトランスフォーマーの自己保持機構を改変し,人間,行動,対象>三重項を推論し,新たな相互作用を構成する。 我々はこれらの2つの特性を一階述語論理で定式化し、それらを連続空間に基底にして、我々のアプローチの学習過程を制約し、性能とゼロショットの一般化能力を向上させる。
  論文  参考訳（メタデータ） (2023-11-16T11:47:53Z)
• Solving Reasoning Tasks with a Slot Transformer [7.966351917016229]
  本稿では、スロットアテンション、トランスフォーマー、およびビデオシーンデータに対する反復的変動推論を利用して表現を推論するアーキテクチャであるSlot Transformerを提案する。 アーキテクチャの主要なコンポーネントの有効性,モデルの表現能力,不完全な入力から予測できる能力について評価する。
  論文  参考訳（メタデータ） (2022-10-20T16:40:30Z)
• SIM-Trans: Structure Information Modeling Transformer for Fine-grained Visual Categorization [59.732036564862796]
  本稿では,オブジェクト構造情報を変換器に組み込んだSIM-Trans(Structure Information Modeling Transformer)を提案する。 提案した2つのモジュールは軽量化されており、任意のトランスフォーマーネットワークにプラグインでき、エンドツーエンドで容易に訓練できる。 実験と解析により,提案したSIM-Transが細粒度視覚分類ベンチマークの最先端性能を達成することを示した。
  論文  参考訳（メタデータ） (2022-08-31T03:00:07Z)
• Miti-DETR: Object Detection based on Transformers with Mitigatory Self-Attention Convergence [17.854940064699985]
  本稿では,緩和的自己認識機構を備えたトランスフォーマーアーキテクチャを提案する。 Miti-DETRは、各注意層の入力をそのレイヤの出力に予約し、「非注意」情報が注意伝播に関与するようにします。 Miti-DETRは、既存のDETRモデルに対する平均検出精度と収束速度を大幅に向上させる。
  論文  参考訳（メタデータ） (2021-12-26T03:23:59Z)
• Discrete-Valued Neural Communication [85.3675647398994]
  コンポーネント間で伝達される情報を離散表現に制限することは、有益なボトルネックであることを示す。 個人は「猫」が特定の経験に基づいて何であるかについて異なる理解を持っているが、共有された離散トークンは、個人間のコミュニケーションが内部表現の個人差によって切り離されることを可能にする。 我々は、量子化機構をベクトル量子化変分オートコーダから共有符号ブックによる多頭部離散化に拡張し、離散値ニューラル通信に利用する。
  論文  参考訳（メタデータ） (2021-07-06T03:09:25Z)
• Transformers with Competitive Ensembles of Independent Mechanisms [97.93090139318294]
  隠れた表現とパラメータを複数のメカニズムに分割し、注意を通して情報を交換する新しいトランスフォーマー層を提案する。 TIM を大規模 BERT モデル、画像変換器、および音声強調について研究し、意味的に意味のある専門化とパフォーマンスの向上の証拠を見つけます。
  論文  参考訳（メタデータ） (2021-02-27T21:48:46Z)
• Attention that does not Explain Away [54.42960937271612]
  Transformerアーキテクチャに基づくモデルは、大規模なタスクに対して競合するアーキテクチャに基づくモデルよりも精度が高い。 Transformerのユニークな特徴は、任意の距離で自由な情報の流れを可能にする自己認識機構の普遍的な応用である。 本稿では,実装が簡単で,"説明的回避"効果を避けるための理論的保証を提供する,二重正規化アテンション方式を提案する。
  論文  参考訳（メタデータ） (2020-09-29T21:05:39Z)
• Towards Automated Neural Interaction Discovery for Click-Through Rate Prediction [64.03526633651218]
  CTR(Click-Through Rate)予測は、レコメンダシステムにおいて最も重要な機械学習タスクの1つである。 本稿では,AutoCTR と呼ばれる CTR 予測のための自動インタラクションアーキテクチャ探索フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-29T04:33:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。