論文の概要: EIT: Enhanced Interactive Transformer

• arxiv url: http://arxiv.org/abs/2212.10197v2
• Date: Wed, 5 Jun 2024 10:18:14 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-07 04:58:43.573477
• Title: EIT: Enhanced Interactive Transformer
• Title（参考訳）: EIT: インタラクティブトランスの強化
• Authors: Tong Zheng, Bei Li, Huiwen Bao, Tong Xiao, Jingbo Zhu,
• Abstract要約: 補完原理とコンセンサス原理は多視点学習の文献で広く認められている。 マルチヘッド自己意識の現在の設計は、コンセンサスを無視しながら相補性を優先している。 本研究では,2つの相互作用モデルを導入することにより,頭部間のコンセンサスを完全に促進する手法を開発した。
• 参考スコア（独自算出の注目度）: 44.911510315361184
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Two principles: the complementary principle and the consensus principle are widely acknowledged in the literature of multi-view learning. However, the current design of multi-head self-attention, an instance of multi-view learning, prioritizes the complementarity while ignoring the consensus. To address this problem, we propose an enhanced multi-head self-attention (EMHA). First, to satisfy the complementary principle, EMHA removes the one-to-one mapping constraint among queries and keys in multiple subspaces and allows each query to attend to multiple keys. On top of that, we develop a method to fully encourage consensus among heads by introducing two interaction models, namely inner-subspace interaction and cross-subspace interaction. Extensive experiments on a wide range of language tasks (e.g., machine translation, abstractive summarization and grammar correction, language modeling), show its superiority, with a very modest increase in model size. Our code would be available at: https://github.com/zhengkid/EIT-Enhanced-Interactive-Transformer.
• Abstract（参考訳）: 補完原理とコンセンサス原理の2つの原則は、多視点学習の文献で広く認識されている。 しかし、現在の多視点学習の例である多視点自己意識の設計は、コンセンサスを無視しながら相補性を優先している。 この問題に対処するために,拡張型マルチヘッド自己注意(EMHA)を提案する。 まず、補間原理を満たすために、EMHAは複数のサブスペース内のクエリとキー間の1対1のマッピング制約を取り除き、各クエリが複数のキーに参加することを可能にする。 そこで我々は,2つの相互作用モデル,すなわち,内部空間相互作用と部分空間間相互作用を導入することにより,頭部間のコンセンサスを完全に促進する手法を開発した。 幅広い言語タスク(例えば機械翻訳、抽象的な要約と文法の補正、言語モデリング)に対する広範な実験は、その優位性を示し、モデルサイズは非常に緩やかな増加を示している。 私たちのコードは、https://github.com/zhengkid/EIT-Enhanced-Interactive-Transformerで利用可能です。

関連論文リスト

• Exploring Conditional Multi-Modal Prompts for Zero-shot HOI Detection [37.57355457749918]
  本稿では,条件付きマルチモーダルプロンプット(CMMP)を用いたゼロショットHOI検出のための新しいフレームワークを提案する。 従来のプロンプト学習法とは異なり,対話性を考慮した視覚特徴抽出のための学習用分離視覚と言語用プロンプトを提案する。 条件付きマルチモーダルプロンプトを用いた検知器の有効性を実験により実証し, 様々なゼロショット設定の未確認クラスにおいて, 先行技術よりも優れていた。
  論文  参考訳（メタデータ） (2024-08-05T14:05:25Z)
• Detecting Any Human-Object Interaction Relationship: Universal HOI Detector with Spatial Prompt Learning on Foundation Models [55.20626448358655]
  本研究では,ビジョン・ランゲージ(VL)基礎モデルと大規模言語モデル(LLM)を用いて,オープンワールド環境におけるユニバーサルインタラクション認識について検討する。 我々の設計にはHO Prompt-guided Decoder (HOPD) が含まれており、基礎モデルにおける高次関係表現と画像内の様々なHOペアとの結合を容易にする。 オープンカテゴリの対話認識では,対話文と解釈文の2つのタイプがサポートされている。
  論文  参考訳（メタデータ） (2023-11-07T08:27:32Z)
• Multi-Grained Multimodal Interaction Network for Entity Linking [65.30260033700338]
  マルチモーダルエンティティリンクタスクは、マルチモーダル知識グラフへの曖昧な言及を解決することを目的としている。 MELタスクを解決するための新しいMulti-Grained Multimodal InteraCtion Network $textbf(MIMIC)$ frameworkを提案する。
  論文  参考訳（メタデータ） (2023-07-19T02:11:19Z)
• Switch-BERT: Learning to Model Multimodal Interactions by Switching Attention and Input [27.102030262319197]
  共用視覚と言語表現学習のためのtextbfSwitch-BERT を提案し,モダリティミスマッチの問題に対処する。 Switch-BERTは、学習可能な層と層間相互作用を導入することでBERTアーキテクチャを拡張している。 結果は、ViLBERT や UNITER といった代替アーキテクチャが特定のタスクに優れているのに対して、Switch-BERT は一貫して優れたパフォーマンスや同等のパフォーマンスを達成できることを示している。
  論文  参考訳（メタデータ） (2023-06-25T09:28:40Z)
• Learning Unseen Modality Interaction [54.23533023883659]
  マルチモーダル学習は、すべてのモダリティの組み合わせが訓練中に利用でき、クロスモーダル対応を学ぶことを前提としている。 我々は、目に見えないモダリティ相互作用の問題を提起し、第1の解を導入する。 異なるモジュラリティの多次元的特徴を、豊富な情報を保存した共通空間に投影するモジュールを利用する。
  論文  参考訳（メタデータ） (2023-06-22T10:53:10Z)
• Multi-View Class Incremental Learning [57.14644913531313]
  マルチビュー学習(MVL)は、下流タスクのパフォーマンスを改善するためにデータセットの複数の視点から情報を統合することで大きな成功を収めている。 本稿では,複数視点クラスインクリメンタルラーニング(MVCIL)と呼ばれる新しいパラダイムについて考察する。
  論文  参考訳（メタデータ） (2023-06-16T08:13:41Z)
• Holistic Interaction Transformer Network for Action Detection [15.667833703317124]
  HIT"ネットワークは、RGBストリームとポーズストリームからなる総合的なバイモーダルフレームワークである。 提案手法は,J-HMDB,UCF101-24,MultiSportsデータセットにおいて,従来の手法よりも大幅に優れていた。
  論文  参考訳（メタデータ） (2022-10-23T10:19:37Z)
• Interaction Pattern Disentangling for Multi-Agent Reinforcement Learning [39.4394389642761]
  本稿では,対話型対話を対話型プロトタイプに切り離すための新しい対話型On Pattern DisenTangling (OPT) 手法を提案する。 OPTは無関係な実体間のノイズの相互作用をフィルタリングしやすくし、一般化可能性や解釈可能性を大幅に向上させる。 単一タスク,マルチタスク,ゼロショットのベンチマーク実験により,提案手法が最先端のベンチマークよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-07-08T13:42:54Z)
• MGA-VQA: Multi-Granularity Alignment for Visual Question Answering [75.55108621064726]
  視覚的な質問に答えることを学ぶことは、マルチモーダル入力が2つの特徴空間内にあるため、難しい作業である。 視覚質問応答タスク(MGA-VQA)のための多言語アライメントアーキテクチャを提案する。 我々のモデルはアライメントを異なるレベルに分割し、追加のデータやアノテーションを必要とせずにより良い相関関係を学習します。
  論文  参考訳（メタデータ） (2022-01-25T22:30:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。