論文の概要: Improving Attention Mechanism with Query-Value Interaction

• arxiv url: http://arxiv.org/abs/2010.03766v1
• Date: Thu, 8 Oct 2020 05:12:52 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-09 12:07:34.539731
• Title: Improving Attention Mechanism with Query-Value Interaction
• Title（参考訳）: クエリ値相互作用による注意機構の改善
• Authors: Chuhan Wu, Fangzhao Wu, Tao Qi, Yongfeng Huang
• Abstract要約: 本稿では,問合せ対応の注目値を学習可能な問合せ-値相互作用関数を提案する。 我々のアプローチは、多くの注意に基づくモデルの性能を一貫して改善することができる。
• 参考スコア（独自算出の注目度）: 92.67156911466397
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Attention mechanism has played critical roles in various state-of-the-art NLP models such as Transformer and BERT. It can be formulated as a ternary function that maps the input queries, keys and values into an output by using a summation of values weighted by the attention weights derived from the interactions between queries and keys. Similar with query-key interactions, there is also inherent relatedness between queries and values, and incorporating query-value interactions has the potential to enhance the output by learning customized values according to the characteristics of queries. However, the query-value interactions are ignored by existing attention methods, which may be not optimal. In this paper, we propose to improve the existing attention mechanism by incorporating query-value interactions. We propose a query-value interaction function which can learn query-aware attention values, and combine them with the original values and attention weights to form the final output. Extensive experiments on four datasets for different tasks show that our approach can consistently improve the performance of many attention-based models by incorporating query-value interactions.
• Abstract（参考訳）: 注意機構はTransformerやBERTといった最先端のNLPモデルにおいて重要な役割を担っている。 入力クエリ、キー、値を出力にマッピングする三項関数として、クエリとキー間の相互作用から得られる注目重みによって重み付けられた値の和を用いて定式化することができる。 クエリキーのインタラクションと同様に、クエリと値の間にも固有の関連性があり、クエリ値のインタラクションを組み込むことで、クエリの特性に応じてカスタマイズされた値を学ぶことで、出力を強化する可能性がある。 しかし、クエリーと値の相互作用は既存の注意手法によって無視されるため、最適ではないかもしれない。 本稿では,クエリ値の相互作用を取り入れることで,既存の注意機構を改善することを提案する。 本稿では,問合せ対応の注目値を学習し,元の値と注目重みを組み合わせて最終的な出力を生成するクエリ値相互作用関数を提案する。 異なるタスクに対する4つのデータセットに対する大規模な実験により、我々のアプローチはクエリ値の相互作用を組み込むことで、多くの注意に基づくモデルの性能を一貫して改善できることを示す。

関連論文リスト

• Interactive Multi-Head Self-Attention with Linear Complexity [60.112941134420204]
  本研究では,アテンション行列のクロスヘッド間相互作用により,アテンション操作の情報フローが向上することを示す。 本稿では,アテンション操作をクエリとキーレスコンポーネントに分解する効果的な手法を提案する。
  論文  参考訳（メタデータ） (2024-02-27T13:47:23Z)
• JPAVE: A Generation and Classification-based Model for Joint Product Attribute Prediction and Value Extraction [59.94977231327573]
  JPAVEと呼ばれる値生成/分類と属性予測を備えたマルチタスク学習モデルを提案する。 我々のモデルの2つの変種は、オープンワールドとクローズドワールドのシナリオのために設計されている。 公開データセットにおける実験結果は,強いベースラインと比較して,我々のモデルが優れていることを示す。
  論文  参考訳（メタデータ） (2023-11-07T18:36:16Z)
• A Question-Answering Approach to Key Value Pair Extraction from Form-like Document Images [8.73248722579337]
  質問応答(QA)に基づくキー-値ペア抽出手法KVPFormerを提案する。 本稿では,より高精度な解答予測を実現するために,粗大な解答予測手法を提案する。 提案したOursは,FUNSDおよびXFUNDデータセットの最先端結果を実現し,F1スコアのそれぞれ7.2%,13.2%を達成している。
  論文  参考訳（メタデータ） (2023-04-17T02:55:31Z)
• Query-Utterance Attention with Joint modeling for Query-Focused Meeting Summarization [4.763356598070365]
  本稿では,クエリ・Utterance Attentionに基づく共同モデリングトークンと発話を用いた問合せ対応フレームワークを提案する。 異なる粒度のクエリ関連性は、クエリに関連する要約を生成するのに寄与することを示す。
  論文  参考訳（メタデータ） (2023-03-08T10:21:45Z)
• Compositional Attention: Disentangling Search and Retrieval [66.7108739597771]
  Multi-head, key-value attention は Transformer モデルとそのバリエーションのバックボーンである。 標準的なアテンションヘッドは、検索と検索の間の厳密なマッピングを学ぶ。 本稿では,標準ヘッド構造を置き換える新しいアテンション機構であるコンポジションアテンションアテンションを提案する。
  論文  参考訳（メタデータ） (2021-10-18T15:47:38Z)
• Relation-aware Heterogeneous Graph for User Profiling [24.076585294260816]
  本稿では,ユーザ・プロファイリングにおける関係性を考慮した異種グラフ手法を提案する。 我々は、不均一なメッセージパッシングに対して、トランスフォーマー方式でクエリ、キー、値のメカニズムを採用する。 実世界の2つのeコマースデータセットの実験を行い、我々のアプローチの大幅なパフォーマンス向上を観察する。
  論文  参考訳（メタデータ） (2021-10-14T06:59:30Z)
• Neural Graph Matching based Collaborative Filtering [13.086302251856756]
  属性相互作用の2つの異なるタイプ、内部相互作用とクロス相互作用を識別する。 既存のモデルはこれら2種類の属性相互作用を区別しない。 ニューラルグラフマッチングに基づく協調フィルタリングモデル(GMCF)を提案する。 我々のモデルは最先端のモデルより優れている。
  論文  参考訳（メタデータ） (2021-05-10T01:51:46Z)
• DCR-Net: A Deep Co-Interactive Relation Network for Joint Dialog Act Recognition and Sentiment Classification [77.59549450705384]
  ダイアログシステムでは、ダイアログアクト認識と感情分類は2つの相関タスクである。 既存のシステムのほとんどは、それらを別々のタスクとして扱うか、単に2つのタスクを一緒にモデル化するだけです。 本稿では,2つのタスク間の相互作用をモデル化するディープ・コ・インタラクティブ・リレーショナル・ネットワーク(DCR-Net)を提案する。
  論文  参考訳（メタデータ） (2020-08-16T14:13:32Z)
• Self-Attention Attribution: Interpreting Information Interactions Inside Transformer [89.21584915290319]
  本稿では,トランスフォーマー内の情報相互作用を解釈する自己帰属属性法を提案する。 本研究は,BERT に対する非目標攻撃の実装において,その属性を敵対パターンとして用いることができることを示す。
  論文  参考訳（メタデータ） (2020-04-23T14:58:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。