論文の概要: HAN: Higher-order Attention Network for Spoken Language Understanding

• arxiv url: http://arxiv.org/abs/2108.11916v1
• Date: Thu, 26 Aug 2021 17:13:08 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-27 14:06:06.606021
• Title: HAN: Higher-order Attention Network for Spoken Language Understanding
• Title（参考訳）: HAN: 音声言語理解のための高次注意ネットワーク
• Authors: Dongsheng Chen, Zhiqi Huang, Yuexian Zou
• Abstract要約: 本稿では,従来の注目ブロックをバイリニアアテンションブロックに置き換えることを提案する。 我々は,高次の注目から得られる有効性を探るため,幅広い分析を行う。
• 参考スコア（独自算出の注目度）: 31.326152465734747
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spoken Language Understanding (SLU), including intent detection and slot filling, is a core component in human-computer interaction. The natural attributes of the relationship among the two subtasks make higher requirements on fine-grained feature interaction, i.e., the token-level intent features and slot features. Previous works mainly focus on jointly modeling the relationship between the two subtasks with attention-based models, while ignoring the exploration of attention order. In this paper, we propose to replace the conventional attention with our proposed Bilinear attention block and show that the introduced Higher-order Attention Network (HAN) brings improvement for the SLU task. Importantly, we conduct wide analysis to explore the effectiveness brought from the higher-order attention.
• Abstract（参考訳）: 意図検出やスロット充填を含む音声言語理解(slu)は、人間とコンピュータの相互作用のコアコンポーネントである。 2つのサブタスク間の関係の自然な属性は、細かな機能インタラクション、すなわちトークンレベルのインテント機能とスロット機能に対する要求を高くする。 先行研究は主に2つのサブタスクと注意に基づくモデルの関係を協調的にモデル化することに焦点を当てたが、注意秩序の探求は無視された。 本稿では,従来の注目をバイリニアアテンションブロックに置き換えることを提案し,導入した高次アテンションネットワーク(HAN)がSLUタスクの改善をもたらすことを示す。 重要なのは,高次注意から得られる有効性を検討するために,幅広い分析を行うことである。

関連論文リスト

• Top-Down Visual Attention from Analysis by Synthesis [87.47527557366593]
  我々は、古典的分析・合成(AbS)の視覚的視点からトップダウンの注意を考察する。 本稿では,AbSを変動的に近似したトップダウン変調ViTモデルであるAbSViT(Analytic-by-Synthesis Vision Transformer)を提案する。
  論文  参考訳（メタデータ） (2023-03-23T05:17:05Z)
• Guiding Visual Question Answering with Attention Priors [76.21671164766073]
  本稿では,言語・視覚的接地による注意機構の導出について述べる。 この基礎は、クエリ内の構造化言語概念を視覚オブジェクト間の参照物に接続することで導かれる。 このアルゴリズムは、注意に基づく推論モデルを調べ、関連する連想的知識を注入し、コア推論プロセスを制御する。
  論文  参考訳（メタデータ） (2022-05-25T09:53:47Z)
• On the Efficacy of Co-Attention Transformer Layers in Visual Question Answering [5.547800834335381]
  本研究では,ネットワークが質問に答えつつ,関連する領域に注目する上で,コアテンション・トランスフォーマー・レイヤの有効性について検討する。 我々は,これらのコアテンション層における疑問条件付きイメージアテンションスコアを用いて視覚アテンションマップを生成する。 我々の研究は、コ・アテンション・トランスフォーマー・レイヤの機能と解釈に光を当て、現在のネットワークのギャップを強調し、将来のVQAモデルの開発を導くことができる。
  論文  参考訳（メタデータ） (2022-01-11T14:25:17Z)
• Alignment Attention by Matching Key and Query Distributions [48.93793773929006]
  本稿では,各ヘッダ内のキーとクエリの分布を一致させる自己注意を促すアライメントアテンションアテンションアテンションアテンションアテンションを導入している。 事前学習したモデルを含む自己注意のモデルはすべて、提案したアライメントアテンションアテンションアテンションに変換することが簡単である。 様々な言語理解タスクにおいて, 精度, 不確実性推定, ドメイン間の一般化, 敵攻撃に対する堅牢性などの手法の有効性を示す。
  論文  参考訳（メタデータ） (2021-10-25T00:54:57Z)
• Towards Joint Intent Detection and Slot Filling via Higher-order Attention [47.78365472691051]
  Intent Detection (ID) と Slot fill (SF) は、音声言語理解(SLU)における2つの主要なタスクである。 本稿では,文脈的およびチャネル的両線的アテンション分布を利用したバイリニアアテンションブロックを提案する。 我々のアプローチは最先端のアプローチと比較して改善をもたらすことを示す。
  論文  参考訳（メタデータ） (2021-09-18T09:50:23Z)
• DGA-Net Dynamic Gaussian Attention Network for Sentence Semantic Matching [52.661387170698255]
  本稿では,注意機構を改善するための新しい動的ガウス注意ネットワーク(DGA-Net)を提案する。 まず、事前学習された言語モデルを用いて、入力文を符号化し、大域的な視点から意味表現を構築する。 最後に,DGA(Dynamic Gaussian Attention)を開発し,重要な部分と対応するローカルコンテキストを詳細な視点から動的に捉える。
  論文  参考訳（メタデータ） (2021-06-09T08:43:04Z)
• Understanding top-down attention using task-oriented ablation design [0.22940141855172028]
  トップダウンの注目により、ニューラルネットワークは、人工的および生物学的の両方において、与えられたタスクに最も関連性の高い情報に集中することができる。 我々は,タスク指向アブレーション設計と呼ばれる一般的なフレームワークに基づく計算実験により,この問題に対処することを目指している。 2つのニューラルネットワークの性能を比較する。
  論文  参考訳（メタデータ） (2021-06-08T21:01:47Z)
• More Than Just Attention: Learning Cross-Modal Attentions with Contrastive Constraints [63.08768589044052]
  本稿では,コントラストコンテンツリソーシング (CCR) とコントラストコンテンツスワッピング (CCS) の制約を提案する。 CCRとCCSの制約は、明示的な注意アノテーションを必要とせず、対照的な学習方法で注意モデルのトレーニングを監督する。 Flickr30kとMS-COCOのデータセットの実験は、これらの注意制約を2つの最先端の注意ベースモデルに統合することで、モデルのパフォーマンスが向上することを示した。
  論文  参考訳（メタデータ） (2021-05-20T08:48:10Z)
• Attention in Attention Network for Image Super-Resolution [18.2279472158217]
  静的な注意メカニズムを定量化し、視覚化し、すべての注意モジュールが等しく有益ではないことを示します。 高精度な画像SRのために注目ネットワーク(A$2$N)への注目を提案します。 我々のモデルは最先端の軽量ネットワークと比較して優れたトレードオフ性能を実現することができる。
  論文  参考訳（メタデータ） (2021-04-19T17:59:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。