論文の概要: Towards Joint Intent Detection and Slot Filling via Higher-order Attention

• arxiv url: http://arxiv.org/abs/2109.08890v2
• Date: Wed, 22 Sep 2021 15:26:56 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-23 10:37:08.141623
• Title: Towards Joint Intent Detection and Slot Filling via Higher-order Attention
• Title（参考訳）: 高次注意による関節インテント検出とスロット充満に向けて
• Authors: Dongsheng Chen, Zhiqi Huang, Xian Wu, Shen Ge, Yuexian Zou
• Abstract要約: Intent Detection (ID) と Slot fill (SF) は、音声言語理解(SLU)における2つの主要なタスクである。 本稿では,文脈的およびチャネル的両線的アテンション分布を利用したバイリニアアテンションブロックを提案する。 我々のアプローチは最先端のアプローチと比較して改善をもたらすことを示す。
• 参考スコア（独自算出の注目度）: 47.78365472691051
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Intent detection (ID) and Slot filling (SF) are two major tasks in spoken language understanding (SLU). Recently, attention mechanism has been shown to be effective in jointly optimizing these two tasks in an interactive manner. However, latest attention-based works concentrated only on the first-order attention design, while ignoring the exploration of higher-order attention mechanisms. In this paper, we propose a BiLinear attention block, which leverages bilinear pooling to simultaneously exploit both the contextual and channel-wise bilinear attention distributions to capture the second-order interactions between the input intent or slot features. Higher and even infinity order interactions are built by stacking numerous blocks and assigning Exponential Linear Unit (ELU) to blocks. Before the decoding stage, we introduce the Dynamic Feature Fusion Layer to implicitly fuse intent and slot information in a more effective way. Technically, instead of simply concatenating intent and slot features, we first compute two correlation matrices to weight on two features. Furthermore, we present Higher-order Attention Network for the SLU tasks. Experiments on two benchmark datasets show that our approach yields improvements compared with the state-of-the-art approach. We also provide discussion to demonstrate the effectiveness of the proposed approach.
• Abstract（参考訳）: Intent Detection (ID) と Slot fill (SF) は、音声言語理解(SLU)における2つの主要なタスクである。 近年,これら2つのタスクの対話的最適化に注意機構が有効であることが示されている。 しかし、最新の注意に基づく研究は、高次注意機構の探索を無視しながら、1次注意設計のみに集中している。 本稿では,双方向のプーリングを活用し,入力意図とスロット特徴の2次相互作用を捉えるために,文脈的およびチャネル的双方向の注意分布を同時に活用するバイリニア・アテンションブロックを提案する。 高次および無限次相互作用は、多数のブロックを積み重ね、指数線形ユニット(ELU)をブロックに割り当てることによって構築される。 復号化の前には,インテントとスロット情報を暗黙的に融合する動的機能融合層を,より効果的な方法で導入する。 技術的には、単にインテントとスロット機能を結合するのではなく、2つの相関行列を2つの特徴に重み付けて計算します。 さらに,SLUタスクに対する高次注意ネットワークを提案する。 2つのベンチマークデータセットの実験により、我々のアプローチは最先端のアプローチと比較して改善をもたらすことが示された。 また,提案手法の有効性を示すための議論を行う。

関連論文リスト

• Interactive Multi-Head Self-Attention with Linear Complexity [60.112941134420204]
  本研究では,アテンション行列のクロスヘッド間相互作用により,アテンション操作の情報フローが向上することを示す。 本稿では,アテンション操作をクエリとキーレスコンポーネントに分解する効果的な手法を提案する。
  論文  参考訳（メタデータ） (2024-02-27T13:47:23Z)
• MISCA: A Joint Model for Multiple Intent Detection and Slot Filling with Intent-Slot Co-Attention [9.414164374919029]
  グラフに基づくジョイントモデルである最近の高度なアプローチは、まだ2つの潜在的な問題に直面している。 我々はMISCAというジョイントモデルを提案する。 我々のMISCAは、意図-スロットのコアテンション機構とラベルアテンション機構の基盤層を導入している。
  論文  参考訳（メタデータ） (2023-12-10T03:38:41Z)
• CAT: Learning to Collaborate Channel and Spatial Attention from Multi-Information Fusion [23.72040577828098]
  本稿では,空間とチャネルのアテンション間の協調を活性化する「CAT」と呼ばれるプラグイン・アンド・プレイアテンション・モジュールを提案する。 具体的には、特徴を訓練可能な係数(コラ因子)として表現し、異なる注意モジュールの寄与を適応的に組み合わせる。 我々のCATは、オブジェクト検出、インスタンスセグメンテーション、画像分類において、既存の最先端の注意機構よりも優れています。
  論文  参考訳（メタデータ） (2022-12-13T02:34:10Z)
• HAN: Higher-order Attention Network for Spoken Language Understanding [31.326152465734747]
  本稿では,従来の注目ブロックをバイリニアアテンションブロックに置き換えることを提案する。 我々は,高次の注目から得られる有効性を探るため,幅広い分析を行う。
  論文  参考訳（メタデータ） (2021-08-26T17:13:08Z)
• Context-Aware Interaction Network for Question Matching [51.76812857301819]
  本研究では,二つのシーケンスを整合させ,それらの意味関係を推定する文脈認識インタラクションネットワーク(coin)を提案する。 具体的には,(1)コンテキスト情報を効果的に統合するためのコンテキスト対応のクロスアテンション機構,(2)整列表現を柔軟に補間するゲート融合層を備える。
  論文  参考訳（メタデータ） (2021-04-17T05:03:56Z)
• Online Multiple Object Tracking with Cross-Task Synergy [120.70085565030628]
  位置予測と埋め込み結合の相乗効果を考慮した新しい統一モデルを提案する。 この2つのタスクは、時間認識対象の注意と注意の注意、およびアイデンティティ認識メモリ集約モデルによってリンクされる。
  論文  参考訳（メタデータ） (2021-04-01T10:19:40Z)
• A Co-Interactive Transformer for Joint Slot Filling and Intent Detection [61.109486326954205]
  音声言語理解システム(SLU)を構築する上では,インテント検出とスロットフィリングが主要な2つのタスクである。 以前の研究では、2つのタスクを個別にモデル化するか、インテントからスロットへの単一の情報フローのみを考慮していた。 本稿では,2つのタスク間の相互影響を同時に検討するコ・インターアクティブ・トランスフォーマーを提案する。
  論文  参考訳（メタデータ） (2020-10-08T10:16:52Z)
• Attention improves concentration when learning node embeddings [1.2233362977312945]
  検索クエリテキストでラベル付けされたノードを考えると、製品を共有する関連クエリへのリンクを予測したい。 様々なディープニューラルネットワークを用いた実験では、注意機構を備えた単純なフィードフォワードネットワークが埋め込み学習に最適であることが示されている。 本稿では,クエリ生成モデルであるAttESTを提案する。このモデルでは,製品とクエリテキストの両方を,潜在空間に埋め込まれたベクトルとして見ることができる。
  論文  参考訳（メタデータ） (2020-06-11T21:21:12Z)
• X-Linear Attention Networks for Image Captioning [124.48670699658649]
  視覚情報を利用したり,マルチモーダル推論を行ったりするために,バイリニアプールを完全に活用した統一型アテンションブロック-X-Linearアテンションブロックを導入する。 X-LANは、X-Linearアテンションブロックを画像エンコーダと画像キャプションモデルの文デコーダに統合し、高次のイントラモーダルインタラクションとインターモーダルインタラクションを活用する。 COCOベンチマークの実験により、我々のX-LANはCOCOカルパシーテストのスプリットで132.0%の最高のCIDEr性能を得ることができた。
  論文  参考訳（メタデータ） (2020-03-31T10:35:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。