論文の概要: Conditional Self-Attention for Query-based Summarization

• arxiv url: http://arxiv.org/abs/2002.07338v1
• Date: Tue, 18 Feb 2020 02:22:31 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-30 19:16:46.977522
• Title: Conditional Self-Attention for Query-based Summarization
• Title（参考訳）: 問合せに基づく要約のための条件付き自己照合
• Authors: Yujia Xie, Tianyi Zhou, Yi Mao, Weizhu Chen
• Abstract要約: 条件依存モデリング用に設計されたニューラルネットワークモジュールであるテキスト条件自己アテンション(CSA)を提案する。 DebatepediaとHotpotQAベンチマークデータセットの実験は、CSAがバニラトランスフォーマーを一貫して上回っていることを示している。
• 参考スコア（独自算出の注目度）: 49.616774159367516
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-attention mechanisms have achieved great success on a variety of NLP tasks due to its flexibility of capturing dependency between arbitrary positions in a sequence. For problems such as query-based summarization (Qsumm) and knowledge graph reasoning where each input sequence is associated with an extra query, explicitly modeling such conditional contextual dependencies can lead to a more accurate solution, which however cannot be captured by existing self-attention mechanisms. In this paper, we propose \textit{conditional self-attention} (CSA), a neural network module designed for conditional dependency modeling. CSA works by adjusting the pairwise attention between input tokens in a self-attention module with the matching score of the inputs to the given query. Thereby, the contextual dependencies modeled by CSA will be highly relevant to the query. We further studied variants of CSA defined by different types of attention. Experiments on Debatepedia and HotpotQA benchmark datasets show CSA consistently outperforms vanilla Transformer and previous models for the Qsumm problem.
• Abstract（参考訳）: セルフアテンション機構は、シーケンス内の任意の位置間の依存性をキャプチャする柔軟性があるため、様々なnlpタスクで大きな成功を収めている。 クエリベースの要約(qsumm)やナレッジグラフ推論のような問題では、各入力シーケンスが追加のクエリに関連付けられている場合、条件付きコンテキスト依存を明示的にモデル化することで、より正確なソリューションが実現できます。 本稿では,条件依存モデリング用に設計されたニューラルネットワークモジュールであるtextit{conditional self-attention} (CSA)を提案する。 CSAは、入力の一致スコアを与えられたクエリに合わせることで、自己アテンションモジュール内の入力トークン間のペアの注意を調節する。 これにより、CSAによってモデル化されたコンテキスト依存は、クエリに非常に関連性がある。 さらに、異なる種類の注意によって定義されるCSAの変種について検討した。 DebatepediaとHotpotQAベンチマークデータセットの実験では、Qsumm問題に対するバニラトランスフォーマーや以前のモデルよりも一貫してパフォーマンスが向上している。

関連論文リスト

• An Empirical Comparison of LM-based Question and Answer Generation Methods [79.31199020420827]
  質問と回答の生成(QAG)は、コンテキストが与えられた質問と回答のペアのセットを生成することで構成される。 本稿では,シーケンス・ツー・シーケンス言語モデル(LM)を微調整する3つの異なるQAG手法を用いて,ベースラインを確立する。 実験により、学習時間と推論時間の両方で計算的に軽量なエンドツーエンドQAGモデルが一般に堅牢であり、他のより複雑なアプローチよりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-05-26T14:59:53Z)
• Modeling Global Semantics for Question Answering over Knowledge Bases [16.341353183347664]
  KBQAにおける意味解析のための関係グラフ畳み込みネットワーク(RGCN)モデルgRGCNを提案する。 ベンチマークで評価した結果,本モデルは市販モデルよりも優れていた。
  論文  参考訳（メタデータ） (2021-01-05T13:51:14Z)
• A Hierarchical Reasoning Graph Neural Network for The Automatic Scoring of Answer Transcriptions in Video Job Interviews [14.091472037847499]
  質問応答対の自動評価のための階層型推論グラフニューラルネットワーク(HRGNN)を提案する。 我々は,現在QAセッションの相互作用状態をモデル化するために,意味レベル推論グラフアテンションネットワークを利用する。 最後に,最終予測のための時間的質問応答対を表すゲート再帰単位エンコーダを提案する。
  論文  参考訳（メタデータ） (2020-12-22T12:27:45Z)
• Learning from Lexical Perturbations for Consistent Visual Question Answering [78.21912474223926]
  既存のVisual Question Answering (VQA)モデルは、しばしば脆弱で入力のバリエーションに敏感である。 本稿では,モジュール型ネットワークに基づく新たなアプローチを提案し,言語摂動による2つの疑問を提起する。 VQA Perturbed Pairings (VQA P2) も提案する。
  論文  参考訳（メタデータ） (2020-11-26T17:38:03Z)
• Generating Diverse and Consistent QA pairs from Contexts with Information-Maximizing Hierarchical Conditional VAEs [62.71505254770827]
  非構造化テキストを文脈として与えられたQAペアを生成するための条件付き変分オートエンコーダ(HCVAE)を提案する。 我々のモデルは、トレーニングにわずかなデータしか使わず、両方のタスクの全てのベースラインに対して印象的なパフォーマンス向上が得られる。
  論文  参考訳（メタデータ） (2020-05-28T08:26:06Z)
• Robust Question Answering Through Sub-part Alignment [53.94003466761305]
  我々はアライメント問題として質問応答をモデル化する。 私たちは、SQuAD v1.1でモデルをトレーニングし、いくつかの逆および外ドメインデータセットでそれをテストします。
  論文  参考訳（メタデータ） (2020-04-30T09:10:57Z)
• Query Focused Multi-Document Summarization with Distant Supervision [88.39032981994535]
  既存の作業は、クエリとテキストセグメント間の関連性を推定する検索スタイルの手法に大きく依存している。 本稿では,クエリに関連するセグメントを推定するための個別モジュールを導入した粗大なモデリングフレームワークを提案する。 我々のフレームワークは、標準QFSベンチマークにおいて、強力な比較システムよりも優れていることを実証する。
  論文  参考訳（メタデータ） (2020-04-06T22:35:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。