論文の概要: LadRa-Net: Locally-Aware Dynamic Re-read Attention Net for Sentence Semantic Matching

• arxiv url: http://arxiv.org/abs/2108.02915v1
• Date: Fri, 6 Aug 2021 02:07:04 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-09 22:42:31.644850
• Title: LadRa-Net: Locally-Aware Dynamic Re-read Attention Net for Sentence Semantic Matching
• Title（参考訳）: LadRa-Net: 文セマンティックマッチングのための局所認識動的再読み取り注意ネット
• Authors: Kun Zhang, Guangyi Lv, Le Wu, Enhong Chen, Qi Liu, Meng Wang
• Abstract要約: 文意味マッチングのための新しい動的再読ネットワーク(DRr-Net)を開発した。 DRr-Netをローカルに認識する動的再読み取り注意ネット(LadRa-Net)に拡張する 2つの一般的な文意味マッチングタスクの実験により、DRr-Netは文意味マッチングの性能を大幅に改善できることを示した。
• 参考スコア（独自算出の注目度）: 66.65398852962177
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sentence semantic matching requires an agent to determine the semantic relation between two sentences, which is widely used in various natural language tasks, such as Natural Language Inference (NLI), Paraphrase Identification (PI), and so on. Much recent progress has been made in this area, especially attention-based methods and pre-trained language model based methods. However, most of these methods focus on all the important parts in sentences in a static way and only emphasize how important the words are to the query, inhibiting the ability of attention mechanism. In order to overcome this problem and boost the performance of attention mechanism, we propose a novel dynamic re-read attention, which can pay close attention to one small region of sentences at each step and re-read the important parts for better sentence representations. Based on this attention variation, we develop a novel Dynamic Re-read Network (DRr-Net) for sentence semantic matching. Moreover, selecting one small region in dynamic re-read attention seems insufficient for sentence semantics, and employing pre-trained language models as input encoders will introduce incomplete and fragile representation problems. To this end, we extend DRrNet to Locally-Aware Dynamic Re-read Attention Net (LadRa-Net), in which local structure of sentences is employed to alleviate the shortcoming of Byte-Pair Encoding (BPE) in pre-trained language models and boost the performance of dynamic reread attention. Extensive experiments on two popular sentence semantic matching tasks demonstrate that DRr-Net can significantly improve the performance of sentence semantic matching. Meanwhile, LadRa-Net is able to achieve better performance by considering the local structures of sentences. In addition, it is exceedingly interesting that some discoveries in our experiments are consistent with some findings of psychological research.
• Abstract（参考訳）: 文の意味マッチングには、自然言語推論(NLI)やパラフレーズ識別(PI)など、さまざまな自然言語タスクで広く使われている2つの文間の意味的関係を決定するエージェントが必要である。 この領域では、特に注意に基づく手法や事前訓練された言語モデルに基づく手法が近年進歩している。 しかし、これらの手法のほとんどは静的な方法で文のすべての重要な部分に焦点を当て、単語がクエリにとってどれほど重要であるかのみを強調し、注意機構の能力を抑制する。 そこで本研究では,この問題を克服し,注意機構の性能を高めるために,各ステップの1つの小領域に注意を向け,より優れた文表現のための重要な部分を再読み込むことのできる,新しい動的再読出注意を提案する。 この特徴に基づいて,文意味マッチングのための動的再読ネットワーク(DRr-Net)を開発した。 さらに、動的再読上げ注意における1つの小さな領域の選択は文の意味論では不十分であり、入力エンコーダとして事前学習された言語モデルを採用すると、不完全で脆弱な表現の問題が生じる。 この目的のために、DRrNetをローカルに認識する動的再読注意網(LadRa-Net)に拡張し、文の局所構造を用いて、事前学習された言語モデルにおけるByte-Pair Encoding(BPE)の欠点を緩和し、動的再読注意力を高める。 2つの一般的な文意味マッチングタスクに関する大規模な実験により、DRr-Netは文意味マッチングの性能を大幅に改善できることを示した。 一方、LadRa-Netは、文の局所構造を考慮することで、より良いパフォーマンスを実現することができる。 また,我々の実験におけるいくつかの発見が,心理学的研究のいくつかの発見と一致していることは極めて興味深い。

関連論文リスト

• Topic-DPR: Topic-based Prompts for Dense Passage Retrieval [6.265789210037749]
  トピックベースのプロンプトを用いた高密度経路探索モデルであるTopic-DPRを提案する。 本稿では, 半構造化データを利用して高密度検索効率を向上させる, 新規な正負サンプリング手法を提案する。
  論文  参考訳（メタデータ） (2023-10-10T13:45:24Z)
• Sentence Representation Learning with Generative Objective rather than Contrastive Objective [86.01683892956144]
  句再構成に基づく新たな自己教師型学習目標を提案する。 我々の生成学習は、十分な性能向上を達成し、現在の最先端のコントラスト法よりも優れています。
  論文  参考訳（メタデータ） (2022-10-16T07:47:46Z)
• Contextualized Semantic Distance between Highly Overlapped Texts [85.1541170468617]
  テキスト編集や意味的類似性評価といった自然言語処理タスクにおいて、ペア化されたテキストに重複が頻繁に発生する。 本稿では,マスク・アンド・予測戦略を用いてこの問題に対処することを目的とする。 本稿では,最も長い単語列の単語を隣接する単語とみなし,その位置の分布を予測するためにマスク付き言語モデリング(MLM)を用いる。 セマンティックテキスト類似性の実験では、NDDは様々な意味的差異、特に高い重なり合うペアテキストに対してより敏感であることが示されている。
  論文  参考訳（メタデータ） (2021-10-04T03:59:15Z)
• DGA-Net Dynamic Gaussian Attention Network for Sentence Semantic Matching [52.661387170698255]
  本稿では,注意機構を改善するための新しい動的ガウス注意ネットワーク(DGA-Net)を提案する。 まず、事前学習された言語モデルを用いて、入力文を符号化し、大域的な視点から意味表現を構築する。 最後に,DGA(Dynamic Gaussian Attention)を開発し,重要な部分と対応するローカルコンテキストを詳細な視点から動的に捉える。
  論文  参考訳（メタデータ） (2021-06-09T08:43:04Z)
• Improving BERT with Syntax-aware Local Attention [14.70545694771721]
  そこで本研究では,構文構造における距離を対象とする局所的注意度(局所注意度)を提案する。 文分類やシーケンスラベリングタスクなど,シングルセンテンスベンチマークの各種実験を行った。 我々のモデルは、構文的に関連のある単語により注意を払って、より良いパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2020-12-30T13:29:58Z)
• Narrative Incoherence Detection [76.43894977558811]
  本稿では,文間セマンティック理解のための新たなアリーナとして,物語不整合検出の課題を提案する。 複数文の物語を考えると、物語の流れに意味的な矛盾があるかどうかを決定します。
  論文  参考訳（メタデータ） (2020-12-21T07:18:08Z)
• Sequential Sentence Matching Network for Multi-turn Response Selection in Retrieval-based Chatbots [45.920841134523286]
  本稿では,文レベルの意味情報を用いて問題に対処する,逐次文マッチングネットワーク(S2M)を提案する。 まず、文レベルの意味情報を用いて、ネットワークが問題に対処し、マッチングを大幅に改善し、その結果、最先端のパフォーマンスが得られることがわかった。
  論文  参考訳（メタデータ） (2020-05-16T09:47:19Z)
• Salience Estimation with Multi-Attention Learning for Abstractive Text Summarization [86.45110800123216]
  テキスト要約のタスクでは、単語、フレーズ、文のサリエンス推定が重要な要素である。 本稿では,サラレンス推定のための2つの新しい注目学習要素を含むマルチアテンション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-04-07T02:38:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。