論文の概要: Keyword-Attentive Deep Semantic Matching
- arxiv url: http://arxiv.org/abs/2003.11516v1
- Date: Wed, 11 Mar 2020 10:18:32 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-24 14:30:08.826525
- Title: Keyword-Attentive Deep Semantic Matching
- Title（参考訳）: キーワード対応型ディープセマンティクスマッチング
- Authors: Changyu Miao, Zhen Cao and Yik-Cheung Tam
- Abstract要約: 本稿では,深いセマンティックマッチングを改善するためのキーワード付きアプローチを提案する。
まず、大きなコーパスからのドメインタグを利用して、ドメインを拡張したキーワード辞書を生成する。
モデル学習中,入力ペア間のキーワードカバレッジに基づく新しいネガティブサンプリング手法を提案する。
- 参考スコア（独自算出の注目度）: 1.8416014644193064
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep Semantic Matching is a crucial component in various natural language
processing applications such as question and answering (QA), where an input
query is compared to each candidate question in a QA corpus in terms of
relevance. Measuring similarities between a query-question pair in an open
domain scenario can be challenging due to diverse word tokens in the
queryquestion pair. We propose a keyword-attentive approach to improve deep
semantic matching. We first leverage domain tags from a large corpus to
generate a domain-enhanced keyword dictionary. Built upon BERT, we stack a
keyword-attentive transformer layer to highlight the importance of keywords in
the query-question pair. During model training, we propose a new negative
sampling approach based on keyword coverage between the input pair. We evaluate
our approach on a Chinese QA corpus using various metrics, including precision
of retrieval candidates and accuracy of semantic matching. Experiments show
that our approach outperforms existing strong baselines. Our approach is
general and can be applied to other text matching tasks with little adaptation.
- Abstract（参考訳）: 深い意味のマッチングは、q&a(qa)のような様々な自然言語処理アプリケーションにおいて重要な要素であり、入力クエリは、関連性の観点からqaコーパスの各候補質問と比較される。
オープンドメインシナリオにおけるクエリクエリペア間の類似性の測定は、クエリクエリペア内のさまざまなワードトークンのために難しい場合がある。
深いセマンティックマッチングを改善するためのキーワード付きアプローチを提案する。
まず、大きなコーパスからのドメインタグを利用して、ドメイン拡張キーワード辞書を生成する。
BERTを基盤として,クエリ・クエクション・ペアにおけるキーワードの重要性を強調するために,キーワードアテンテート・トランスフォーマー層を構築した。
モデル学習中に,入力ペア間のキーワードカバレッジに基づいた新たな負サンプリング手法を提案する。
検索候補の精度やセマンティックマッチングの精度など,さまざまな指標を用いて,中国のQAコーパスに対するアプローチを評価する。
実験によると、我々のアプローチは既存の強力なベースラインよりも優れています。
我々のアプローチは一般的であり、適応の少ない他のテキストマッチングタスクにも適用できる。
関連論文リスト
- A General and Flexible Multi-concept Parsing Framework for Multilingual Semantic Matching [60.51839859852572]
我々は,テキストを多言語セマンティックマッチングのためのマルチコンセプトに分解し,NERモデルに依存するモデルからモデルを解放することを提案する。
英語データセットのQQPとMRPC、中国語データセットのMedical-SMについて包括的な実験を行った。
論文 参考訳（メタデータ） (2024-03-05T13:55:16Z) - Dense X Retrieval: What Retrieval Granularity Should We Use? [56.90827473115201]
しばしば見過ごされる設計選択は、コーパスが索引付けされる検索単位である。
本稿では,高密度検索のための新しい検索ユニット,命題を提案する。
実験により、提案のような細粒度単位によるコーパスのインデックス付けは、検索タスクにおける通過レベル単位を著しく上回っていることが明らかとなった。
論文 参考訳（メタデータ） (2023-12-11T18:57:35Z) - Enhancing BERT-Based Visual Question Answering through Keyword-Driven
Sentence Selection [8.586466827855016]
文書ベースのVisual Question Answeringコンペティションは、文書内の親子関係の自動検出に対処する。
本稿では,この課題に対処する PoliTo のアプローチについて述べる。
このアプローチの有効性により、ベースラインよりも高いパフォーマンスを実現できます。
論文 参考訳（メタデータ） (2023-10-13T22:43:55Z) - Open-vocabulary Keyword-spotting with Adaptive Instance Normalization [18.250276540068047]
本稿では,キーワード条件付き正規化パラメータを出力するためにテキストエンコーダを訓練するキーワードスポッティングの新しい手法であるAdaKWSを提案する。
近年のキーワードスポッティングやASRベースラインよりも大幅に改善されている。
論文 参考訳（メタデータ） (2023-09-13T13:49:42Z) - Towards Unsupervised Recognition of Token-level Semantic Differences in
Related Documents [61.63208012250885]
意味的差異をトークンレベルの回帰タスクとして認識する。
マスク付き言語モデルに依存する3つの教師なしアプローチについて検討する。
その結果,単語アライメントと文レベルのコントラスト学習に基づくアプローチは,ゴールドラベルと強い相関関係があることが示唆された。
論文 参考訳（メタデータ） (2023-05-22T17:58:04Z) - Semantic Parsing for Conversational Question Answering over Knowledge
Graphs [63.939700311269156]
本研究では,ユーザの質問にSparqlパースとアノテートし,システム回答が実行結果に対応するデータセットを開発する。
本稿では,2つの意味解析手法を提案し,その課題を強調した。
私たちのデータセットとモデルはhttps://github.com/Edinburgh/SPICE.orgで公開されています。
論文 参考訳（メタデータ） (2023-01-28T14:45:11Z) - Divide and Conquer: Text Semantic Matching with Disentangled Keywords
and Intents [19.035917264711664]
本稿では,キーワードを意図から切り離してテキストセマンティックマッチングを行うためのトレーニング戦略を提案する。
提案手法は,予測効率に影響を与えることなく,事前学習言語モデル(PLM)と容易に組み合わせることができる。
論文 参考訳（メタデータ） (2022-03-06T07:48:24Z) - More Than Words: Collocation Tokenization for Latent Dirichlet
Allocation Models [71.42030830910227]
モデルが異なる環境でクラスタリングの品質を測定するための新しい指標を提案する。
マージトークンでトレーニングされたトピックは、マージされていないモデルよりも、より明確で、一貫性があり、トピックを区別する効果が高いトピックキーをもたらすことを示す。
論文 参考訳（メタデータ） (2021-08-24T14:08:19Z) - Quotient Space-Based Keyword Retrieval in Sponsored Search [7.639289301435027]
代名詞検索は, 代名詞検索において重要な問題となっている。
本稿では,この問題に対処する新しい空間探索フレームワークを提案する。
この方法はBaiduのオンライン検索システムでうまく実装されている。
論文 参考訳（メタデータ） (2021-05-26T07:27:54Z) - MASKER: Masked Keyword Regularization for Reliable Text Classification [73.90326322794803]
文脈に基づく予測を容易にする微調整手法であるマスク付きキーワード正規化(MASKER)を提案する。
maskerはモデルを規則化し、他の単語からキーワードを再構築し、十分な文脈なしに低信頼の予測を行う。
分類精度を低下させることなくOOD検出とクロスドメインの一般化を改善したMASKERを提案する。
論文 参考訳（メタデータ） (2020-12-17T04:54:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。