論文の概要: KETM:A Knowledge-Enhanced Text Matching method

• arxiv url: http://arxiv.org/abs/2308.06235v1
• Date: Fri, 11 Aug 2023 17:08:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-14 13:26:05.674071
• Title: KETM:A Knowledge-Enhanced Text Matching method
• Title（参考訳）: KETM:知識強化テキストマッチング手法
• Authors: Kexin Jiang, Yahui Zhao, Guozhe Jin, Zhenguo Zhang and Rongyi Cui
• Abstract要約: 知識強化テキストマッチングモデル(KETM)と呼ばれるテキストマッチングの新しいモデルを提案する。 テキストワード定義を外部知識として検索するために、Wiktionaryを使用します。 我々は、ゲーティング機構を用いてテキストと知識を融合させ、テキストと知識融合の比率を学習する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Text matching is the task of matching two texts and determining the relationship between them, which has extensive applications in natural language processing tasks such as reading comprehension, and Question-Answering systems. The mainstream approach is to compute text representations or to interact with the text through attention mechanism, which is effective in text matching tasks. However, the performance of these models is insufficient for texts that require commonsense knowledge-based reasoning. To this end, in this paper, We introduce a new model for text matching called the Knowledge Enhanced Text Matching model (KETM), to enrich contextual representations with real-world common-sense knowledge from external knowledge sources to enhance our model understanding and reasoning. First, we use Wiktionary to retrieve the text word definitions as our external knowledge. Secondly, we feed text and knowledge to the text matching module to extract their feature vectors. The text matching module is used as an interaction module by integrating the encoder layer, the co-attention layer, and the aggregation layer. Specifically, the interaction process is iterated several times to obtain in-depth interaction information and extract the feature vectors of text and knowledge by multi-angle pooling. Then, we fuse text and knowledge using a gating mechanism to learn the ratio of text and knowledge fusion by a neural network that prevents noise generated by knowledge. After that, experimental validation on four datasets are carried out, and the experimental results show that our proposed model performs well on all four datasets, and the performance of our method is improved compared to the base model without adding external knowledge, which validates the effectiveness of our proposed method. The code is available at https://github.com/1094701018/KETM
• Abstract（参考訳）: テキストマッチングは2つのテキストをマッチングし、それらの関係を判断するタスクであり、読解や質問応答システムといった自然言語処理タスクに広く応用されている。 メインストリームのアプローチは、テキスト表現の計算や、テキストマッチングタスクに有効である注意機構によるテキストとの対話である。 しかし、これらのモデルの性能は、常識的知識に基づく推論を必要とするテキストには不十分である。 そこで,本稿では,外部知識源からの文脈表現と実世界の常識知識を豊かにし,モデル理解と推論を強化するための,知識拡張テキストマッチングモデル(ketm)と呼ばれる新しいテキストマッチングモデルを提案する。 まず、Wiktionaryを使って、テキストワード定義を外部知識として検索する。 次に,テキストマッチングモジュールにテキストと知識を供給し,特徴ベクトルを抽出する。 テキストマッチングモジュールは、エンコーダ層、コアテンション層、アグリゲーション層を統合することにより、相互作用モジュールとして使用される。 具体的には、対話処理を複数回繰り返して奥行きの対話情報を取得し、多角プーリングによりテキストと知識の特徴ベクトルを抽出する。 次に、ゲーティング機構を用いてテキストと知識を融合させ、知識によるノイズを防止するニューラルネットワークにより、テキストと知識融合の比率を学習する。 その後, 4つのデータセットについて実験的検証を行い, 実験結果から, 提案手法は4つのデータセットすべてで良好に動作し, 提案手法の有効性を検証する外部知識を付加することなく, 基礎モデルと比較して性能が向上することを示した。 コードはhttps://github.com/1094701018/ketmで入手できる。

関連論文リスト

• TextFormer: A Query-based End-to-End Text Spotter with Mixed Supervision [61.186488081379]
  Transformerアーキテクチャを用いた問合せベースのエンドツーエンドテキストスポッターであるTextFormerを提案する。 TextFormerは、画像エンコーダとテキストデコーダの上に構築され、マルチタスクモデリングのための共同セマンティック理解を学ぶ。 分類、セグメンテーション、認識のブランチの相互訓練と最適化を可能にし、より深い特徴共有をもたらす。
  論文  参考訳（メタデータ） (2023-06-06T03:37:41Z)
• TRIE++: Towards End-to-End Information Extraction from Visually Rich Documents [51.744527199305445]
  本稿では,視覚的にリッチな文書からエンド・ツー・エンドの情報抽出フレームワークを提案する。 テキスト読み出しと情報抽出は、よく設計されたマルチモーダルコンテキストブロックを介して互いに強化することができる。 フレームワークはエンドツーエンドのトレーニング可能な方法でトレーニングでき、グローバルな最適化が達成できる。
  論文  参考訳（メタデータ） (2022-07-14T08:52:07Z)
• DEIM: An effective deep encoding and interaction model for sentence matching [0.0]
  本稿では,ディープエンコーディングとインタラクションに基づく文マッチング手法を提案する。 エンコーダ層では、1つの文を符号化する過程で他の文の情報を参照し、その後、アルゴリズムを用いて情報を融合する。 インタラクション層では、双方向の注意機構と自己注意機構を用いて深い意味情報を得る。
  論文  参考訳（メタデータ） (2022-03-20T07:59:42Z)
• Pre-training Language Model Incorporating Domain-specific Heterogeneous Knowledge into A Unified Representation [49.89831914386982]
  本研究では, 構造化されていないテキスト, 半構造化されたテキスト, 十分に構造化されたテキストを含む, あらゆる形式のテキストに対して, 統一された事前学習言語モデル (PLM) を提案する。 提案手法は,データの1/4のみを用いて,プレーンテキストの事前学習に優れる。
  論文  参考訳（メタデータ） (2021-09-02T16:05:24Z)
• Explaining Neural Network Predictions on Sentence Pairs via Learning Word-Group Masks [21.16662651409811]
  入力テキストペアから相関語をグループ化して単語相関を暗黙的に検出するグループマスク(GMASK)手法を提案する。 提案手法は4つのデータセットにまたがる2つの異なるモデルアーキテクチャ (decomposable attention model と bert) を用いて評価した。
  論文  参考訳（メタデータ） (2021-04-09T17:14:34Z)
• Improving Machine Reading Comprehension with Contextualized Commonsense Knowledge [62.46091695615262]
  我々は、機械読解の理解を改善するために、常識知識を抽出することを目指している。 構造化知識を文脈内に配置することで,関係を暗黙的に表現することを提案する。 我々は,教師の学習パラダイムを用いて,複数種類の文脈的知識を学生機械読取機に注入する。
  論文  参考訳（メタデータ） (2020-09-12T17:20:01Z)
• TRIE: End-to-End Text Reading and Information Extraction for Document Understanding [56.1416883796342]
  本稿では,統合されたエンドツーエンドのテキスト読解と情報抽出ネットワークを提案する。 テキスト読解のマルチモーダル視覚的特徴とテキスト的特徴は、情報抽出のために融合される。 提案手法は, 精度と効率の両面において, 最先端の手法よりも優れていた。
  論文  参考訳（メタデータ） (2020-05-27T01:47:26Z)
• Exploiting Structured Knowledge in Text via Graph-Guided Representation Learning [73.0598186896953]
  本稿では、知識グラフからのガイダンスを用いて、生テキスト上で学習する2つの自己教師型タスクを提案する。 エンティティレベルのマスキング言語モデルに基づいて、最初のコントリビューションはエンティティマスキングスキームです。 既存のパラダイムとは対照的に,本手法では事前学習時にのみ,知識グラフを暗黙的に使用する。
  論文  参考訳（メタデータ） (2020-04-29T14:22:42Z)
• Generating Hierarchical Explanations on Text Classification via Feature Interaction Detection [21.02924712220406]
  特徴的相互作用を検出することによって階層的な説明を構築する。 このような説明は、単語とフレーズが階層の異なるレベルでどのように結合されるかを視覚化する。 実験は、モデルに忠実であり、人間に解釈可能な説明を提供する上で、提案手法の有効性を示す。
  論文  参考訳（メタデータ） (2020-04-04T20:56:37Z)
• Matching Text with Deep Mutual Information Estimation [0.0]
  本稿では,深い相互情報推定を組み込んだ汎用テキストマッチングのためのニューラルネットワークを提案する。 提案手法は,Deep Info Max (TIM) を用いたテキストマッチングであり,表現の教師なし学習手法と統合されている。 自然言語推論,パラフレーズ識別,解答選択など,いくつかのタスクにおけるテキストマッチング手法の評価を行った。
  論文  参考訳（メタデータ） (2020-03-09T15:25:37Z)
• Short Text Classification via Knowledge powered Attention with Similarity Matrix based CNN [6.6723692875904375]
  本稿では,類似度行列に基づく畳み込みニューラルネットワーク(KASM)モデルを用いた知識駆動型アテンションを提案する。 我々は知識グラフ(KG)を用いて短文の意味表現を強化する。 知識の重要性を測定するために,重要な情報を選択するための注意機構を導入する。
  論文  参考訳（メタデータ） (2020-02-09T12:08:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。