論文の概要: The Short Text Matching Model Enhanced with Knowledge via Contrastive Learning

• arxiv url: http://arxiv.org/abs/2304.03898v2
• Date: Tue, 21 Nov 2023 02:39:06 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-23 05:25:55.770640
• Title: The Short Text Matching Model Enhanced with Knowledge via Contrastive Learning
• Title（参考訳）: コントラスト学習による知識強化による短いテキストマッチングモデル
• Authors: Ruiqiang Liu, Mengmeng Cui, Hanjie Mai, Qiang Zhang, Shaohua Xu, Xiangzheng Liu, Yanlong Du
• Abstract要約: 本稿では,コントラスト学習と外部知識を組み合わせた短いテキストマッチングモデルを提案する。 ノイズを避けるため、原文の主文としてキーワードを用いて、知識ベースで対応する知識語を検索する。 設計モデルは,2つの公開可能な中国語テキストマッチングデータセット上で,最先端のパフォーマンスを実現する。
• 参考スコア（独自算出の注目度）: 8.563021874575973
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, short Text Matching tasks have been widely applied in the fields ofadvertising search and recommendation. The difficulty lies in the lack of semantic information and word ambiguity caused by the short length of the text. Previous works have introduced complement sentences or knowledge bases to provide additional feature information. However, these methods have not fully interacted between the original sentence and the complement sentence, and have not considered the noise issue that may arise from the introduction of external knowledge bases. Therefore, this paper proposes a short Text Matching model that combines contrastive learning and external knowledge. The model uses a generative model to generate corresponding complement sentences and uses the contrastive learning method to guide the model to obtain more semantically meaningful encoding of the original sentence. In addition, to avoid noise, we use keywords as the main semantics of the original sentence to retrieve corresponding knowledge words in the knowledge base, and construct a knowledge graph. The graph encoding model is used to integrate the knowledge base information into the model. Our designed model achieves state-of-the-art performance on two publicly available Chinese Text Matching datasets, demonstrating the effectiveness of our model.
• Abstract（参考訳）: 近年,検索と推薦を宣伝する分野において,短いテキストマッチングタスクが広く採用されている。 この難しさは、テキストの短い長さによって生じる意味情報や単語の曖昧さの欠如にある。 以前の作品では、追加の特徴情報を提供するために補文や知識ベースを導入している。 しかし、これらの手法は原文と補文の間に完全には相互作用せず、外部知識ベースの導入によるノイズの問題も考慮していない。 そこで本稿では,コントラスト学習と外部知識を組み合わせた短いテキストマッチングモデルを提案する。 モデルは生成モデルを用いて対応する補文を生成し、コントラスト学習法を用いてモデルを導出し、より意味的に意味のある原文の符号化を得る。 さらに,ノイズを避けるために,原文の主文としてキーワードを用いて,知識ベースで対応する知識語を検索し,知識グラフを構築する。 グラフ符号化モデルは、知識ベース情報をモデルに統合するために使用される。 設計モデルは,2つの公開可能な中国語テキストマッチングデータセットの最先端性能を実現し,本モデルの有効性を実証する。

関連論文リスト

• Self-Supervised Representation Learning with Spatial-Temporal Consistency for Sign Language Recognition [96.62264528407863]
  本研究では,空間的時間的整合性を通じてリッチな文脈を探索する自己教師付きコントラスト学習フレームワークを提案する。 動きと関節のモーダル性の相補性に着想を得て,手話モデルに一階動作情報を導入する。 提案手法は,4つの公開ベンチマークの広範な実験により評価され,新しい最先端性能と顕著なマージンを実現している。
  論文  参考訳（メタデータ） (2024-06-15T04:50:19Z)
• Pixel Sentence Representation Learning [67.4775296225521]
  本研究では,視覚表現学習プロセスとして,文レベルのテキスト意味論の学習を概念化する。 タイポスや単語順シャッフルのような視覚的に接地されたテキスト摂動法を採用し、人間の認知パターンに共鳴し、摂動を連続的に認識できるようにする。 我々のアプローチは、大規模に教師なしのトピックアライメントトレーニングと自然言語推論監督によってさらに強化されている。
  論文  参考訳（メタデータ） (2024-02-13T02:46:45Z)
• Blending Reward Functions via Few Expert Demonstrations for Faithful and Accurate Knowledge-Grounded Dialogue Generation [22.38338205905379]
  我々は、新しい報酬関数を導入することで上記の課題を克服するために強化学習アルゴリズムを活用する。 我々の報奨関数は、精度測定値と忠実度測定値を組み合わせて、生成された応答のバランスの取れた品質判定を提供する。
  論文  参考訳（メタデータ） (2023-11-02T02:42:41Z)
• Enhancing Argument Structure Extraction with Efficient Leverage of Contextual Information [79.06082391992545]
  本稿では,コンテキスト情報を完全に活用する効率的なコンテキスト認識モデル(ECASE)を提案する。 文脈情報や議論情報を集約するために,シーケンスアテンションモジュールと距離重み付き類似度損失を導入する。 各種ドメインの5つのデータセットに対する実験により,我々のモデルが最先端の性能を達成することを示す。
  論文  参考訳（メタデータ） (2023-10-08T08:47:10Z)
• KETM:A Knowledge-Enhanced Text Matching method [0.0]
  知識強化テキストマッチングモデル(KETM)と呼ばれるテキストマッチングの新しいモデルを提案する。 テキストワード定義を外部知識として検索するために、Wiktionaryを使用します。 我々は、ゲーティング機構を用いてテキストと知識を融合させ、テキストと知識融合の比率を学習する。
  論文  参考訳（メタデータ） (2023-08-11T17:08:14Z)
• Enhanced Knowledge Selection for Grounded Dialogues via Document Semantic Graphs [123.50636090341236]
  本稿では,背景知識文書を自動的に文書意味グラフに変換することを提案する。 文書意味グラフは文ノードを用いて文レベル情報を保存し,文間の概念接続を提供する。 本実験により,HolEにおける知識選択タスクとエンドツーエンド応答生成タスクの双方において,意味グラフに基づく知識選択が文選択ベースラインよりも改善されることが示されている。
  論文  参考訳（メタデータ） (2022-06-15T04:51:32Z)
• Zero-shot Commonsense Question Answering with Cloze Translation and Consistency Optimization [20.14487209460865]
  自然質問をクローズスタイルの文に翻訳できる4つの翻訳手法について検討する。 提案手法は知識ベース改良モデルと相補的なデータセットであり,それらを組み合わせることで,最先端のゼロショット性能を実現することができることを示す。
  論文  参考訳（メタデータ） (2022-01-01T07:12:49Z)
• Imposing Relation Structure in Language-Model Embeddings Using Contrastive Learning [30.00047118880045]
  グラフ構造における関係をエンコードするために文埋め込みを訓練する新しいコントラスト学習フレームワークを提案する。 結果として得られた関係認識文の埋め込みは、関係抽出タスクにおける最先端の結果を得る。
  論文  参考訳（メタデータ） (2021-09-02T10:58:27Z)
• Exploiting Structured Knowledge in Text via Graph-Guided Representation Learning [73.0598186896953]
  本稿では、知識グラフからのガイダンスを用いて、生テキスト上で学習する2つの自己教師型タスクを提案する。 エンティティレベルのマスキング言語モデルに基づいて、最初のコントリビューションはエンティティマスキングスキームです。 既存のパラダイムとは対照的に,本手法では事前学習時にのみ,知識グラフを暗黙的に使用する。
  論文  参考訳（メタデータ） (2020-04-29T14:22:42Z)
• Temporal Embeddings and Transformer Models for Narrative Text Understanding [72.88083067388155]
  キャラクタ関係モデリングのための物語テキスト理解のための2つのアプローチを提案する。 これらの関係の時間的進化は動的単語埋め込みによって説明され、時間とともに意味的変化を学ぶように設計されている。 最新の変換器モデルBERTに基づく教師付き学習手法を用いて文字間の静的な関係を検出する。
  論文  参考訳（メタデータ） (2020-03-19T14:23:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。