論文の概要: Incorporating Explicit Knowledge in Pre-trained Language Models for Passage Re-ranking

• arxiv url: http://arxiv.org/abs/2204.11673v1
• Date: Mon, 25 Apr 2022 14:07:28 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-26 17:06:31.466266
• Title: Incorporating Explicit Knowledge in Pre-trained Language Models for Passage Re-ranking
• Title（参考訳）: パッセージ・リグレードのための事前学習言語モデルにおける明示的知識の導入
• Authors: Qian Dong, Yiding Liu, Suqi Cheng, Shuaiqiang Wang, Zhicong Cheng, Shuzi Niu, Dawei Yin
• Abstract要約: 本稿では,新しい知識グラフ蒸留法を提案し,問合せと通過の橋渡しとして知識メタグラフを得る。 PLMをテキストエンコーダとして,知識メタグラフを知識エンコーダとして,グラフニューラルネットワークとして採用した。
• 参考スコア（独自算出の注目度）: 32.22697200984185
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Passage re-ranking is to obtain a permutation over the candidate passage set from retrieval stage. Re-rankers have been boomed by Pre-trained Language Models (PLMs) due to their overwhelming advantages in natural language understanding. However, existing PLM based re-rankers may easily suffer from vocabulary mismatch and lack of domain specific knowledge. To alleviate these problems, explicit knowledge contained in knowledge graph is carefully introduced in our work. Specifically, we employ the existing knowledge graph which is incomplete and noisy, and first apply it in passage re-ranking task. To leverage a reliable knowledge, we propose a novel knowledge graph distillation method and obtain a knowledge meta graph as the bridge between query and passage. To align both kinds of embedding in the latent space, we employ PLM as text encoder and graph neural network over knowledge meta graph as knowledge encoder. Besides, a novel knowledge injector is designed for the dynamic interaction between text and knowledge encoder. Experimental results demonstrate the effectiveness of our method especially in queries requiring in-depth domain knowledge.
• Abstract（参考訳）: 経路再ランクは、検索段階から設定された候補通路上の置換を得る。 自然言語理解における圧倒的なアドバンテージのため、事前訓練された言語モデル(PLM)によってリランカーがブームになった。 しかし、既存のPLMベースのリランカは語彙ミスマッチやドメイン固有の知識の欠如に容易に悩まされる。 これらの問題を緩和するために、知識グラフに含まれる明示的な知識を注意深く研究に導入する。 具体的には,不完全でノイズの多い既存の知識グラフを用い,まず文節の再ランキングタスクに適用する。 信頼性の高い知識を活用するために,新しい知識グラフ蒸留法を提案し,問合せと通過の橋渡しとして知識メタグラフを得る。 潜在空間における2種類の埋め込みを整合させるために,plmをテキストエンコーダとして,グラフニューラルネットワークを知識メタグラフを知識エンコーダとして使用する。 さらに,テキストと知識エンコーダの動的相互作用を考慮し,新しい知識インジェクタを設計する。 実験の結果,特に詳細なドメイン知識を必要とする問合せにおいて,提案手法の有効性が示された。

関連論文リスト

• Knowledge Graph-Enhanced Large Language Models via Path Selection [58.228392005755026]
  大規模言語モデル(LLM)は、様々な現実世界のアプリケーションで前例のない性能を示している。 LLMは実際に不正確な出力、すなわち幻覚の問題を発生させることが知られている。 上記の問題に対処する3段階の原理的フレームワークKELPを提案する。
  論文  参考訳（メタデータ） (2024-06-19T21:45:20Z)
• Infusing Knowledge into Large Language Models with Contextual Prompts [5.865016596356753]
  入力テキスト中の文脈からプロンプトを生成することにより,知識注入のためのシンプルだが一般化可能なアプローチを提案する。 本実験は, 微調整LDMを用いて評価する手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-03T11:19:26Z)
• UNTER: A Unified Knowledge Interface for Enhancing Pre-trained Language Models [100.4659557650775]
  構造化知識と非構造化知識の両方を活用する統一的な視点を提供するために、統一知識インターフェイスUNTERを提案する。 どちらの形態の知識も注入され、UNTERは一連の知識駆動NLPタスクの継続的な改善を得る。
  論文  参考訳（メタデータ） (2023-05-02T17:33:28Z)
• DictBERT: Dictionary Description Knowledge Enhanced Language Model Pre-training via Contrastive Learning [18.838291575019504]
  事前訓練された言語モデル(PLM)は、知識駆動タスクを扱う際に知識が不足していることが示されている。 辞書知識で PLM を強化する新しい手法である textbfDictBERT を提案する。 我々は、NER、関係抽出、CommonsenseQA、OpenBookQA、GLUEなど、さまざまな知識駆動型および言語理解タスクに対するアプローチを評価した。
  論文  参考訳（メタデータ） (2022-08-01T06:43:19Z)
• TegTok: Augmenting Text Generation via Task-specific and Open-world Knowledge [83.55215993730326]
  本稿では,タスク固有およびオープンワールド知識(TegTok)によるTExt生成の統一化を提案する。 本モデルでは,2種類の知識ソースからの知識エントリを高密度検索により選択し,それぞれ入力エンコーディングと出力デコーディングの段階に注入する。
  論文  参考訳（メタデータ） (2022-03-16T10:37:59Z)
• Ontology-enhanced Prompt-tuning for Few-shot Learning [41.51144427728086]
  少ないショットラーニングは、限られたサンプル数に基づいて予測を行うことを目的としている。 知識グラフやオントロジーライブラリなどの構造化データは、様々なタスクにおける数ショット設定の恩恵を受けるために利用されてきた。
  論文  参考訳（メタデータ） (2022-01-27T05:41:36Z)
• CoLAKE: Contextualized Language and Knowledge Embedding [81.90416952762803]
  文脈型言語と知識埋め込み(CoLAKE)を提案する。 CoLAKEは、言語と知識の両方の文脈化された表現を、拡張された目的によって共同で学習する。 知識駆動タスク、知識探索タスク、言語理解タスクについて実験を行う。
  論文  参考訳（メタデータ） (2020-10-01T11:39:32Z)
• CokeBERT: Contextual Knowledge Selection and Embedding towards Enhanced Pre-Trained Language Models [103.18329049830152]
  我々は,コンテキスト知識を動的に選択し,テキストコンテキストに応じて知識コンテキストを埋め込む,Cokeという新しいフレームワークを提案する。 実験の結果、コークは知識駆動型NLPタスクにおいて、様々なベースラインを上回ります。 コークは、テキスト関連の知識のセマンティクスを従来のPLMよりも解釈可能な形で記述することができる。
  論文  参考訳（メタデータ） (2020-09-29T12:29:04Z)
• Exploiting Structured Knowledge in Text via Graph-Guided Representation Learning [73.0598186896953]
  本稿では、知識グラフからのガイダンスを用いて、生テキスト上で学習する2つの自己教師型タスクを提案する。 エンティティレベルのマスキング言語モデルに基づいて、最初のコントリビューションはエンティティマスキングスキームです。 既存のパラダイムとは対照的に,本手法では事前学習時にのみ,知識グラフを暗黙的に使用する。
  論文  参考訳（メタデータ） (2020-04-29T14:22:42Z)
• Knowledge-graph based Proactive Dialogue Generation with Improved Meta-Learning [0.0]
  本稿では,知識グラフに基づく3つのコンポーネントを用いたプロアクティブ対話生成モデル(KgDg)を提案する。 知識三重項の埋め込みと選択については、文の埋め込みの問題として定式化し、意味情報をよりよく捉える。 改良されたMAMLアルゴリズムは,限られた知識グラフから一般的な特徴を学習することができる。
  論文  参考訳（メタデータ） (2020-04-19T08:41:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。