論文の概要: K-AID: Enhancing Pre-trained Language Models with Domain Knowledge for
Question Answering
- arxiv url: http://arxiv.org/abs/2109.10547v1
- Date: Wed, 22 Sep 2021 07:19:08 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-23 13:47:39.098232
- Title: K-AID: Enhancing Pre-trained Language Models with Domain Knowledge for
Question Answering
- Title(参考訳): K-AID: 質問応答のためのドメイン知識による事前学習型言語モデルの強化
- Authors: Fu Sun, Feng-Lin Li, Ruize Wang, Qianglong Chen, Xingyi Cheng, Ji
Zhang
- Abstract要約: ドメイン知識を取得するための低コストな知識獲得プロセスを含む体系的アプローチであるK-AIDを提案する。
既存のK-PLMの大多数のようにエンティティ知識をキャプチャする代わりに、我々のアプローチはリレーショナル知識をキャプチャする。
筆者らは,Eコマース,政府,フィルム&TVの3分野から5つのテキスト分類タスクと3つのテキストマッチングタスクについて実験を行い,EコマースにおけるオンラインA/Bテストを実施した。
- 参考スコア(独自算出の注目度): 8.772466918885224
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Knowledge enhanced pre-trained language models (K-PLMs) are shown to be
effective for many public tasks in the literature but few of them have been
successfully applied in practice. To address this problem, we propose K-AID, a
systematic approach that includes a low-cost knowledge acquisition process for
acquiring domain knowledge, an effective knowledge infusion module for
improving model performance, and a knowledge distillation component for
reducing the model size and deploying K-PLMs on resource-restricted devices
(e.g., CPU) for real-world application. Importantly, instead of capturing
entity knowledge like the majority of existing K-PLMs, our approach captures
relational knowledge, which contributes to better-improving sentence-level text
classification and text matching tasks that play a key role in question
answering (QA). We conducted a set of experiments on five text classification
tasks and three text matching tasks from three domains, namely E-commerce,
Government, and Film&TV, and performed online A/B tests in E-commerce.
Experimental results show that our approach is able to achieve substantial
improvement on sentence-level question answering tasks and bring beneficial
business value in industrial settings.
- Abstract(参考訳): 知識強化事前学習言語モデル (K-PLM) は、文献における多くの公的なタスクに有効であることが示されているが、実際に採用されているものはほとんどない。
そこで本研究では,ドメイン知識獲得のための低コストな知識獲得プロセスとモデル性能向上のための効果的な知識注入モジュールと,モデルサイズを削減し,リソース制限されたデバイス(CPUなど)にK-PLMをデプロイする知識蒸留コンポーネントを含む,K-AIDを提案する。
重要なことは、既存のK-PLMの大多数のようにエンティティ知識をキャプチャする代わりに、我々のアプローチは関係知識をキャプチャし、質問応答(QA)において重要な役割を果たす文レベルのテキスト分類とテキストマッチングタスクの改善に寄与する。
筆者らは,Eコマース,政府,フィルム&TVの3分野を対象とした5つのテキスト分類タスクと3つのテキストマッチングタスクについて実験を行い,EコマースにおけるオンラインA/Bテストを実施した。
実験結果から,本手法は文レベルの質問応答タスクを大幅に改善し,産業環境において有益なビジネス価値をもたらすことが示唆された。
関連論文リスト
- Towards Verifiable Generation: A Benchmark for Knowledge-aware Language
Model Attribution [48.92960579675478]
我々は知識認識型言語モデル属性(KaLMA)の新しいタスクを定義する。
まず、構造化されていないテキストから知識グラフ(KG)へ属性ソースを拡張する。
第2に,不完全な知識リポジトリを考慮した「意識的非能力」の設定を提案する。
第3に,テキスト品質,引用品質,引用アライメントを含む総合的な自動評価指標を提案する。
論文 参考訳(メタデータ) (2023-10-09T11:45:59Z) - Boosting In-Context Learning with Factual Knowledge [39.93507764191706]
In-Context Learning (ICL) over Large Language Model (LLMs) は、いくつかのトレーニング例を条件に、これまで見つからなかったタスクを解決することを目的としている。
本稿では、3つの中核面におけるICLの性能に事実知識が不可欠であることを実証する。
In-Context Tuning (KICT) フレームワークを導入し,ICLの性能向上を図る。
論文 参考訳(メタデータ) (2023-09-26T09:06:39Z) - KITLM: Domain-Specific Knowledge InTegration into Language Models for
Question Answering [30.129418454426844]
大規模言語モデル(LLM)は、幅広い自然言語処理において顕著な性能を示した。
関連情報注入による言語モデルへの知識ベース統合手法であるKITLMを提案する。
提案手法は,GPT-3.5-turbo と最先端知識注入法 SKILL を併用し,MetaQA 上での精度の1.5倍の精度向上を実現している。
論文 参考訳(メタデータ) (2023-08-07T14:42:49Z) - Knowledge-Augmented Reasoning Distillation for Small Language Models in
Knowledge-Intensive Tasks [90.11273439036455]
大規模言語モデル(LLM)は知識集約推論タスクにおいて有望なパフォーマンスを示している。
外部知識ベースから得られた知識を付加したLPMから理性を生成するための,小型LMを微調整する新しい手法であるKARDを提案する。
我々は,KARDが知識集約型推論データセットにおいて,小さなT5モデルとGPTモデルの性能を著しく向上させることを示す。
論文 参考訳(メタデータ) (2023-05-28T13:00:00Z) - Injecting Domain Knowledge in Language Models for Task-Oriented Dialogue
Systems [9.983102639594899]
プレトレーニング言語モデル(PLM)は、NLPアプリケーションにまたがる最先端の言語モデルである。
事前学習データに自然に発生することのないドメイン固有の知識は欠如している。
従来の研究では、下流の異なるNLPタスクに象徴的な知識を持つPLMが強化された。
論文 参考訳(メタデータ) (2022-12-15T20:15:05Z) - Recitation-Augmented Language Models [85.30591349383849]
知識集約型NLPタスクにおいて,RECITEは強力なパラダイムであることを示す。
具体的には、リサイクリングを中間ステップとして活用することにより、新しい最先端性能を実現することができることを示す。
論文 参考訳(メタデータ) (2022-10-04T00:49:20Z) - Knowledgeable Salient Span Mask for Enhancing Language Models as
Knowledge Base [51.55027623439027]
我々は、モデルが構造化されていないテキストから、完全に自己教師された方法でより多くの知識を学習するのを助ける2つのソリューションを開発する。
最高の知識を得るために、私たちは、継続的事前学習における知識の完全な自己教師型学習を初めて探求します。
論文 参考訳(メタデータ) (2022-04-17T12:33:34Z) - CINS: Comprehensive Instruction for Few-shot Learning in Task-oriented
Dialog Systems [56.302581679816775]
本稿では,タスク固有の命令でPLMを利用する包括的インストラクション(CINS)を提案する。
命令のスキーマ(定義、制約、プロンプト)と、ToDの3つの重要な下流タスクに対するカスタマイズされた実現を設計する。
これらのToDタスクに対して,小さな検証データを用いた現実的な数ショット学習シナリオで実験を行った。
論文 参考訳(メタデータ) (2021-09-10T03:23:06Z) - K-PLUG: Knowledge-injected Pre-trained Language Model for Natural
Language Understanding and Generation in E-Commerce [38.9878151656255]
K-PLUGは、エンコーダデコーダトランスフォーマーに基づく知識インジェクション型プリトレーニング言語モデルです。
ドメイン特化知識の学習を定式化する5つの自己指導型事前学習目標を提案する。
論文 参考訳(メタデータ) (2021-04-14T16:37:31Z) - Reasoning over Vision and Language: Exploring the Benefits of
Supplemental Knowledge [59.87823082513752]
本稿では,汎用知識基盤(KB)から視覚言語変換器への知識の注入について検討する。
我々は複数のタスクやベンチマークに対する様々なkbの関連性を実証的に研究する。
この技術はモデルに依存しず、最小限の計算オーバーヘッドで任意の視覚言語変換器の適用可能性を拡張することができる。
論文 参考訳(メタデータ) (2021-01-15T08:37:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。