論文の概要: K-AID: Enhancing Pre-trained Language Models with Domain Knowledge for Question Answering

• arxiv url: http://arxiv.org/abs/2109.10547v1
• Date: Wed, 22 Sep 2021 07:19:08 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-23 13:47:39.098232
• Title: K-AID: Enhancing Pre-trained Language Models with Domain Knowledge for Question Answering
• Title（参考訳）: K-AID: 質問応答のためのドメイン知識による事前学習型言語モデルの強化
• Authors: Fu Sun, Feng-Lin Li, Ruize Wang, Qianglong Chen, Xingyi Cheng, Ji Zhang
• Abstract要約: ドメイン知識を取得するための低コストな知識獲得プロセスを含む体系的アプローチであるK-AIDを提案する。 既存のK-PLMの大多数のようにエンティティ知識をキャプチャする代わりに、我々のアプローチはリレーショナル知識をキャプチャする。 筆者らは,Eコマース,政府,フィルム&TVの3分野から5つのテキスト分類タスクと3つのテキストマッチングタスクについて実験を行い,EコマースにおけるオンラインA/Bテストを実施した。
• 参考スコア（独自算出の注目度）: 8.772466918885224
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Knowledge enhanced pre-trained language models (K-PLMs) are shown to be effective for many public tasks in the literature but few of them have been successfully applied in practice. To address this problem, we propose K-AID, a systematic approach that includes a low-cost knowledge acquisition process for acquiring domain knowledge, an effective knowledge infusion module for improving model performance, and a knowledge distillation component for reducing the model size and deploying K-PLMs on resource-restricted devices (e.g., CPU) for real-world application. Importantly, instead of capturing entity knowledge like the majority of existing K-PLMs, our approach captures relational knowledge, which contributes to better-improving sentence-level text classification and text matching tasks that play a key role in question answering (QA). We conducted a set of experiments on five text classification tasks and three text matching tasks from three domains, namely E-commerce, Government, and Film&TV, and performed online A/B tests in E-commerce. Experimental results show that our approach is able to achieve substantial improvement on sentence-level question answering tasks and bring beneficial business value in industrial settings.
• Abstract（参考訳）: 知識強化事前学習言語モデル (K-PLM) は、文献における多くの公的なタスクに有効であることが示されているが、実際に採用されているものはほとんどない。 そこで本研究では,ドメイン知識獲得のための低コストな知識獲得プロセスとモデル性能向上のための効果的な知識注入モジュールと,モデルサイズを削減し,リソース制限されたデバイス(CPUなど)にK-PLMをデプロイする知識蒸留コンポーネントを含む,K-AIDを提案する。 重要なことは、既存のK-PLMの大多数のようにエンティティ知識をキャプチャする代わりに、我々のアプローチは関係知識をキャプチャし、質問応答(QA)において重要な役割を果たす文レベルのテキスト分類とテキストマッチングタスクの改善に寄与する。 筆者らは,Eコマース,政府,フィルム&TVの3分野を対象とした5つのテキスト分類タスクと3つのテキストマッチングタスクについて実験を行い,EコマースにおけるオンラインA/Bテストを実施した。 実験結果から,本手法は文レベルの質問応答タスクを大幅に改善し,産業環境において有益なビジネス価値をもたらすことが示唆された。

関連論文リスト

• KBAlign: Efficient Self Adaptation on Specific Knowledge Bases [75.78948575957081]
  大規模言語モデル(LLM)は通常、知識材料を瞬時に活用するために、検索強化世代に依存している。 本稿では,知識ベースを含む下流タスクへの効率的な適応を目的としたKBAlignを提案する。 提案手法は,Q&Aペアやリビジョン提案などの自己注釈付きデータを用いて反復学習を行い,モデルが知識内容を効率的に把握できるようにする。
  論文  参考訳（メタデータ） (2024-11-22T08:21:03Z)
• Knowledge Tagging System on Math Questions via LLMs with Flexible Demonstration Retriever [48.5585921817745]
  大きな言語モデル(LLM)は知識タグ付けタスクを自動化するために使われる。 算数問題における知識タグ付けタスクに対するゼロショットと少数ショットの結果の強い性能を示す。 強化学習に基づくデモレトリバーの提案により,異なるサイズのLLMの潜在能力を活用できた。
  論文  参考訳（メタデータ） (2024-06-19T23:30:01Z)
• A Knowledge-Injected Curriculum Pretraining Framework for Question Answering [70.13026036388794]
  本稿では,知識に基づく質問応答タスクの総合的なKG学習と活用を実現するための一般知識注入型カリキュラム事前学習フレームワーク(KICP)を提案する。 KIモジュールはまずKG中心の事前学習コーパスを生成してLMに知識を注入し、プロセスを3つの重要なステップに一般化する。 KAモジュールは、アダプタを備えたLMで生成されたコーパスから知識を学習し、元の自然言語理解能力を維持できる。 CRモジュールは人間の推論パターンに従って3つのコーパスを構築する。
  論文  参考訳（メタデータ） (2024-03-11T03:42:03Z)
• Towards Verifiable Generation: A Benchmark for Knowledge-aware Language Model Attribution [48.86322922826514]
  本稿では,知識認識型言語モデル属性(KaLMA)の新たな課題について述べる。 まず、属性のソースを構造化されていないテキストから知識グラフ(KG)に拡張し、そのリッチな構造は属性のパフォーマンスと作業シナリオの両方に役立ちます。 第2に,不完全な知識リポジトリを考慮した「意識的非能力」の設定を提案する。 第3に,テキスト品質,引用品質,引用アライメントを含む総合的な自動評価指標を提案する。
  論文  参考訳（メタデータ） (2023-10-09T11:45:59Z)
• Knowledgeable In-Context Tuning: Exploring and Exploiting Factual Knowledge for In-Context Learning [37.22349652230841]
  大規模言語モデル(LLM)は、テキストベースのプロンプトとしてラベル付きトレーニング例を条件にすることで、コンテキスト内学習(ICL)を可能にする。 本稿では、3つの中核面におけるICLの性能に事実知識が不可欠であることを実証する。 In-Context Tuning (KICT) フレームワークを導入し,ICLの性能向上を図る。
  論文  参考訳（メタデータ） (2023-09-26T09:06:39Z)
• KITLM: Domain-Specific Knowledge InTegration into Language Models for Question Answering [30.129418454426844]
  大規模言語モデル(LLM)は、幅広い自然言語処理において顕著な性能を示した。 関連情報注入による言語モデルへの知識ベース統合手法であるKITLMを提案する。 提案手法は,GPT-3.5-turbo と最先端知識注入法 SKILL を併用し,MetaQA 上での精度の1.5倍の精度向上を実現している。
  論文  参考訳（メタデータ） (2023-08-07T14:42:49Z)
• Injecting Domain Knowledge in Language Models for Task-Oriented Dialogue Systems [9.983102639594899]
  プレトレーニング言語モデル(PLM)は、NLPアプリケーションにまたがる最先端の言語モデルである。 事前学習データに自然に発生することのないドメイン固有の知識は欠如している。 従来の研究では、下流の異なるNLPタスクに象徴的な知識を持つPLMが強化された。
  論文  参考訳（メタデータ） (2022-12-15T20:15:05Z)
• Knowledgeable Salient Span Mask for Enhancing Language Models as Knowledge Base [51.55027623439027]
  我々は、モデルが構造化されていないテキストから、完全に自己教師された方法でより多くの知識を学習するのを助ける2つのソリューションを開発する。 最高の知識を得るために、私たちは、継続的事前学習における知識の完全な自己教師型学習を初めて探求します。
  論文  参考訳（メタデータ） (2022-04-17T12:33:34Z)
• K-PLUG: Knowledge-injected Pre-trained Language Model for Natural Language Understanding and Generation in E-Commerce [38.9878151656255]
  K-PLUGは、エンコーダデコーダトランスフォーマーに基づく知識インジェクション型プリトレーニング言語モデルです。 ドメイン特化知識の学習を定式化する5つの自己指導型事前学習目標を提案する。
  論文  参考訳（メタデータ） (2021-04-14T16:37:31Z)
• Reasoning over Vision and Language: Exploring the Benefits of Supplemental Knowledge [59.87823082513752]
  本稿では,汎用知識基盤(KB)から視覚言語変換器への知識の注入について検討する。 我々は複数のタスクやベンチマークに対する様々なkbの関連性を実証的に研究する。 この技術はモデルに依存しず、最小限の計算オーバーヘッドで任意の視覚言語変換器の適用可能性を拡張することができる。
  論文  参考訳（メタデータ） (2021-01-15T08:37:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。