論文の概要: Bridging the KB-Text Gap: Leveraging Structured Knowledge-aware
Pre-training for KBQA
- arxiv url: http://arxiv.org/abs/2308.14436v1
- Date: Mon, 28 Aug 2023 09:22:02 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-29 14:30:54.610026
- Title: Bridging the KB-Text Gap: Leveraging Structured Knowledge-aware
Pre-training for KBQA
- Title(参考訳): KB-Textギャップのブリッジ: KBQAのための構造化知識認識事前学習の活用
- Authors: Guanting Dong, Rumei Li, Sirui Wang, Yupeng Zhang, Yunsen Xian and
Weiran Xu
- Abstract要約: テキストと構造化KBのギャップを埋める構造化知識認識事前学習法(SKP)を提案する。
事前学習の段階では、複雑な部分グラフの暗黙的関係とより良い表現を効果的に学習するためにモデルを導くという、2つの新しい構造化された知識認識タスクを導入する。
下流KBQAタスクでは、より効率的な線形化戦略とインターバルアテンション機構を設計し、複雑なサブグラフの符号化を支援する。
- 参考スコア(独自算出の注目度): 28.642711264323786
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Knowledge Base Question Answering (KBQA) aims to answer natural language
questions with factual information such as entities and relations in KBs.
However, traditional Pre-trained Language Models (PLMs) are directly
pre-trained on large-scale natural language corpus, which poses challenges for
them in understanding and representing complex subgraphs in structured KBs. To
bridge the gap between texts and structured KBs, we propose a Structured
Knowledge-aware Pre-training method (SKP). In the pre-training stage, we
introduce two novel structured knowledge-aware tasks, guiding the model to
effectively learn the implicit relationship and better representations of
complex subgraphs. In downstream KBQA task, we further design an efficient
linearization strategy and an interval attention mechanism, which assist the
model to better encode complex subgraphs and shield the interference of
irrelevant subgraphs during reasoning respectively. Detailed experiments and
analyses on WebQSP verify the effectiveness of SKP, especially the significant
improvement in subgraph retrieval (+4.08% H@10).
- Abstract(参考訳): Knowledge Base Question Answering (KBQA) は、自然言語の質問に対して、KBの実体や関係などの事実情報で答えることを目的としている。
しかしながら、従来の事前学習言語モデル(plm)は、大規模自然言語コーパス上で直接事前学習されており、構造化kbにおける複雑なサブグラフの理解と表現に課題がある。
テキストと構造化KBのギャップを埋めるために,構造化知識認識事前学習法(SKP)を提案する。
事前学習段階では,2つの新しい構造的知識認識タスクを導入し,暗黙的関係を効果的に学習するためのモデルと,複雑な部分グラフの表現の改善を導く。
下流KBQAタスクでは、より効率的な線形化戦略とインターバルアテンション機構を設計し、複雑なサブグラフをよりよくエンコードし、推論中に無関係なサブグラフの干渉を遮蔽する。
WebQSPに関する詳細な実験と分析は、SKPの有効性、特にサブグラフ検索の大幅な改善(+4.08% H@10)を検証する。
関連論文リスト
- ChatKBQA: A Generate-then-Retrieve Framework for Knowledge Base Question
Answering with Fine-tuned Large Language Models [13.215465389864631]
ChatKBQA は、細調整のオープンソース LLM 上に構築された新規な生成可能なKBQAフレームワークである。
実験結果から,ChatKBQAは標準KBQAデータセット上で新たな最先端性能を実現することがわかった。
論文 参考訳(メタデータ) (2023-10-13T09:45:14Z) - Towards Verifiable Generation: A Benchmark for Knowledge-aware Language
Model Attribution [48.92960579675478]
我々は知識認識型言語モデル属性(KaLMA)の新しいタスクを定義する。
まず、構造化されていないテキストから知識グラフ(KG)へ属性ソースを拡張する。
第2に,不完全な知識リポジトリを考慮した「意識的非能力」の設定を提案する。
第3に,テキスト品質,引用品質,引用アライメントを含む総合的な自動評価指標を提案する。
論文 参考訳(メタデータ) (2023-10-09T11:45:59Z) - Cross-Lingual Question Answering over Knowledge Base as Reading
Comprehension [61.079852289005025]
知識ベース(xKBQA)に対する言語間質問応答は、提供された知識ベースとは異なる言語での質問に答えることを目的としている。
xKBQAが直面する大きな課題の1つは、データアノテーションのコストが高いことである。
読解パラダイムにおけるxKBQAの新しいアプローチを提案する。
論文 参考訳(メタデータ) (2023-02-26T05:52:52Z) - Knowledge Prompting in Pre-trained Language Model for Natural Language
Understanding [24.315130086787374]
知識プロンプトに基づく PLM フレームワーク KP-PLM を提案する。
このフレームワークは、既存の主流PLMと柔軟に組み合わせることができる。
これらのプロンプトから事実知識を更に活用するために,我々は2つの新しい知識認識型自己監督タスクを提案する。
論文 参考訳(メタデータ) (2022-10-16T13:36:57Z) - Knowledgeable Salient Span Mask for Enhancing Language Models as
Knowledge Base [51.55027623439027]
我々は、モデルが構造化されていないテキストから、完全に自己教師された方法でより多くの知識を学習するのを助ける2つのソリューションを開発する。
最高の知識を得るために、私たちは、継続的事前学習における知識の完全な自己教師型学習を初めて探求します。
論文 参考訳(メタデータ) (2022-04-17T12:33:34Z) - A Systematic Investigation of KB-Text Embedding Alignment at Scale [17.636921566637298]
知識ベース(KB)とテキストは相補的な知識を含むことが多い。
相補的な情報を完全に活用するために、両方の知識ソースと共同で埋め込み、推論する方法は、いまだに未解決の問題である。
共同推論のためのKBとテキストの埋め込みを協調する大規模かつ体系的な研究を行う。
論文 参考訳(メタデータ) (2021-06-03T04:14:11Z) - Relational world knowledge representation in contextual language models:
A review [19.176173014629185]
我々は自然言語処理の観点から知識ベース(kbs)の限界を考える
文脈言語モデル(LM)における関係知識表現のための新しい分類法を提案する。
論文 参考訳(メタデータ) (2021-04-12T21:50:55Z) - Reasoning Over Virtual Knowledge Bases With Open Predicate Relations [85.19305347984515]
Open Predicate Query Language (OPQL) を紹介します。
OPQLは、テキストから完全にトレーニングされた仮想知識ベース(VKB)を構築する方法である。
OPQLは2つの異なるKB推論タスクにおいて、以前のVKBメソッドよりも優れていることを示す。
論文 参考訳(メタデータ) (2021-02-14T01:29:54Z) - Question Answering over Knowledge Bases by Leveraging Semantic Parsing
and Neuro-Symbolic Reasoning [73.00049753292316]
本稿では,意味解析と推論に基づくニューロシンボリック質問回答システムを提案する。
NSQAはQALD-9とLC-QuAD 1.0で最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2020-12-03T05:17:55Z) - A Survey on Complex Question Answering over Knowledge Base: Recent
Advances and Challenges [71.4531144086568]
知識ベース(KB)に対する質問回答(QA)は、自然言語の質問に自動的に答えることを目的としている。
研究者は、よりKBのトリプルと制約推論を必要とする単純な質問から複雑な質問へと注意を移した。
論文 参考訳(メタデータ) (2020-07-26T07:13:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。