論文の概要: Bridging the KB-Text Gap: Leveraging Structured Knowledge-aware Pre-training for KBQA

• arxiv url: http://arxiv.org/abs/2308.14436v1
• Date: Mon, 28 Aug 2023 09:22:02 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-29 14:30:54.610026
• Title: Bridging the KB-Text Gap: Leveraging Structured Knowledge-aware Pre-training for KBQA
• Title（参考訳）: KB-Textギャップのブリッジ: KBQAのための構造化知識認識事前学習の活用
• Authors: Guanting Dong, Rumei Li, Sirui Wang, Yupeng Zhang, Yunsen Xian and Weiran Xu
• Abstract要約: テキストと構造化KBのギャップを埋める構造化知識認識事前学習法(SKP)を提案する。 事前学習の段階では、複雑な部分グラフの暗黙的関係とより良い表現を効果的に学習するためにモデルを導くという、2つの新しい構造化された知識認識タスクを導入する。 下流KBQAタスクでは、より効率的な線形化戦略とインターバルアテンション機構を設計し、複雑なサブグラフの符号化を支援する。
• 参考スコア（独自算出の注目度）: 28.642711264323786
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge Base Question Answering (KBQA) aims to answer natural language questions with factual information such as entities and relations in KBs. However, traditional Pre-trained Language Models (PLMs) are directly pre-trained on large-scale natural language corpus, which poses challenges for them in understanding and representing complex subgraphs in structured KBs. To bridge the gap between texts and structured KBs, we propose a Structured Knowledge-aware Pre-training method (SKP). In the pre-training stage, we introduce two novel structured knowledge-aware tasks, guiding the model to effectively learn the implicit relationship and better representations of complex subgraphs. In downstream KBQA task, we further design an efficient linearization strategy and an interval attention mechanism, which assist the model to better encode complex subgraphs and shield the interference of irrelevant subgraphs during reasoning respectively. Detailed experiments and analyses on WebQSP verify the effectiveness of SKP, especially the significant improvement in subgraph retrieval (+4.08% H@10).
• Abstract（参考訳）: Knowledge Base Question Answering (KBQA) は、自然言語の質問に対して、KBの実体や関係などの事実情報で答えることを目的としている。 しかしながら、従来の事前学習言語モデル(plm)は、大規模自然言語コーパス上で直接事前学習されており、構造化kbにおける複雑なサブグラフの理解と表現に課題がある。 テキストと構造化KBのギャップを埋めるために,構造化知識認識事前学習法(SKP)を提案する。 事前学習段階では,2つの新しい構造的知識認識タスクを導入し,暗黙的関係を効果的に学習するためのモデルと,複雑な部分グラフの表現の改善を導く。 下流KBQAタスクでは、より効率的な線形化戦略とインターバルアテンション機構を設計し、複雑なサブグラフをよりよくエンコードし、推論中に無関係なサブグラフの干渉を遮蔽する。 WebQSPに関する詳細な実験と分析は、SKPの有効性、特にサブグラフ検索の大幅な改善(+4.08% H@10)を検証する。

関連論文リスト

• A Learn-Then-Reason Model Towards Generalization in Knowledge Base Question Answering [17.281005999581865]
  FreebaseやWikidataのような大規模知識ベース(KB)には、数百万の構造化知識がある。 Knowledge Base Question Answering (KBQA)は、自然言語の質問を通じて、これらの貴重なKBにアクセスするためのユーザフレンドリな方法を提供する。 本稿では,KBLLaMAを開発した。KBLLaMAは,新しいKB知識を言語モデルに注入し,フレキシブルなエンドツーエンドKBQAを実現するためのフレームワークである。
  論文  参考訳（メタデータ） (2024-06-20T22:22:41Z)
• A Knowledge-Injected Curriculum Pretraining Framework for Question Answering [70.13026036388794]
  本稿では,知識に基づく質問応答タスクの総合的なKG学習と活用を実現するための一般知識注入型カリキュラム事前学習フレームワーク(KICP)を提案する。 KIモジュールはまずKG中心の事前学習コーパスを生成してLMに知識を注入し、プロセスを3つの重要なステップに一般化する。 KAモジュールは、アダプタを備えたLMで生成されたコーパスから知識を学習し、元の自然言語理解能力を維持できる。 CRモジュールは人間の推論パターンに従って3つのコーパスを構築する。
  論文  参考訳（メタデータ） (2024-03-11T03:42:03Z)
• ChatKBQA: A Generate-then-Retrieve Framework for Knowledge Base Question Answering with Fine-tuned Large Language Models [19.85526116658481]
  本稿では,新規かつ簡易な生成検索KBQAフレームワークであるChatKBQAを紹介する。 実験の結果,ChatKBQAは標準KBQAデータセット上で新たな最先端性能を実現することがわかった。 この研究は、LLMと知識グラフを組み合わせるための新しいパラダイムとして、解釈可能および知識要求型質問応答のパラダイムと見なすこともできる。
  論文  参考訳（メタデータ） (2023-10-13T09:45:14Z)
• Supporting Vision-Language Model Inference with Confounder-pruning Knowledge Prompt [71.77504700496004]
  視覚言語モデルは、オープンセットの視覚概念を扱うために、画像とテキストのペアを共通の空間に整列させることで事前訓練される。 事前訓練されたモデルの転送可能性を高めるため、最近の研究では、固定または学習可能なプロンプトが採用されている。 しかし、どのようにして、どのプロンプトが推論性能を改善するのかは、まだ不明である。
  論文  参考訳（メタデータ） (2022-05-23T07:51:15Z)
• Knowledgeable Salient Span Mask for Enhancing Language Models as Knowledge Base [51.55027623439027]
  我々は、モデルが構造化されていないテキストから、完全に自己教師された方法でより多くの知識を学習するのを助ける2つのソリューションを開発する。 最高の知識を得るために、私たちは、継続的事前学習における知識の完全な自己教師型学習を初めて探求します。
  論文  参考訳（メタデータ） (2022-04-17T12:33:34Z)
• A Systematic Investigation of KB-Text Embedding Alignment at Scale [17.636921566637298]
  知識ベース(KB)とテキストは相補的な知識を含むことが多い。 相補的な情報を完全に活用するために、両方の知識ソースと共同で埋め込み、推論する方法は、いまだに未解決の問題である。 共同推論のためのKBとテキストの埋め込みを協調する大規模かつ体系的な研究を行う。
  論文  参考訳（メタデータ） (2021-06-03T04:14:11Z)
• Relational world knowledge representation in contextual language models: A review [19.176173014629185]
  我々は自然言語処理の観点から知識ベース(kbs)の限界を考える 文脈言語モデル(LM)における関係知識表現のための新しい分類法を提案する。
  論文  参考訳（メタデータ） (2021-04-12T21:50:55Z)
• Reasoning Over Virtual Knowledge Bases With Open Predicate Relations [85.19305347984515]
  Open Predicate Query Language (OPQL) を紹介します。 OPQLは、テキストから完全にトレーニングされた仮想知識ベース(VKB)を構築する方法である。 OPQLは2つの異なるKB推論タスクにおいて、以前のVKBメソッドよりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-02-14T01:29:54Z)
• Question Answering over Knowledge Bases by Leveraging Semantic Parsing and Neuro-Symbolic Reasoning [73.00049753292316]
  本稿では,意味解析と推論に基づくニューロシンボリック質問回答システムを提案する。 NSQAはQALD-9とLC-QuAD 1.0で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2020-12-03T05:17:55Z)
• A Survey on Complex Question Answering over Knowledge Base: Recent Advances and Challenges [71.4531144086568]
  知識ベース(KB)に対する質問回答(QA)は、自然言語の質問に自動的に答えることを目的としている。 研究者は、よりKBのトリプルと制約推論を必要とする単純な質問から複雑な質問へと注意を移した。
  論文  参考訳（メタデータ） (2020-07-26T07:13:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。