論文の概要: Language Models are Open Knowledge Graphs

• arxiv url: http://arxiv.org/abs/2010.11967v1
• Date: Thu, 22 Oct 2020 18:01:56 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-04 04:44:42.577174
• Title: Language Models are Open Knowledge Graphs
• Title（参考訳）: 言語モデルはオープンナレッジグラフです
• Authors: Chenguang Wang, Xiao Liu, Dawn Song
• Abstract要約: 近年の深層言語モデルは,事前学習を通じて大規模コーパスから知識を自動取得する。 本稿では,言語モデルに含まれる知識をKGにキャストするための教師なし手法を提案する。 KGは、コーパス上の(微調整なしで)事前訓練された言語モデルの1つの前方パスで構築されていることを示す。
• 参考スコア（独自算出の注目度）: 75.48081086368606
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper shows how to construct knowledge graphs (KGs) from pre-trained language models (e.g., BERT, GPT-2/3), without human supervision. Popular KGs (e.g, Wikidata, NELL) are built in either a supervised or semi-supervised manner, requiring humans to create knowledge. Recent deep language models automatically acquire knowledge from large-scale corpora via pre-training. The stored knowledge has enabled the language models to improve downstream NLP tasks, e.g., answering questions, and writing code and articles. In this paper, we propose an unsupervised method to cast the knowledge contained within language models into KGs. We show that KGs are constructed with a single forward pass of the pre-trained language models (without fine-tuning) over the corpora. We demonstrate the quality of the constructed KGs by comparing to two KGs (Wikidata, TAC KBP) created by humans. Our KGs also provide open factual knowledge that is new in the existing KGs. Our code and KGs will be made publicly available.
• Abstract（参考訳）: 本稿では,事前学習された言語モデル(BERT, GPT-2/3)から知識グラフ(KG)を構築する方法を示す。 人気のあるKG(例えばWikidata、NELL)は、人が知識を創造することを要求する、監督的または半監督的な方法で構築されている。 近年の深層言語モデルは,事前学習を通じて大規模コーパスから知識を自動取得する。 格納された知識により、言語モデルは下流のnlpタスク、例えば質問に答えたり、コードや記事を書いたりできる。 本稿では,言語モデルに含まれる知識をKGにキャストするための教師なし手法を提案する。 kgはコーパス上の事前学習された言語モデルの1つの前方パス(微調整なし)で構築されている。 ヒトが作成した2kgs(wikidata, tac kbp)と比較し、構築したkgsの品質を示す。 当社のkgsは、既存のkgsで新しいオープンな事実知識も提供しています。 私たちのコードとKGは公開されます。

関連論文リスト

• Learning Rules from KGs Guided by Language Models [48.858741745144044]
  ルール学習手法は、潜在的に欠落する事実を予測するために適用することができる。 規則のランク付けは、高度に不完全あるいは偏りのあるKGよりも特に難しい。 近年のLanguage Models (LM) の台頭により、いくつかの研究が、LMがKG補完の代替手段として利用できると主張している。
  論文  参考訳（メタデータ） (2024-09-12T09:27:36Z)
• FedMKGC: Privacy-Preserving Federated Multilingual Knowledge Graph Completion [21.4302940596294]
  知識グラフ補完(KGC)は、知識グラフ(KG)の欠落事実を予測することを目的とする。 KG間で生データを転送することに依存する従来の方法は、プライバシー上の懸念を提起している。 我々は、生データ交換やエンティティアライメントを必要とせずに、複数のKGから暗黙的に知識を集約する新しい連合学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-17T08:09:27Z)
• A Survey of Knowledge Enhanced Pre-trained Language Models [78.56931125512295]
  我々は、知識強化事前学習言語モデル(KE-PLMs)の包括的なレビューを行う。 NLUでは、言語知識、テキスト知識、知識グラフ(KG)、ルール知識の4つのカテゴリに分類する。 NLGのKE-PLMは、KGベースと検索ベースに分類される。
  論文  参考訳（メタデータ） (2022-11-11T04:29:02Z)
• Deep Bidirectional Language-Knowledge Graph Pretraining [159.9645181522436]
  DRAGONは、テキストとKGを大規模に融合した言語知識基盤モデルを事前学習するための自己教師型アプローチである。 我々のモデルは、入力としてテキストセグメントと関連するKGサブグラフのペアを取り、両モードから情報を双方向に融合する。
  論文  参考訳（メタデータ） (2022-10-17T18:02:52Z)
• LambdaKG: A Library for Pre-trained Language Model-Based Knowledge Graph Embeddings [32.371086902570205]
  本稿では,知識グラフ補完,質問応答,推薦,知識探索のためのライブラリLambdaKGを紹介する。 LambdaKGはhttps://github.com/zjunlp/PromptKG/tree/main/lambdaKGで公開されている。
  論文  参考訳（メタデータ） (2022-10-01T16:01:53Z)
• BertNet: Harvesting Knowledge Graphs with Arbitrary Relations from Pretrained Language Models [65.51390418485207]
  本稿では,事前学習したLMから任意の関係を持つ大規模KGを抽出する手法を提案する。 関係定義の最小限の入力により、アプローチは膨大な実体対空間を効率的に探索し、多様な正確な知識を抽出する。 我々は、異なるLMから400以上の新しい関係を持つKGを収穫するためのアプローチを展開している。
  論文  参考訳（メタデータ） (2022-06-28T19:46:29Z)
• Few-shot Knowledge Graph-to-Text Generation with Pretrained Language Models [42.38563175680914]
  本稿では,知識グラフ(KG)の事実を記述した自然言語テキストの自動生成方法について検討する。 数ショットの設定を考えると、言語理解と生成において事前学習された言語モデル(PLM)の優れた能力を利用する。
  論文  参考訳（メタデータ） (2021-06-03T06:48:00Z)
• Knowledge Graph Based Synthetic Corpus Generation for Knowledge-Enhanced Language Model Pre-training [22.534866015730664]
  我々は全英Wikidata KGを言語化した。 Wikidataのような包括的で百科事典的なKGを言語化することで、構造化されたKGと自然言語コーパスを統合することができることを示す。
  論文  参考訳（メタデータ） (2020-10-23T22:14:50Z)
• JAKET: Joint Pre-training of Knowledge Graph and Language Understanding [73.43768772121985]
  本稿では,知識グラフと言語の両方をモデル化する新しい事前学習フレームワークであるJAKETを提案する。 知識モジュールと言語モジュールは相互に支援するための重要な情報を提供する。 我々の設計により、事前学習されたモデルは、新しいドメインの見知らぬ知識グラフに容易に適応できる。
  論文  参考訳（メタデータ） (2020-10-02T05:53:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。