論文の概要: BertNet: Harvesting Knowledge Graphs from Pretrained Language Models

• arxiv url: http://arxiv.org/abs/2206.14268v1
• Date: Tue, 28 Jun 2022 19:46:29 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-30 20:02:01.973972
• Title: BertNet: Harvesting Knowledge Graphs from Pretrained Language Models
• Title（参考訳）: BertNet: 事前訓練された言語モデルから知識グラフを得る
• Authors: Shibo Hao, Bowen Tan, Kaiwen Tang, Hengzhe Zhang, Eric P Xing, Zhiting Hu
• Abstract要約: シンボリック・ナレッジグラフ(KG)は、高価なクラウドソーシングやドメイン固有の複雑な情報抽出パイプラインによって構築されている。 ニューラルLMの柔軟性と拡張性によって強化された自動KG構築のための新しいフレームワークを提案する。 我々は、多様な LM から、よりリッチなコモンセンス関係を含む新しい KG の族を導出する。
• 参考スコア（独自算出の注目度）: 72.9006637247241
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Symbolic knowledge graphs (KGs) have been constructed either by expensive human crowdsourcing or with domain-specific complex information extraction pipelines. The emerging large pretrained language models (LMs), such as Bert, have shown to implicitly encode massive knowledge which can be queried with properly designed prompts. However, compared to the explicit KGs, the implict knowledge in the black-box LMs is often difficult to access or edit and lacks explainability. In this work, we aim at harvesting symbolic KGs from the LMs, a new framework for automatic KG construction empowered by the neural LMs' flexibility and scalability. Compared to prior works that often rely on large human annotated data or existing massive KGs, our approach requires only the minimal definition of relations as inputs, and hence is suitable for extracting knowledge of rich new relations not available before.The approach automatically generates diverse prompts, and performs efficient knowledge search within a given LM for consistent and extensive outputs. The harvested knowledge with our approach is substantially more accurate than with previous methods, as shown in both automatic and human evaluation. As a result, we derive from diverse LMs a family of new KGs (e.g., BertNet and RoBERTaNet) that contain a richer set of commonsense relations, including complex ones (e.g., "A is capable of but not good at B"), than the human-annotated KGs (e.g., ConceptNet). Besides, the resulting KGs also serve as a vehicle to interpret the respective source LMs, leading to new insights into the varying knowledge capability of different LMs.
• Abstract（参考訳）: シンボリックナレッジグラフ(kgs)は、高価なクラウドソーシングまたはドメイン固有の複雑な情報抽出パイプラインによって構築されている。 Bertのような新興の大規模事前訓練言語モデル(LM)は、適切に設計されたプロンプトでクエリできる膨大な知識を暗黙的に符号化することを示した。 しかし、明示的なkgsと比較すると、ブラックボックスのlmsにおける暗黙の知識は、しばしばアクセスや編集が困難であり、説明可能性に欠ける。 本研究は,ニューラルネットワークの柔軟性とスケーラビリティを活かした自動KG構築のための新しいフレームワークであるLMからシンボルKGを抽出することを目的としている。 大量の人間の注釈データや既存の膨大なkgに依存する先行研究と比較して、このアプローチは入力として関係の最小限の定義しか必要とせず、それゆえ、これまで入手できなかった豊富な新しい関係の知識を抽出するのに適しています。 自動評価と人的評価の両方で示すように,本手法による収穫知識は,従来の手法よりもかなり正確である。 その結果、人間の注釈付きKG(例えば、ConceptNet)よりも複雑なKG(例えば、AはBが得意ではない)を含む、よりリッチなコモンセンス関係を含む、新しいKG(例えば、BertNetとRoBERTaNet)のファミリーの多様なLMから派生した。 さらに、結果として得られるKGは、それぞれのソースLMを解釈する手段としても機能し、異なるLMの様々な知識能力に関する新たな洞察をもたらす。

関連論文リスト

• Comprehending Knowledge Graphs with Large Language Models for Recommender Systems [13.270018897057293]
  本稿では,知識認識のための大規模言語モデルを活用したCoLaKGという新しい手法を提案する。 まず、KG から各項目を中心とする部分グラフを抽出し、それらを LLM のテキスト入力に変換する。 LLMはこれらの項目中心のサブグラフの理解を出力し、その後セマンティック埋め込みに変換する。
  論文  参考訳（メタデータ） (2024-10-16T04:44:34Z)
• Knowledge Graph-Enhanced Large Language Models via Path Selection [58.228392005755026]
  大規模言語モデル(LLM)は、様々な現実世界のアプリケーションで前例のない性能を示している。 LLMは実際に不正確な出力、すなわち幻覚の問題を発生させることが知られている。 上記の問題に対処する3段階の原理的フレームワークKELPを提案する。
  論文  参考訳（メタデータ） (2024-06-19T21:45:20Z)
• From human experts to machines: An LLM supported approach to ontology and knowledge graph construction [0.0]
  大規模言語モデル(LLM)は、人間のような自然言語を理解し、生成する能力で最近人気を集めている。 本研究は,オープンソースLLMによって促進されるKGの半自動構築について考察する。
  論文  参考訳（メタデータ） (2024-03-13T08:50:15Z)
• Empowering Language Models with Knowledge Graph Reasoning for Question Answering [117.79170629640525]
  我々はknOwledge ReasOning empowered Language Model (OREO-LM)を提案する。 OREO-LMは、既存のTransformerベースのLMに柔軟に接続できる新しい知識相互作用層で構成されている。 クローズド・ブック・セッティングにおいて,最先端の成果が得られ,性能が著しく向上した。
  論文  参考訳（メタデータ） (2022-11-15T18:26:26Z)
• Deep Bidirectional Language-Knowledge Graph Pretraining [159.9645181522436]
  DRAGONは、テキストとKGを大規模に融合した言語知識基盤モデルを事前学習するための自己教師型アプローチである。 我々のモデルは、入力としてテキストセグメントと関連するKGサブグラフのペアを取り、両モードから情報を双方向に融合する。
  論文  参考訳（メタデータ） (2022-10-17T18:02:52Z)
• Structured Knowledge Grounding for Question Answering [0.23068481501673416]
  本稿では,知識に基づく質問応答の柔軟性,範囲の広さ,構造的推論に言語と知識を活用することを提案する。 具体的には,動的ホップを用いて関連するコンテキストを検索する知識構築手法を考案する。 そして、言語と知識の間のボトルネックを交換する情報を橋渡しする深層融合機構を考案する。
  論文  参考訳（メタデータ） (2022-09-17T08:48:50Z)
• Knowledge Graph Augmented Network Towards Multiview Representation Learning for Aspect-based Sentiment Analysis [96.53859361560505]
  本稿では,知識グラフ拡張ネットワーク(KGAN)を提案する。 KGANは感情の特徴表現を、文脈、構文、知識に基づく複数の視点から捉えている。 3つの人気のあるABSAベンチマークの実験は、我々のKGANの有効性と堅牢性を示している。
  論文  参考訳（メタデータ） (2022-01-13T08:25:53Z)
• KELM: Knowledge Enhanced Pre-Trained Language Representations with Message Passing on Hierarchical Relational Graphs [26.557447199727758]
  本稿では,微調整プロセスに基づく知識認識型言語モデルフレームワークを提案する。 我々のモデルは、KGからの世界知識をBERTのような既存の言語モデルに効率的に組み込むことができる。
  論文  参考訳（メタデータ） (2021-09-09T12:39:17Z)
• Generative Adversarial Zero-Shot Relational Learning for Knowledge Graphs [96.73259297063619]
  我々は、この厄介なキュレーションを解放するために、新しい定式化、ゼロショット学習を考える。 新たに追加された関係について,テキスト記述から意味的特徴を学習しようと試みる。 我々は,GAN(Generative Adrial Networks)を活用し,テキストと知識グラフ領域の接続を確立する。
  論文  参考訳（メタデータ） (2020-01-08T01:19:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。