論文の概要: BertNet: Harvesting Knowledge Graphs with Arbitrary Relations from Pretrained Language Models

• arxiv url: http://arxiv.org/abs/2206.14268v3
• Date: Fri, 2 Jun 2023 17:54:54 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-05 21:06:15.776373
• Title: BertNet: Harvesting Knowledge Graphs with Arbitrary Relations from Pretrained Language Models
• Title（参考訳）: BertNet: 事前訓練された言語モデルと任意関係を持つ知識グラフ
• Authors: Shibo Hao, Bowen Tan, Kaiwen Tang, Bin Ni, Xiyan Shao, Hengzhe Zhang, Eric P. Xing, Zhiting Hu
• Abstract要約: 本稿では,事前学習したLMから任意の関係を持つ大規模KGを抽出する手法を提案する。 関係定義の最小限の入力により、アプローチは膨大な実体対空間を効率的に探索し、多様な正確な知識を抽出する。 我々は、異なるLMから400以上の新しい関係を持つKGを収穫するためのアプローチを展開している。
• 参考スコア（独自算出の注目度）: 65.51390418485207
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: It is crucial to automatically construct knowledge graphs (KGs) of diverse new relations to support knowledge discovery and broad applications. Previous KG construction methods, based on either crowdsourcing or text mining, are often limited to a small predefined set of relations due to manual cost or restrictions in text corpus. Recent research proposed to use pretrained language models (LMs) as implicit knowledge bases that accept knowledge queries with prompts. Yet, the implicit knowledge lacks many desirable properties of a full-scale symbolic KG, such as easy access, navigation, editing, and quality assurance. In this paper, we propose a new approach of harvesting massive KGs of arbitrary relations from pretrained LMs. With minimal input of a relation definition (a prompt and a few shot of example entity pairs), the approach efficiently searches in the vast entity pair space to extract diverse accurate knowledge of the desired relation. We develop an effective search-and-rescore mechanism for improved efficiency and accuracy. We deploy the approach to harvest KGs of over 400 new relations from different LMs. Extensive human and automatic evaluations show our approach manages to extract diverse accurate knowledge, including tuples of complex relations (e.g., "A is capable of but not good at B"). The resulting KGs as a symbolic interpretation of the source LMs also reveal new insights into the LMs' knowledge capacities.
• Abstract（参考訳）: 知識発見と幅広い応用を支援するために、多様な新しい関係を持つ知識グラフ(KG)を自動構築することが重要である。 クラウドソーシングやテキストマイニングに基づく以前のKG構築手法は、手作業のコストやテキストコーパスの制限のため、しばしば小さな事前定義された関係に制限される。 近年の研究では、事前訓練された言語モデル(LM)を暗黙の知識ベースとして使用し、プロンプトによる知識クエリを受け入れることが提案されている。 しかし、暗黙の知識は、容易なアクセス、ナビゲーション、編集、品質保証など、本格的なシンボリックkgの多くの望ましい特性を欠いている。 本稿では,事前学習したlmsから任意の関係の大量のkgを収穫する新しい手法を提案する。 関係定義(例えばエンティティペアのプロンプトと数ショット)の最小限の入力で、アプローチは広大なエンティティペア空間を効率的に探索し、望ましい関係の多様な正確な知識を抽出する。 我々は効率と精度を向上させるための効率的な探索・再スコア機構を開発した。 我々は、異なるlmsから400以上の新しい関係のkgを収穫するアプローチを展開する。 大規模な人的・自動的な評価は、複雑な関係のタプル(例えば「Aは能力があるが、Bは得意ではない」など)を含む様々な正確な知識を抽出する方法を示している。 ソースLMの象徴的な解釈として得られたKGは、LMの知識能力に関する新たな洞察も示している。

関連論文リスト

• Comprehending Knowledge Graphs with Large Language Models for Recommender Systems [13.270018897057293]
  本稿では,知識認識のための大規模言語モデルを活用したCoLaKGという新しい手法を提案する。 まず、KG から各項目を中心とする部分グラフを抽出し、それらを LLM のテキスト入力に変換する。 LLMはこれらの項目中心のサブグラフの理解を出力し、その後セマンティック埋め込みに変換する。
  論文  参考訳（メタデータ） (2024-10-16T04:44:34Z)
• Knowledge Graph-Enhanced Large Language Models via Path Selection [58.228392005755026]
  大規模言語モデル(LLM)は、様々な現実世界のアプリケーションで前例のない性能を示している。 LLMは実際に不正確な出力、すなわち幻覚の問題を発生させることが知られている。 上記の問題に対処する3段階の原理的フレームワークKELPを提案する。
  論文  参考訳（メタデータ） (2024-06-19T21:45:20Z)
• From human experts to machines: An LLM supported approach to ontology and knowledge graph construction [0.0]
  大規模言語モデル(LLM)は、人間のような自然言語を理解し、生成する能力で最近人気を集めている。 本研究は,オープンソースLLMによって促進されるKGの半自動構築について考察する。
  論文  参考訳（メタデータ） (2024-03-13T08:50:15Z)
• Empowering Language Models with Knowledge Graph Reasoning for Question Answering [117.79170629640525]
  我々はknOwledge ReasOning empowered Language Model (OREO-LM)を提案する。 OREO-LMは、既存のTransformerベースのLMに柔軟に接続できる新しい知識相互作用層で構成されている。 クローズド・ブック・セッティングにおいて,最先端の成果が得られ,性能が著しく向上した。
  論文  参考訳（メタデータ） (2022-11-15T18:26:26Z)
• Deep Bidirectional Language-Knowledge Graph Pretraining [159.9645181522436]
  DRAGONは、テキストとKGを大規模に融合した言語知識基盤モデルを事前学習するための自己教師型アプローチである。 我々のモデルは、入力としてテキストセグメントと関連するKGサブグラフのペアを取り、両モードから情報を双方向に融合する。
  論文  参考訳（メタデータ） (2022-10-17T18:02:52Z)
• Structured Knowledge Grounding for Question Answering [0.23068481501673416]
  本稿では,知識に基づく質問応答の柔軟性,範囲の広さ,構造的推論に言語と知識を活用することを提案する。 具体的には,動的ホップを用いて関連するコンテキストを検索する知識構築手法を考案する。 そして、言語と知識の間のボトルネックを交換する情報を橋渡しする深層融合機構を考案する。
  論文  参考訳（メタデータ） (2022-09-17T08:48:50Z)
• Knowledge Graph Augmented Network Towards Multiview Representation Learning for Aspect-based Sentiment Analysis [96.53859361560505]
  本稿では,知識グラフ拡張ネットワーク(KGAN)を提案する。 KGANは感情の特徴表現を、文脈、構文、知識に基づく複数の視点から捉えている。 3つの人気のあるABSAベンチマークの実験は、我々のKGANの有効性と堅牢性を示している。
  論文  参考訳（メタデータ） (2022-01-13T08:25:53Z)
• KELM: Knowledge Enhanced Pre-Trained Language Representations with Message Passing on Hierarchical Relational Graphs [26.557447199727758]
  本稿では,微調整プロセスに基づく知識認識型言語モデルフレームワークを提案する。 我々のモデルは、KGからの世界知識をBERTのような既存の言語モデルに効率的に組み込むことができる。
  論文  参考訳（メタデータ） (2021-09-09T12:39:17Z)
• Generative Adversarial Zero-Shot Relational Learning for Knowledge Graphs [96.73259297063619]
  我々は、この厄介なキュレーションを解放するために、新しい定式化、ゼロショット学習を考える。 新たに追加された関係について,テキスト記述から意味的特徴を学習しようと試みる。 我々は,GAN(Generative Adrial Networks)を活用し,テキストと知識グラフ領域の接続を確立する。
  論文  参考訳（メタデータ） (2020-01-08T01:19:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。