論文の概要: Language Models as Knowledge Bases: On Entity Representations, Storage Capacity, and Paraphrased Queries

• arxiv url: http://arxiv.org/abs/2008.09036v2
• Date: Wed, 21 Apr 2021 18:06:11 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-27 03:32:18.586450
• Title: Language Models as Knowledge Bases: On Entity Representations, Storage Capacity, and Paraphrased Queries
• Title（参考訳）: 知識ベースとしての言語モデル:エンティティ表現、ストレージ容量、パラフレーズクエリについて
• Authors: Benjamin Heinzerling and Kentaro Inui
• Abstract要約: 事前訓練された言語モデルは、構造化された知識ベースに対する代替または補完として提案されている。 ここでは、LMをKBとして扱うための2つの基本的な要件を定式化する。 我々は、LMが数百万のエンティティを表現できる3つのエンティティ表現を探索し、LMにおける世界知識のパラフレーズクエリに関する詳細なケーススタディを示す。
• 参考スコア（独自算出の注目度）: 35.57443199012129
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pretrained language models have been suggested as a possible alternative or complement to structured knowledge bases. However, this emerging LM-as-KB paradigm has so far only been considered in a very limited setting, which only allows handling 21k entities whose single-token name is found in common LM vocabularies. Furthermore, the main benefit of this paradigm, namely querying the KB using a variety of natural language paraphrases, is underexplored so far. Here, we formulate two basic requirements for treating LMs as KBs: (i) the ability to store a large number facts involving a large number of entities and (ii) the ability to query stored facts. We explore three entity representations that allow LMs to represent millions of entities and present a detailed case study on paraphrased querying of world knowledge in LMs, thereby providing a proof-of-concept that language models can indeed serve as knowledge bases.
• Abstract（参考訳）: 事前訓練された言語モデルは、構造化された知識ベースに対する代替または補完として提案されている。 しかし、この新たなLM-as-KBパラダイムは、非常に限られた環境でのみ考慮されており、単一の名前が共通のLM語彙で見られる21kエンティティしか扱えない。 さらに、このパラダイムの主な利点は、様々な自然言語パラフレーズを使用してkbをクエリすることであり、これまでは未検討であった。 ここでは、LMをKBとして扱うための2つの基本的な要件を定式化する。 (i)多数の実体を含む多数の事実を記憶することができること、及び (ii)保存された事実を照会する能力。 我々は,LMが数百万のエンティティを表現できる3つのエンティティ表現を探索し,LMにおける世界知識の言い換えクエリに関する詳細なケーススタディを示し,言語モデルが実際に知識基盤として機能できるという概念実証を提供する。

関連論文リスト

• Language Representations Can be What Recommenders Need: Findings and Potentials [57.90679739598295]
  先進的なLM表現から線形にマッピングされた項目表現は、より優れたレコメンデーション性能が得られることを示す。 この結果は、先進言語表現空間と効果的な項目表現空間との同型性を示唆している。 本研究は,自然言語処理とリコメンデーションシステムコミュニティの両方に刺激を与える言語モデリングと行動モデリングの関連性を強調した。
  論文  参考訳（メタデータ） (2024-07-07T17:05:24Z)
• FAC$^2$E: Better Understanding Large Language Model Capabilities by Dissociating Language and Cognition [56.76951887823882]
  大規模言語モデル(LLM)は、主に様々なテキスト理解および生成タスクにおける全体的なパフォーマンスによって評価される。 FAC$2$E, FAC$2$Eについて述べる。
  論文  参考訳（メタデータ） (2024-02-29T21:05:37Z)
• Can Language Models Act as Knowledge Bases at Scale? [24.99538360485476]
  大規模言語モデル(LLM)は、複雑なクエリに対する応答の理解と生成に顕著な習熟性を示している。 本研究は,LLMがWikidataなどの最新の知識ベース(KB)に匹敵する大規模知識を効果的に保存し,リコールし,理性を持つことができるかどうかを考察する。
  論文  参考訳（メタデータ） (2024-02-22T04:20:14Z)
• How Proficient Are Large Language Models in Formal Languages? An In-Depth Insight for Knowledge Base Question Answering [52.86931192259096]
  知識ベース質問回答(KBQA)は,知識ベースにおける事実に基づいた自然言語質問への回答を目的としている。 最近の研究は、論理形式生成のための大規模言語モデル(LLM)の機能を活用して性能を向上させる。
  論文  参考訳（メタデータ） (2024-01-11T09:27:50Z)
• Evaluating Neural Language Models as Cognitive Models of Language Acquisition [4.779196219827507]
  我々は、ニューラルネットワークモデルの構文能力を評価するための最も顕著なベンチマークは、十分に厳密でないかもしれないと論じる。 小規模データモデリングによる子言語習得を訓練すると、LMは単純なベースラインモデルで容易にマッチングできる。 子どもの言語習得に関する実証的研究と、LMをよりよく結びつけるための提案をまとめて締めくくった。
  論文  参考訳（メタデータ） (2023-10-31T00:16:17Z)
• LLM2KB: Constructing Knowledge Bases using instruction tuned context aware Large Language Models [0.8702432681310401]
  本稿では,大規模言語モデルを用いた知識ベース構築システム LLM2KB を提案する。 ISWC 2023で開かれたLM-KBCチャレンジでは,21関係の平均F1スコアが0.6185に達した。
  論文  参考訳（メタデータ） (2023-08-25T07:04:16Z)
• Language Model Analysis for Ontology Subsumption Inference [37.00562636991463]
  学習前言語モデル(LM)が知識ベース(KB)として機能するかを検討する。 提案するOntoLAMAは,原子概念と複素概念の両方を含む仮定公理から推論に基づく探索タスクとデータセットの集合である。 提案手法は,従来の自然言語推論 (NLI) よりも,仮定推論 (SI) の背景知識が比較的少ないことを示すものである。 コードとデータセットをオープンソースにします。
  論文  参考訳（メタデータ） (2023-02-14T00:21:56Z)
• A Review on Language Models as Knowledge Bases [55.035030134703995]
  近年,知識ベース (KB) としての事前訓練言語モデル (LM) の利用に対する,NLPコミュニティへの関心が高まっている。
  論文  参考訳（メタデータ） (2022-04-12T18:35:23Z)
• KMIR: A Benchmark for Evaluating Knowledge Memorization, Identification and Reasoning Abilities of Language Models [28.82149012250609]
  我々はKMIR(Knowledge Memorization, Identification and Reasoning test)というベンチマークを提案する。 KMIRは、一般的な知識、ドメイン固有の知識、常識を含む3種類の知識をカバーし、よく設計された184,348の質問を提供する。 KMIR上での様々な代表的な事前学習言語モデルによる予備実験は、多くの興味深い現象を示す。
  論文  参考訳（メタデータ） (2022-02-28T03:52:57Z)
• Prix-LM: Pretraining for Multilingual Knowledge Base Construction [59.02868906044296]
  複数言語による知識構築と完成のための統合フレームワークである Prix-LM を提案する。 既存の多言語KBから抽出したモノリンガルトリプルとクロスリンガルリンクの2種類の知識を利用する。 複数の言語におけるリンク予測、言語間リンク、バイリンガル語彙誘導など、標準的なエンティティ関連タスクの実験は、その効果を実証している。
  論文  参考訳（メタデータ） (2021-10-16T02:08:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。