論文の概要: Do PLMs Know and Understand Ontological Knowledge?
- arxiv url: http://arxiv.org/abs/2309.05936v1
- Date: Tue, 12 Sep 2023 03:20:50 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-13 14:33:13.754016
- Title: Do PLMs Know and Understand Ontological Knowledge?
- Title(参考訳): PLMはオントロジーの知識を知って理解しているか?
- Authors: Weiqi Wu, Chengyue Jiang, Yong Jiang, Pengjun Xie, Kewei Tu
- Abstract要約: オントロジー知識はクラスと性質とそれらの関係から構成される。
このような知識をPLM(Pretrained Language Models)が理解し理解しているかどうかを検討することは重要である。
以上の結果から, PLMは特定の存在論的知識を記憶し, 推論における暗黙的知識を活用できることが示唆された。
- 参考スコア(独自算出の注目度): 72.48752398867651
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Ontological knowledge, which comprises classes and properties and their
relationships, is integral to world knowledge. It is significant to explore
whether Pretrained Language Models (PLMs) know and understand such knowledge.
However, existing PLM-probing studies focus mainly on factual knowledge,
lacking a systematic probing of ontological knowledge. In this paper, we focus
on probing whether PLMs store ontological knowledge and have a semantic
understanding of the knowledge rather than rote memorization of the surface
form. To probe whether PLMs know ontological knowledge, we investigate how well
PLMs memorize: (1) types of entities; (2) hierarchical relationships among
classes and properties, e.g., Person is a subclass of Animal and Member of
Sports Team is a subproperty of Member of ; (3) domain and range constraints of
properties, e.g., the subject of Member of Sports Team should be a Person and
the object should be a Sports Team. To further probe whether PLMs truly
understand ontological knowledge beyond memorization, we comprehensively study
whether they can reliably perform logical reasoning with given knowledge
according to ontological entailment rules. Our probing results show that PLMs
can memorize certain ontological knowledge and utilize implicit knowledge in
reasoning. However, both the memorizing and reasoning performances are less
than perfect, indicating incomplete knowledge and understanding.
- Abstract(参考訳): クラスと特性とその関係を含むオントロジー知識は、世界知識に不可欠なものである。
このような知識をPLM(Pretrained Language Models)が理解し理解しているかどうかを検討することは重要である。
しかし、既存の PLM 探索研究は主に事実知識に焦点を合わせており、オントロジ的知識の体系的な探索が欠如している。
本稿では, PLM が存在論的知識を格納し, 表面形状のロート記憶よりも知識を意味的に理解するかどうかを考察する。
plmが存在論的知識を知っているかどうかを調べるため、plmがいかによく記憶されているかを調査する。(1) エンティティの種類、(2) クラスとプロパティの階層的関係、例えば、動物とスポーツチームのメンバー間の階層的関係、(3) プロパティのドメインと範囲の制約、例えば、スポーツチームのメンバーの主題は人であり、対象はスポーツチームであるべきである。
さらに, PLM が暗記以上の存在論的知識を真に理解しているかどうかを調査するため, 与えられた知識に基づいて論理的推論を確実に行うことができるかどうかを, 包括的に検討した。
調査の結果,plmは存在論的知識を記憶し,推論に暗黙的知識を活用できることがわかった。
しかし、記憶力と推論能力はいずれも完璧に満たず、不完全な知識と理解を示している。
関連論文リスト
- KnowTuning: Knowledge-aware Fine-tuning for Large Language Models [86.72825837235344]
大規模言語モデル(LLM)の知識認識を明確かつ暗黙的に改善する知識認識ファインタニング(KnowTuning)手法を提案する。
我々は、LLMを訓練し、答えにおける知識の3倍を明示的に識別するために、明示的な知識認識生成ステージを考案する。
また,LLMを学習し,信頼できない知識と信頼できない知識を暗黙的に区別するために,暗黙的な知識認識比較ステージを提案する。
論文 参考訳(メタデータ) (2024-02-17T02:54:32Z) - Large Knowledge Model: Perspectives and Challenges [37.42721596964844]
emphLarge Language Models (LLMs) は、広範囲なシーケンスベースの世界知識をニューラルネットワークに事前学習する。
この記事は「知識のレンズを通して大きなモデルを探求する」。
我々は,多種多様な知識構造を管理するために特別に設計されたemphLarge Knowledge Models(LKM)の作成を提唱する。
論文 参考訳(メタデータ) (2023-12-05T12:07:30Z) - Beyond Factuality: A Comprehensive Evaluation of Large Language Models
as Knowledge Generators [78.63553017938911]
大規模言語モデル(LLM)は、下流の知識集約タスクのための情報検索技術より優れている。
しかし、コミュニティの懸念は、この無検閲の知識を使用することの事実と潜在的意味について多岐にわたる。
本研究では,6つの重要な視点から生成した知識を評価するために設計されたCONNERを紹介する。
論文 参考訳(メタデータ) (2023-10-11T08:22:37Z) - From task structures to world models: What do LLMs know? [0.0]
大規模言語モデルにはどのような意味があるのでしょうか?
我々は LLM に「制度的な知識」を与えることで答える。
そして、そのような知識が、人間のエージェントによって提示されるより普通の「現実的な」知識とどのように関連しているかを問う。
論文 参考訳(メタデータ) (2023-10-06T14:21:59Z) - Knowledge Crosswords: Geometric Reasoning over Structured Knowledge with
Large Language Models [51.35398315130094]
構造的知識に対する幾何学的推論を提案し、そこでは知識の一部がグラフ構造に連結され、モデルは不足した情報を埋める必要がある。
このような幾何学的知識推論は、構造化された知識、不確実性のある推論、事実の検証、エラーが発生した時のバックトラックを扱う能力を必要とする。
本稿では,不完全なエンティティネットワークの幾何学的制約を表す自然言語質問からなるマルチブランクQAデータセットであるKnowledge Crosswordsを提案する。
論文 参考訳(メタデータ) (2023-10-02T15:43:53Z) - Do Large Language Models Know What They Don't Know? [74.65014158544011]
大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクに優れた知識を持つ。
膨大な知識にもかかわらず、LLMはそれらが適合し理解できる情報の量によって制限されている。
本研究の目的は,LLMの自己理解能力を評価することである。
論文 参考訳(メタデータ) (2023-05-29T15:30:13Z) - Measuring the Knowledge Acquisition-Utilization Gap in Pretrained
Language Models [26.342351417963965]
事前訓練された言語モデル(PLM)は、膨大な量の知識を取得する証拠を示している。
このパラメトリックな知識が、下流のタスクの実行に実際にどの程度使えるかは、まだ不明である。
PLMにおけるパラメトリック知識利用量を測定するための体系的枠組みを提案する。
論文 参考訳(メタデータ) (2023-05-24T06:26:11Z) - COPEN: Probing Conceptual Knowledge in Pre-trained Language Models [60.10147136876669]
概念的知識は人間の認知と知識基盤の基本である。
既存の知識探索作業は、事前訓練された言語モデル(PLM)の事実知識のみに焦点を当て、概念知識を無視する。
PLMが概念的類似性によってエンティティを編成し、概念的特性を学習し、コンテキスト内でエンティティを概念化するかどうかを調査する3つのタスクを設計する。
タスクのために、393のコンセプトをカバーする24kのデータインスタンスを収集、注釈付けします。
論文 参考訳(メタデータ) (2022-11-08T08:18:06Z) - KMIR: A Benchmark for Evaluating Knowledge Memorization, Identification
and Reasoning Abilities of Language Models [28.82149012250609]
我々はKMIR(Knowledge Memorization, Identification and Reasoning test)というベンチマークを提案する。
KMIRは、一般的な知識、ドメイン固有の知識、常識を含む3種類の知識をカバーし、よく設計された184,348の質問を提供する。
KMIR上での様々な代表的な事前学習言語モデルによる予備実験は、多くの興味深い現象を示す。
論文 参考訳(メタデータ) (2022-02-28T03:52:57Z) - Are Pretrained Language Models Symbolic Reasoners Over Knowledge? [5.480912891689259]
推論と記憶の2つの重要なメカニズムについて検討する。
推論では, PLMは記号的推論規則を正しく適用することを学ぶが, 2ホップ推論など他の手法と競合する。
記憶化のために、スキーマの整合性(他の事実によって体系的に支持されるもの)と周波数を、その成功の鍵となる要因として識別する。
論文 参考訳(メタデータ) (2020-06-18T10:40:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。