論文の概要: Do PLMs Know and Understand Ontological Knowledge?

• arxiv url: http://arxiv.org/abs/2309.05936v1
• Date: Tue, 12 Sep 2023 03:20:50 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-13 14:33:13.754016
• Title: Do PLMs Know and Understand Ontological Knowledge?
• Title（参考訳）: PLMはオントロジーの知識を知って理解しているか?
• Authors: Weiqi Wu, Chengyue Jiang, Yong Jiang, Pengjun Xie, Kewei Tu
• Abstract要約: オントロジー知識はクラスと性質とそれらの関係から構成される。 このような知識をPLM(Pretrained Language Models)が理解し理解しているかどうかを検討することは重要である。 以上の結果から, PLMは特定の存在論的知識を記憶し, 推論における暗黙的知識を活用できることが示唆された。
• 参考スコア（独自算出の注目度）: 72.48752398867651
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Ontological knowledge, which comprises classes and properties and their relationships, is integral to world knowledge. It is significant to explore whether Pretrained Language Models (PLMs) know and understand such knowledge. However, existing PLM-probing studies focus mainly on factual knowledge, lacking a systematic probing of ontological knowledge. In this paper, we focus on probing whether PLMs store ontological knowledge and have a semantic understanding of the knowledge rather than rote memorization of the surface form. To probe whether PLMs know ontological knowledge, we investigate how well PLMs memorize: (1) types of entities; (2) hierarchical relationships among classes and properties, e.g., Person is a subclass of Animal and Member of Sports Team is a subproperty of Member of ; (3) domain and range constraints of properties, e.g., the subject of Member of Sports Team should be a Person and the object should be a Sports Team. To further probe whether PLMs truly understand ontological knowledge beyond memorization, we comprehensively study whether they can reliably perform logical reasoning with given knowledge according to ontological entailment rules. Our probing results show that PLMs can memorize certain ontological knowledge and utilize implicit knowledge in reasoning. However, both the memorizing and reasoning performances are less than perfect, indicating incomplete knowledge and understanding.
• Abstract（参考訳）: クラスと特性とその関係を含むオントロジー知識は、世界知識に不可欠なものである。 このような知識をPLM(Pretrained Language Models)が理解し理解しているかどうかを検討することは重要である。 しかし、既存の PLM 探索研究は主に事実知識に焦点を合わせており、オントロジ的知識の体系的な探索が欠如している。 本稿では, PLM が存在論的知識を格納し, 表面形状のロート記憶よりも知識を意味的に理解するかどうかを考察する。 plmが存在論的知識を知っているかどうかを調べるため、plmがいかによく記憶されているかを調査する。(1) エンティティの種類、(2) クラスとプロパティの階層的関係、例えば、動物とスポーツチームのメンバー間の階層的関係、(3) プロパティのドメインと範囲の制約、例えば、スポーツチームのメンバーの主題は人であり、対象はスポーツチームであるべきである。 さらに, PLM が暗記以上の存在論的知識を真に理解しているかどうかを調査するため, 与えられた知識に基づいて論理的推論を確実に行うことができるかどうかを, 包括的に検討した。 調査の結果,plmは存在論的知識を記憶し,推論に暗黙的知識を活用できることがわかった。 しかし、記憶力と推論能力はいずれも完璧に満たず、不完全な知識と理解を示している。

関連論文リスト

• Large Language Models as a Tool for Mining Object Knowledge [0.42970700836450487]
  大きな言語モデルは、その答えの根拠の不透明さと、疑問が持たれたときに事実を議論する傾向があるため、信頼できるインテリジェントシステムとして不足する。 本稿では,日常の共通アーティファクトに関する明示的な知識について考察する。 約2,300個のオブジェクトとそのサブタイプの部品や材料に関するデータのリポジトリを作成します。 この知識マイニングへの貢献は、物体の構造と構成に関する推論に関するAI研究に有用であることが証明されるべきである。
  論文  参考訳（メタデータ） (2024-10-16T18:46:02Z)
• Defining Knowledge: Bridging Epistemology and Large Language Models [37.41866724160848]
  我々は、NLPにおける知識の標準定義をレビューし、大言語モデル(LLM)に適用可能な解釈を形式化する。 我々は100人のプロの哲学者と計算機科学者を対象に、知識定義における彼らの好みと、LLMが本当に知っていけるかどうかについての見解を比較する。
  論文  参考訳（メタデータ） (2024-10-03T14:01:01Z)
• Knowledge Mechanisms in Large Language Models: A Survey and Perspective [88.51320482620679]
  本稿では,知識利用と進化を含む新しい分類法から知識メカニズムの解析をレビューする。 LLMが学んだ知識、パラメトリック知識の脆弱性の理由、そして解決が難しい潜在的な暗黒知識(仮説)について論じる。
  論文  参考訳（メタデータ） (2024-07-22T06:15:59Z)
• Chain-of-Knowledge: Integrating Knowledge Reasoning into Large Language Models by Learning from Knowledge Graphs [55.317267269115845]
  Chain-of-Knowledge (CoK)は知識推論のための包括的なフレームワークである。 CoKにはデータセット構築とモデル学習の両方のための方法論が含まれている。 KnowReasonで広範な実験を行う。
  論文  参考訳（メタデータ） (2024-06-30T10:49:32Z)
• Untangle the KNOT: Interweaving Conflicting Knowledge and Reasoning Skills in Large Language Models [51.72963030032491]
  大規模言語モデル(LLM)の知識文書は、時代遅れや誤った知識のためにLLMの記憶と矛盾する可能性がある。 我々は,知識紛争解決のための新しいデータセットKNOTを構築した。
  論文  参考訳（メタデータ） (2024-04-04T16:40:11Z)
• Large Knowledge Model: Perspectives and Challenges [37.42721596964844]
  emphLarge Language Models (LLMs) は、広範囲なシーケンスベースの世界知識をニューラルネットワークに事前学習する。 本稿では,「知識」のレンズを用いた大規模モデルについて考察する。 人間の知識の複雑な性質を考えると、私たちはEmphLarge Knowledge Models(LKM)の作成を提唱する。
  論文  参考訳（メタデータ） (2023-12-05T12:07:30Z)
• From task structures to world models: What do LLMs know? [0.0]
  大規模言語モデルにはどのような意味があるのでしょうか? 我々は LLM に「制度的な知識」を与えることで答える。 そして、そのような知識が、人間のエージェントによって提示されるより普通の「現実的な」知識とどのように関連しているかを問う。
  論文  参考訳（メタデータ） (2023-10-06T14:21:59Z)
• Do Large Language Models Know What They Don't Know? [74.65014158544011]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクに優れた知識を持つ。 膨大な知識にもかかわらず、LLMはそれらが適合し理解できる情報の量によって制限されている。 本研究の目的は,LLMの自己理解能力を評価することである。
  論文  参考訳（メタデータ） (2023-05-29T15:30:13Z)
• COPEN: Probing Conceptual Knowledge in Pre-trained Language Models [60.10147136876669]
  概念的知識は人間の認知と知識基盤の基本である。 既存の知識探索作業は、事前訓練された言語モデル(PLM)の事実知識のみに焦点を当て、概念知識を無視する。 PLMが概念的類似性によってエンティティを編成し、概念的特性を学習し、コンテキスト内でエンティティを概念化するかどうかを調査する3つのタスクを設計する。 タスクのために、393のコンセプトをカバーする24kのデータインスタンスを収集、注釈付けします。
  論文  参考訳（メタデータ） (2022-11-08T08:18:06Z)
• KMIR: A Benchmark for Evaluating Knowledge Memorization, Identification and Reasoning Abilities of Language Models [28.82149012250609]
  我々はKMIR(Knowledge Memorization, Identification and Reasoning test)というベンチマークを提案する。 KMIRは、一般的な知識、ドメイン固有の知識、常識を含む3種類の知識をカバーし、よく設計された184,348の質問を提供する。 KMIR上での様々な代表的な事前学習言語モデルによる予備実験は、多くの興味深い現象を示す。
  論文  参考訳（メタデータ） (2022-02-28T03:52:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。