論文の概要: COPEN: Probing Conceptual Knowledge in Pre-trained Language Models

• arxiv url: http://arxiv.org/abs/2211.04079v1
• Date: Tue, 8 Nov 2022 08:18:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-09 16:11:52.906315
• Title: COPEN: Probing Conceptual Knowledge in Pre-trained Language Models
• Title（参考訳）: COPEN:事前訓練された言語モデルにおける概念的知識の探索
• Authors: Hao Peng, Xiaozhi Wang, Shengding Hu, Hailong Jin, Lei Hou, Juanzi Li, Zhiyuan Liu, Qun Liu
• Abstract要約: 概念的知識は人間の認知と知識基盤の基本である。 既存の知識探索作業は、事前訓練された言語モデル(PLM)の事実知識のみに焦点を当て、概念知識を無視する。 PLMが概念的類似性によってエンティティを編成し、概念的特性を学習し、コンテキスト内でエンティティを概念化するかどうかを調査する3つのタスクを設計する。 タスクのために、393のコンセプトをカバーする24kのデータインスタンスを収集、注釈付けします。
• 参考スコア（独自算出の注目度）: 60.10147136876669
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Conceptual knowledge is fundamental to human cognition and knowledge bases. However, existing knowledge probing works only focus on evaluating factual knowledge of pre-trained language models (PLMs) and ignore conceptual knowledge. Since conceptual knowledge often appears as implicit commonsense behind texts, designing probes for conceptual knowledge is hard. Inspired by knowledge representation schemata, we comprehensively evaluate conceptual knowledge of PLMs by designing three tasks to probe whether PLMs organize entities by conceptual similarities, learn conceptual properties, and conceptualize entities in contexts, respectively. For the tasks, we collect and annotate 24k data instances covering 393 concepts, which is COPEN, a COnceptual knowledge Probing bENchmark. Extensive experiments on different sizes and types of PLMs show that existing PLMs systematically lack conceptual knowledge and suffer from various spurious correlations. We believe this is a critical bottleneck for realizing human-like cognition in PLMs. COPEN and our codes are publicly released at https://github.com/THU-KEG/COPEN.
• Abstract（参考訳）: 概念知識は人間の認知と知識基盤の基本である。 しかし、既存の知識探索は、事前学習言語モデル(plm)の事実知識の評価と概念知識の無視にのみ焦点が当てられている。 概念知識はしばしばテキストの背後にある暗黙の常識として現れるため、概念知識のためのプローブの設計は困難である。 知識表現スキーマに着想を得て,plmが概念的類似性によってエンティティを編成し,概念的特性を学習し,文脈でエンティティを概念化するかどうかを調べる3つのタスクをデザインし,plmの概念的知識を包括的に評価する。 タスクについては、393のコンセプトをカバーする24kデータインスタンスを収集し、アノテートします。 plmの異なるサイズと種類に関する広範囲な実験は、既存のplmが体系的に概念的な知識を欠き、様々なスプリアス相関に苦しむことを示している。 PLMにおける人間のような認知を実現する上で、これは重要なボトルネックであると考えています。 COPENと私たちのコードはhttps://github.com/THU-KEG/COPEN.comで公開されている。

関連論文リスト

• Chain-of-Knowledge: Integrating Knowledge Reasoning into Large Language Models by Learning from Knowledge Graphs [55.317267269115845]
  Chain-of-Knowledge (CoK)は知識推論のための包括的なフレームワークである。 CoKにはデータセット構築とモデル学習の両方のための方法論が含まれている。 KnowReasonで広範な実験を行う。
  論文  参考訳（メタデータ） (2024-06-30T10:49:32Z)
• Reasoning about concepts with LLMs: Inconsistencies abound [13.042591838719936]
  大きな言語モデル(LLM)は、しばしばその知識に重大な矛盾を示し、示す。 特に,多種多種多種多種多様のLCMの軽量化を図り,その性能を著しく向上させることができた。
  論文  参考訳（メタデータ） (2024-05-30T15:38:54Z)
• ConcEPT: Concept-Enhanced Pre-Training for Language Models [57.778895980999124]
  ConcEPTは、概念知識を事前訓練された言語モデルに注入することを目的としている。 これは、事前訓練されたコンテキストで言及されたエンティティの概念を予測するために、外部エンティティの概念予測を利用する。 実験の結果,ConcEPTは概念強化事前学習により概念知識を向上することがわかった。
  論文  参考訳（メタデータ） (2024-01-11T05:05:01Z)
• Large Knowledge Model: Perspectives and Challenges [37.42721596964844]
  emphLarge Language Models (LLMs) は、広範囲なシーケンスベースの世界知識をニューラルネットワークに事前学習する。 本稿では,「知識」のレンズを用いた大規模モデルについて考察する。 人間の知識の複雑な性質を考えると、私たちはEmphLarge Knowledge Models(LKM)の作成を提唱する。
  論文  参考訳（メタデータ） (2023-12-05T12:07:30Z)
• Knowledge Rumination for Pre-trained Language Models [77.55888291165462]
  本稿では,学習前の言語モデルが外部コーパスから検索することなく,関連する潜在知識を活用できるようにするための,Knowledge Ruminationと呼ばれる新しいパラダイムを提案する。 本稿では,RoBERTa,DeBERTa,GPT-3などの言語モデルに適用する。
  論文  参考訳（メタデータ） (2023-05-15T15:47:09Z)
• Causality-aware Concept Extraction based on Knowledge-guided Prompting [17.4086571624748]
  概念は自然言語理解の恩恵を受けるが、既存の知識グラフ(KG)では完全とは程遠い。 近年,テキストベースの概念抽出において,事前学習言語モデル (PLM) が広く用いられている。 本稿では, PLM を用いた抽出器に知識誘導型プロンプトを装着することで, 概念バイアスを軽減することを提案する。
  論文  参考訳（メタデータ） (2023-05-03T03:36:20Z)
• Acquiring and Modelling Abstract Commonsense Knowledge via Conceptualization [49.00409552570441]
  本研究では,コモンセンス推論における概念化の役割について検討し,人間の概念化を再現する枠組みを定式化する。 ATOMIC は大規模な人為的注釈付き CKG であり,この枠組みを分類プロベースで支援している。
  論文  参考訳（メタデータ） (2022-06-03T12:24:49Z)
• KMIR: A Benchmark for Evaluating Knowledge Memorization, Identification and Reasoning Abilities of Language Models [28.82149012250609]
  我々はKMIR(Knowledge Memorization, Identification and Reasoning test)というベンチマークを提案する。 KMIRは、一般的な知識、ドメイン固有の知識、常識を含む3種類の知識をカバーし、よく設計された184,348の質問を提供する。 KMIR上での様々な代表的な事前学習言語モデルによる予備実験は、多くの興味深い現象を示す。
  論文  参考訳（メタデータ） (2022-02-28T03:52:57Z)
• A Data-Driven Study of Commonsense Knowledge using the ConceptNet Knowledge Base [8.591839265985412]
  汎用人工知能(AI)の実現における重要なフロンティアとして,コモンセンス知識と推論の獲得が認められている。 本稿では,コンセプションネットの知識基盤を実証的かつ構造的に分析することにより,コモンセンス知識のより深い理解を可能にする体系的な研究を提案し,実施する。 最先端の教師なしグラフ表現学習(「埋め込み」)とクラスタリング技術を用いて、慎重に設計された3つの研究課題に関する詳細な実験結果から、ConceptNet関係の深いサブ構造を明らかにする。
  論文  参考訳（メタデータ） (2020-11-28T08:08:25Z)
• Common Sense or World Knowledge? Investigating Adapter-Based Knowledge Injection into Pretrained Transformers [54.417299589288184]
  本研究では,概念ネットとそれに対応するオープンマインド・コモンセンス(OMCS)コーパスから,BERTの分布知識と概念知識を補完するモデルについて検討する。 我々のアダプタベースのモデルは,ConceptNet や OMCS に明示的に存在する概念的知識のタイプを必要とする推論タスクにおいて,BERT を大幅に上回っている。
  論文  参考訳（メタデータ） (2020-05-24T15:49:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。