論文の概要: KMIR: A Benchmark for Evaluating Knowledge Memorization, Identification
and Reasoning Abilities of Language Models
- arxiv url: http://arxiv.org/abs/2202.13529v1
- Date: Mon, 28 Feb 2022 03:52:57 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-02 07:52:25.059433
- Title: KMIR: A Benchmark for Evaluating Knowledge Memorization, Identification
and Reasoning Abilities of Language Models
- Title（参考訳）: kmir: 言語モデルの知識記憶・識別・推論能力評価のためのベンチマーク
- Authors: Daniel Gao, Yantao Jia, Lei Li, Chengzhen Fu, Zhicheng Dou, Hao Jiang,
Xinyu Zhang, Lei Chen, Zhao Cao
- Abstract要約: 我々はKMIR(Knowledge Memorization, Identification and Reasoning test)というベンチマークを提案する。
KMIRは、一般的な知識、ドメイン固有の知識、常識を含む3種類の知識をカバーし、よく設計された184,348の質問を提供する。
KMIR上での様々な代表的な事前学習言語モデルによる予備実験は、多くの興味深い現象を示す。
- 参考スコア（独自算出の注目度）: 28.82149012250609
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Previous works show the great potential of pre-trained language models (PLMs)
for storing a large amount of factual knowledge. However, to figure out whether
PLMs can be reliable knowledge sources and used as alternative knowledge bases
(KBs), we need to further explore some critical features of PLMs. Firstly,
knowledge memorization and identification abilities: traditional KBs can store
various types of entities and relationships; do PLMs have a high knowledge
capacity to store different types of knowledge? Secondly, reasoning ability: a
qualified knowledge source should not only provide a collection of facts, but
support a symbolic reasoner. Can PLMs derive new knowledge based on the
correlations between facts? To evaluate these features of PLMs, we propose a
benchmark, named Knowledge Memorization, Identification, and Reasoning test
(KMIR). KMIR covers 3 types of knowledge, including general knowledge,
domain-specific knowledge, and commonsense, and provides 184,348 well-designed
questions. Preliminary experiments with various representative pre-training
language models on KMIR reveal many interesting phenomenons: 1) The
memorization ability of PLMs depends more on the number of parameters than
training schemes. 2) Current PLMs are struggling to robustly remember the
facts. 3) Model compression technology retains the amount of knowledge well,
but hurts the identification and reasoning abilities. We hope KMIR can
facilitate the design of PLMs as better knowledge sources.
- Abstract（参考訳）: 先行研究は、大量の事実知識を保存するための事前学習言語モデル(PLM)の大きな可能性を示している。
しかし, PLM が信頼性の高い知識源であり, 代替知識ベース (KB) として利用できるかどうかを理解するためには, PLM の重要な特徴をさらに探求する必要がある。
第一に、知識記憶能力と識別能力: 従来のKBは様々な種類のエンティティや関係を格納できる; PLMは様々な種類の知識を格納できる高い知識能力を持っているか?
第二に、推論能力: 資格のある知識ソースは、事実のコレクションを提供するだけでなく、象徴的な推論をサポートするべきである。
PLMは事実間の相関に基づく新しい知識を導き出すことができるか?
PLMのこれらの特徴を評価するために,KMIR(Knowledge Memorization, Identification and Reasoning test)と呼ばれるベンチマークを提案する。
KMIRは、一般的な知識、ドメイン固有の知識、常識を含む3種類の知識をカバーし、よく設計された184,348の質問を提供する。
KMIR上の様々な代表的な事前学習言語モデルを用いた予備実験は、多くの興味深い現象を明らかにしている。
1) PLMの記憶能力はトレーニング方式よりもパラメータの数に依存している。
2)現在のPLMは事実をしっかりと思い出すのに苦労している。
3)モデル圧縮技術は知識の量を十分に保持するが,識別能力や推論能力を損なう。
KMIRが優れた知識源としてPLMの設計を促進できることを願っている。
関連論文リスト
- What Matters in Memorizing and Recalling Facts? Multifaceted Benchmarks for Knowledge Probing in Language Models [15.057992220389604]
言語モデルは事実の知識を扱うのに苦労し、事実の幻覚の問題を呈する。
本稿では,エンコーダとデコーダを用いた事前学習言語モデルの知識リコール能力を評価するための知識探索ベンチマークBELIEF(ICL)を提案する。
非常に多様なプロンプトを持つMyriadLAMAを半自動で作成します。
論文 参考訳（メタデータ） (2024-06-18T05:11:35Z) - Towards Reliable Latent Knowledge Estimation in LLMs: In-Context Learning vs. Prompting Based Factual Knowledge Extraction [15.534647327246239]
大規模言語モデル(LLM)に埋め込まれた潜在知識を推定する手法を提案する。
我々は、LLMの文脈内学習能力を活用し、LLMが知識ベースに格納されている事実を知る範囲を推定する。
論文 参考訳（メタデータ） (2024-04-19T15:40:39Z) - Can Language Models Act as Knowledge Bases at Scale? [24.99538360485476]
大規模言語モデル(LLM)は、複雑なクエリに対する応答の理解と生成に顕著な習熟性を示している。
本研究は,LLMがWikidataなどの最新の知識ベース(KB)に匹敵する大規模知識を効果的に保存し,リコールし,理性を持つことができるかどうかを考察する。
論文 参考訳（メタデータ） (2024-02-22T04:20:14Z) - Do PLMs Know and Understand Ontological Knowledge? [72.48752398867651]
オントロジー知識はクラスと性質とそれらの関係から構成される。
このような知識をPLM(Pretrained Language Models)が理解し理解しているかどうかを検討することは重要である。
以上の結果から, PLMは特定の存在論的知識を記憶し, 推論における暗黙的知識を活用できることが示唆された。
論文 参考訳（メタデータ） (2023-09-12T03:20:50Z) - KnowledGPT: Enhancing Large Language Models with Retrieval and Storage
Access on Knowledge Bases [55.942342665806656]
KnowledGPTは、様々な知識ベースで大きな言語モデルをブリッジするための包括的なフレームワークである。
検索プロセスでは思考プロンプトプログラムを使用し,KBの検索言語をコード形式で生成する。
KnowledGPTは、個々のユーザ要求に合わせて、知識をパーソナライズされたKBに格納する機能を提供する。
論文 参考訳（メタデータ） (2023-08-17T13:07:00Z) - Do Large Language Models Know What They Don't Know? [74.65014158544011]
大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクに優れた知識を持つ。
膨大な知識にもかかわらず、LLMはそれらが適合し理解できる情報の量によって制限されている。
本研究の目的は,LLMの自己理解能力を評価することである。
論文 参考訳（メタデータ） (2023-05-29T15:30:13Z) - Measuring the Knowledge Acquisition-Utilization Gap in Pretrained
Language Models [26.342351417963965]
事前訓練された言語モデル(PLM)は、膨大な量の知識を取得する証拠を示している。
このパラメトリックな知識が、下流のタスクの実行に実際にどの程度使えるかは、まだ不明である。
PLMにおけるパラメトリック知識利用量を測定するための体系的枠組みを提案する。
論文 参考訳（メタデータ） (2023-05-24T06:26:11Z) - Decouple knowledge from parameters for plug-and-play language modeling [77.5601135412186]
差別化可能なプラグインメモリ(DPM)を備えた事前学習モデルPlugLMを導入する。
鍵となる直感は、編集可能でスケーラブルなキーバリューメモリで、知識ストレージをモデルパラメータから切り離すことである。
PlugLMは4つのドメインで平均3.95のF1改善を実現している。
論文 参考訳（メタデータ） (2023-05-19T10:01:55Z) - Knowledge Rumination for Pre-trained Language Models [77.55888291165462]
本稿では,学習前の言語モデルが外部コーパスから検索することなく,関連する潜在知識を活用できるようにするための,Knowledge Ruminationと呼ばれる新しいパラダイムを提案する。
本稿では,RoBERTa,DeBERTa,GPT-3などの言語モデルに適用する。
論文 参考訳（メタデータ） (2023-05-15T15:47:09Z) - COPEN: Probing Conceptual Knowledge in Pre-trained Language Models [60.10147136876669]
概念的知識は人間の認知と知識基盤の基本である。
既存の知識探索作業は、事前訓練された言語モデル(PLM)の事実知識のみに焦点を当て、概念知識を無視する。
PLMが概念的類似性によってエンティティを編成し、概念的特性を学習し、コンテキスト内でエンティティを概念化するかどうかを調査する3つのタスクを設計する。
タスクのために、393のコンセプトをカバーする24kのデータインスタンスを収集、注釈付けします。
論文 参考訳（メタデータ） (2022-11-08T08:18:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。