論文の概要: A Review on Language Models as Knowledge Bases
- arxiv url: http://arxiv.org/abs/2204.06031v1
- Date: Tue, 12 Apr 2022 18:35:23 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-14 12:24:04.863418
- Title: A Review on Language Models as Knowledge Bases
- Title（参考訳）: 知識ベースとしての言語モデルの検討
- Authors: Badr AlKhamissi, Millicent Li, Asli Celikyilmaz, Mona Diab, Marjan
Ghazvininejad
- Abstract要約: 近年,知識ベース (KB) としての事前訓練言語モデル (LM) の利用に対する,NLPコミュニティへの関心が高まっている。
- 参考スコア（独自算出の注目度）: 55.035030134703995
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Recently, there has been a surge of interest in the NLP community on the use
of pretrained Language Models (LMs) as Knowledge Bases (KBs). Researchers have
shown that LMs trained on a sufficiently large (web) corpus will encode a
significant amount of knowledge implicitly in its parameters. The resulting LM
can be probed for different kinds of knowledge and thus acting as a KB. This
has a major advantage over traditional KBs in that this method requires no
human supervision. In this paper, we present a set of aspects that we deem a LM
should have to fully act as a KB, and review the recent literature with respect
to those aspects.
- Abstract（参考訳）: 近年,知識ベース (KB) としての事前訓練言語モデル (LM) の利用に対する,NLPコミュニティへの関心が高まっている。
研究者らは、十分に大きな(ウェブ)コーパスで訓練されたLMが、パラメータに暗黙的にかなりの量の知識を符号化することを示した。
結果のLMは様々な種類の知識を探索し、KBとして振る舞うことができる。
これは従来のkbsよりも大きな利点であり、この手法は人間の監督を必要としない。
本稿では,LM が KB として完全に振る舞う必要があるとみなす側面の集合を示し,それらの側面について最近の文献をレビューする。
関連論文リスト
- Large Language Models as Reliable Knowledge Bases? [60.25969380388974]
大きな言語モデル(LLM)は潜在的な知識ベース(KB)と見なすことができる。
本研究は、信頼性の高いLLM-as-KBが満たすべき基準を定義し、事実性と一貫性に焦点をあてる。
ICLや微調整のような戦略は、LLMをより良くKBにするには失敗している。
論文 参考訳（メタデータ） (2024-07-18T15:20:18Z) - A Knowledge-Injected Curriculum Pretraining Framework for Question Answering [70.13026036388794]
本稿では,知識に基づく質問応答タスクの総合的なKG学習と活用を実現するための一般知識注入型カリキュラム事前学習フレームワーク(KICP)を提案する。
KIモジュールはまずKG中心の事前学習コーパスを生成してLMに知識を注入し、プロセスを3つの重要なステップに一般化する。
KAモジュールは、アダプタを備えたLMで生成されたコーパスから知識を学習し、元の自然言語理解能力を維持できる。
CRモジュールは人間の推論パターンに従って3つのコーパスを構築する。
論文 参考訳（メタデータ） (2024-03-11T03:42:03Z) - KnowledGPT: Enhancing Large Language Models with Retrieval and Storage
Access on Knowledge Bases [55.942342665806656]
KnowledGPTは、様々な知識ベースで大きな言語モデルをブリッジするための包括的なフレームワークである。
検索プロセスでは思考プロンプトプログラムを使用し,KBの検索言語をコード形式で生成する。
KnowledGPTは、個々のユーザ要求に合わせて、知識をパーソナライズされたKBに格納する機能を提供する。
論文 参考訳（メタデータ） (2023-08-17T13:07:00Z) - A Survey of Knowledge Enhanced Pre-trained Language Models [78.56931125512295]
我々は、知識強化事前学習言語モデル(KE-PLMs)の包括的なレビューを行う。
NLUでは、言語知識、テキスト知識、知識グラフ(KG)、ルール知識の4つのカテゴリに分類する。
NLGのKE-PLMは、KGベースと検索ベースに分類される。
論文 参考訳（メタデータ） (2022-11-11T04:29:02Z) - Knowledgeable Salient Span Mask for Enhancing Language Models as
Knowledge Base [51.55027623439027]
我々は、モデルが構造化されていないテキストから、完全に自己教師された方法でより多くの知識を学習するのを助ける2つのソリューションを開発する。
最高の知識を得るために、私たちは、継続的事前学習における知識の完全な自己教師型学習を初めて探求します。
論文 参考訳（メタデータ） (2022-04-17T12:33:34Z) - Language Models As or For Knowledge Bases [30.089955948497405]
我々は、事前学習言語モデル(LM)と明示的知識ベース(KB)の長所と短所を識別する。
我々は、潜在LMは明示的なKBの代用には適さないが、KBの増補とキュレーションにおいて重要な役割を担っていると論じる。
論文 参考訳（メタデータ） (2021-10-10T20:00:09Z) - Relational world knowledge representation in contextual language models:
A review [19.176173014629185]
我々は自然言語処理の観点から知識ベース(kbs)の限界を考える
文脈言語モデル(LM)における関係知識表現のための新しい分類法を提案する。
論文 参考訳（メタデータ） (2021-04-12T21:50:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。