論文の概要: ConcEPT: Concept-Enhanced Pre-Training for Language Models

• arxiv url: http://arxiv.org/abs/2401.05669v1
• Date: Thu, 11 Jan 2024 05:05:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-12 19:58:27.032473
• Title: ConcEPT: Concept-Enhanced Pre-Training for Language Models
• Title（参考訳）: ConcEPT: 概念強化された言語モデルの事前学習
• Authors: Xintao Wang, Zhouhong Gu, Jiaqing Liang, Dakuan Lu, Yanghua Xiao, Wei Wang
• Abstract要約: ConcEPTは、概念知識を事前訓練された言語モデルに注入することを目的としている。 これは、事前訓練されたコンテキストで言及されたエンティティの概念を予測するために、外部エンティティの概念予測を利用する。 実験の結果,ConcEPTは概念強化事前学習により概念知識を向上することがわかった。
• 参考スコア（独自算出の注目度）: 57.778895980999124
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Pre-trained language models (PLMs) have been prevailing in state-of-the-art methods for natural language processing, and knowledge-enhanced PLMs are further proposed to promote model performance in knowledge-intensive tasks. However, conceptual knowledge, one essential kind of knowledge for human cognition, still remains understudied in this line of research. This limits PLMs' performance in scenarios requiring human-like cognition, such as understanding long-tail entities with concepts. In this paper, we propose ConcEPT, which stands for Concept-Enhanced Pre-Training for language models, to infuse conceptual knowledge into PLMs. ConcEPT exploits external taxonomies with entity concept prediction, a novel pre-training objective to predict the concepts of entities mentioned in the pre-training contexts. Unlike previous concept-enhanced methods, ConcEPT can be readily adapted to various downstream applications without entity linking or concept mapping. Results of extensive experiments show the effectiveness of ConcEPT in four tasks such as entity typing, which validates that our model gains improved conceptual knowledge with concept-enhanced pre-training.
• Abstract（参考訳）: 自然言語処理の最先端手法として,事前学習型言語モデル (PLM) が普及しており,知識集約型タスクにおけるモデル性能向上のために,知識強化型PLMも提案されている。 しかし、人間の認知に欠かせない知識である概念的知識は、この研究にはまだ未研究のままである。 これは、人間のような認知を必要とするシナリオにおけるPLMのパフォーマンスを制限する。 本稿では,言語モデルのための概念拡張事前学習のためのConcEPTを提案し,概念知識をPLMに注入する。 ConcEPTは、事前学習の文脈で言及されるエンティティの概念を予測する新しい事前学習目標であるエンティティ概念予測と共に外部分類学を利用する。 従来の概念強化手法とは異なり、ConcEPTはエンティティリンクや概念マッピングなしで、容易に様々な下流アプリケーションに適応できる。 実験の結果,ConcEPTがエンティティタイピングなどの4つのタスクにおいて有効であることを示し,モデルが概念強化事前学習による概念知識の向上を実証した。

関連論文リスト

• Interpreting Pretrained Language Models via Concept Bottlenecks [55.47515772358389]
  事前訓練された言語モデル(PLM)は、様々な自然言語処理タスクにおいて大きな進歩を遂げてきた。 ブラックボックスの性質による解釈可能性の欠如は、責任ある実装に課題をもたらす。 本研究では,人間にとって理解しやすい高レベルで有意義な概念を用いて,PLMを解釈する新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-11-08T20:41:18Z)
• Improving Language Models Meaning Understanding and Consistency by Learning Conceptual Roles from Dictionary [65.268245109828]
  現代事前訓練言語モデル(PLM)の非人間的行動は、その信頼性を損なう主要な原因である。 驚くべき現象は、矛盾した結果を生み出す不整合予測の生成である。 本研究では,PLMの認知度を向上させることで,一貫性のない行動問題を緩和する実践的アプローチを提案する。
  論文  参考訳（メタデータ） (2023-10-24T06:15:15Z)
• Towards a General Framework for Continual Learning with Pre-training [55.88910947643436]
  本稿では,事前学習を用いた逐次到着タスクの連続学習のための一般的な枠組みを提案する。 我々はその目的を,タスク内予測,タスク同一性推論,タスク適応予測という3つの階層的構成要素に分解する。 本稿では,パラメータ効率細調整(PEFT)技術と表現統計量を用いて,これらのコンポーネントを明示的に最適化する革新的な手法を提案する。
  論文  参考訳（メタデータ） (2023-10-21T02:03:38Z)
• Learning to Receive Help: Intervention-Aware Concept Embedding Models [44.1307928713715]
  概念ボトルネックモデル (Concept Bottleneck Models, CBM) は、高レベルの概念セットを使用して予測を構築し、説明することによって、ニューラルネットワークの不透明さに対処する。 近年の研究では、介入効果は概念が介入される順序に大きく依存していることが示されている。 IntCEM(Intervention-Aware Concept Embedding Model)は,テスト時間介入に対するモデルの受容性を改善する新しいCBMアーキテクチャとトレーニングパラダイムである。
  論文  参考訳（メタデータ） (2023-09-29T02:04:24Z)
• Interpretable Neural-Symbolic Concept Reasoning [7.1904050674791185]
  概念に基づくモデルは、人間の理解可能な概念のセットに基づいてタスクを学習することでこの問題に対処することを目的としている。 本稿では,概念埋め込みに基づく最初の解釈可能な概念ベースモデルであるDeep Concept Reasoner (DCR)を提案する。
  論文  参考訳（メタデータ） (2023-04-27T09:58:15Z)
• ConceptX: A Framework for Latent Concept Analysis [21.760620298330235]
  本稿では,言語モデル(pLM)における潜在表現空間の解釈と注釈付けを行うための,ループ型ヒューマン・イン・ザ・ループ・フレームワークであるConceptXを提案する。 我々は、教師なしの手法を用いて、これらのモデルで学んだ概念を発見し、人間が概念の説明を生成するためのグラフィカルインターフェースを実現する。
  論文  参考訳（メタデータ） (2022-11-12T11:31:09Z)
• COPEN: Probing Conceptual Knowledge in Pre-trained Language Models [60.10147136876669]
  概念的知識は人間の認知と知識基盤の基本である。 既存の知識探索作業は、事前訓練された言語モデル(PLM)の事実知識のみに焦点を当て、概念知識を無視する。 PLMが概念的類似性によってエンティティを編成し、概念的特性を学習し、コンテキスト内でエンティティを概念化するかどうかを調査する3つのタスクを設計する。 タスクのために、393のコンセプトをカバーする24kのデータインスタンスを収集、注釈付けします。
  論文  参考訳（メタデータ） (2022-11-08T08:18:06Z)
• A Survey of Knowledge Enhanced Pre-trained Models [28.160826399552462]
  知識注入を伴う事前学習言語モデルを知識強化事前学習言語モデル(KEPLM)と呼ぶ。 これらのモデルは深い理解と論理的推論を示し、解釈可能性を導入する。
  論文  参考訳（メタデータ） (2021-10-01T08:51:58Z)
• A Competence-aware Curriculum for Visual Concepts Learning via Question Answering [95.35905804211698]
  本稿では,視覚概念学習のための質問応答型カリキュラムを提案する。 視覚概念を学習するためのニューラルシンボリックな概念学習者と学習プロセスを導くための多次元項目応答理論(mIRT)モデルを設計する。 CLEVRの実験結果から,コンピテンスを意識したカリキュラムにより,提案手法は最先端のパフォーマンスを実現することが示された。
  論文  参考訳（メタデータ） (2020-07-03T05:08:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。