論文の概要: Expanding the Vocabulary of BERT for Knowledge Base Construction
- arxiv url: http://arxiv.org/abs/2310.08291v1
- Date: Thu, 12 Oct 2023 12:52:46 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-14 11:30:20.780979
- Title: Expanding the Vocabulary of BERT for Knowledge Base Construction
- Title（参考訳）: 知識ベース構築のためのBERT語彙の拡張
- Authors: Dong Yang, Xu Wang, Remzi Celebi
- Abstract要約: 国際セマンティックウェブ会議2023で「事前学習言語モデルによる知識ベース構築」の課題が開催された。
私たちの焦点は、パラメータを最大10億に制限する課題のトラック1にありました。
本稿では,知識ベース構築のための語彙拡張BERTを提案する。
- 参考スコア（独自算出の注目度）: 6.412048788884728
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Knowledge base construction entails acquiring structured information to
create a knowledge base of factual and relational data, facilitating question
answering, information retrieval, and semantic understanding. The challenge
called "Knowledge Base Construction from Pretrained Language Models" at
International Semantic Web Conference 2023 defines tasks focused on
constructing knowledge base using language model. Our focus was on Track 1 of
the challenge, where the parameters are constrained to a maximum of 1 billion,
and the inclusion of entity descriptions within the prompt is prohibited.
Although the masked language model offers sufficient flexibility to extend
its vocabulary, it is not inherently designed for multi-token prediction. To
address this, we present Vocabulary Expandable BERT for knowledge base
construction, which expand the language model's vocabulary while preserving
semantic embeddings for newly added words. We adopt task-specific
re-pre-training on masked language model to further enhance the language model.
Through experimentation, the results show the effectiveness of our
approaches. Our framework achieves F1 score of 0.323 on the hidden test set and
0.362 on the validation set, both data set is provided by the challenge.
Notably, our framework adopts a lightweight language model (BERT-base, 0.13
billion parameters) and surpasses the model using prompts directly on large
language model (Chatgpt-3, 175 billion parameters). Besides, Token-Recode
achieves comparable performances as Re-pretrain. This research advances
language understanding models by enabling the direct embedding of multi-token
entities, signifying a substantial step forward in link prediction task in
knowledge graph and metadata completion in data management.
- Abstract（参考訳）: 知識ベース構築は、構造化情報を取得し、事実データと関係データの知識ベースを作成し、質問応答、情報検索、意味理解を容易にする。
International Semantic Web Conference 2023において、"Knowledge Base Construction from Pretrained Language Models"と呼ばれる課題は、言語モデルを用いた知識ベースの構築に焦点を当てたタスクを定義する。
私たちの焦点はチャレンジのトラック1であり、パラメータは最大10億に制限されており、プロンプト内にエンティティ記述を含めることは禁止されています。
マスク付き言語モデルは語彙を拡張するのに十分な柔軟性を提供するが、本質的にはマルチトークン予測のために設計されていない。
そこで本研究では,新たに追加された単語の意味的埋め込みを維持しつつ,言語モデルの語彙を拡張する知識ベース構築のための語彙拡張可能なbertを提案する。
マスク付き言語モデルにタスク固有の事前学習を導入し、言語モデルをさらに強化する。
実験の結果,提案手法の有効性が示された。
本フレームワークは,隠れテストセットのF1スコアが0.323,検証セットの0.362,両データセットが課題によって提供される。
特に、我々のフレームワークは軽量言語モデル(BERTベース、0.13億パラメータ)を採用し、大きな言語モデルに直接プロンプト(Chatgpt-3、175億パラメータ)を使ってモデルを上回る。
さらに、Token-RecodeはRe-pretrainと同等のパフォーマンスを実現している。
本研究は、知識グラフにおけるリンク予測タスクとデータ管理におけるメタデータ補完の実質的な進歩を表わし、マルチトケエンティティの直接埋め込みを可能にすることにより、言語理解モデルを発展させる。
関連論文リスト
- Pretrained Generative Language Models as General Learning Frameworks for
Sequence-Based Tasks [0.0]
そこで本研究では,素小事前学習型生成言語モデルをシーケンスベースタスクの一般的な学習フレームワークとして利用することを提案する。
提案では,ニューラルネットワークと言語モデルをスクラッチからトレーニングする際の計算資源,スキルセット,タイムラインの課題を克服する。
125M,350M,1.3Bパラメータを事前学習した基礎言語モデルを1万から1000,000の命令例で微調整できることを実証した。
論文 参考訳（メタデータ） (2024-02-08T12:19:32Z) - LLM2KB: Constructing Knowledge Bases using instruction tuned context
aware Large Language Models [0.8702432681310401]
本稿では,大規模言語モデルを用いた知識ベース構築システム LLM2KB を提案する。
ISWC 2023で開かれたLM-KBCチャレンジでは,21関係の平均F1スコアが0.6185に達した。
論文 参考訳（メタデータ） (2023-08-25T07:04:16Z) - Bridging the Gap: Deciphering Tabular Data Using Large Language Model [4.711941969101732]
この研究は、テーブルベースの質問応答タスクへの大規模言語モデルの初めての応用である。
拡張言語モデルとのシームレスな統合のために,テーブルのシリアライズに特有なモジュールを設計しました。
論文 参考訳（メタデータ） (2023-08-23T03:38:21Z) - Pre-Training to Learn in Context [138.0745138788142]
言語モデルが文脈で学習するために明示的に訓練されていないため、コンテキスト内学習の能力は十分に活用されていない。
In-Context Learning のための PICL (Pre-training for In-Context Learning) を提案する。
実験の結果,PICLはベースラインよりも効率が高く,タスクの汎用性が高く,約4倍のパラメータを持つ言語モデルよりも優れていた。
論文 参考訳（メタデータ） (2023-05-16T03:38:06Z) - Prompting Language Models for Linguistic Structure [73.11488464916668]
本稿では,言語構造予測タスクに対する構造化プロンプト手法を提案する。
提案手法は, 音声タグ付け, 名前付きエンティティ認識, 文チャンキングについて評価する。
PLMはタスクラベルの事前知識を事前学習コーパスに漏えいすることで有意な事前知識を含むが、構造化プロンプトは任意のラベルで言語構造を復元することも可能である。
論文 参考訳（メタデータ） (2022-11-15T01:13:39Z) - DeepStruct: Pretraining of Language Models for Structure Prediction [64.84144849119554]
テキストから構造を生成するために,タスクに依存しないコーパスの集合上で言語モデルを事前訓練する。
我々の構造事前学習は、モデルが構造タスクについて持っている学習知識のゼロショット転送を可能にする。
10Bパラメータ言語モデルがほとんどのタスクに非自明に転送し、28のデータセットのうち21の最先端のパフォーマンスを得ることを示す。
論文 参考訳（メタデータ） (2022-05-21T00:58:22Z) - Pretraining Approaches for Spoken Language Recognition: TalTech
Submission to the OLR 2021 Challenge [0.0]
この論文は、東洋言語認識2021チャレンジへの提案に基づいています。
制約トラックに対しては,まず,多言語自動音声認識のためのコンバータベースのエンコーダデコーダモデルを訓練した。
制約のないタスクでは、外部で利用可能な事前訓練されたモデルと外部データの両方を頼りにしました。
論文 参考訳（メタデータ） (2022-05-14T15:17:08Z) - ERICA: Improving Entity and Relation Understanding for Pre-trained
Language Models via Contrastive Learning [97.10875695679499]
そこで本研究では, ERICA という新たなコントラスト学習フレームワークを提案し, エンティティとその関係をテキストでより深く理解する。
実験の結果,提案する erica フレームワークは文書レベルの言語理解タスクにおいて一貫した改善を実現することがわかった。
論文 参考訳（メタデータ） (2020-12-30T03:35:22Z) - Learning Contextual Representations for Semantic Parsing with
Generation-Augmented Pre-Training [86.91380874390778]
本稿では,生成モデルを活用して事前学習データを生成することで,自然言語発話と表スキーマの表現を共同で学習するGAPを提案する。
実験結果に基づいて、GAP MODELを利用するニューラルセマンティクスは、SPIDERとCRITERIA-to-generationベンチマークの両方で最新の結果を得る。
論文 参考訳（メタデータ） (2020-12-18T15:53:50Z) - Exploiting Structured Knowledge in Text via Graph-Guided Representation
Learning [73.0598186896953]
本稿では、知識グラフからのガイダンスを用いて、生テキスト上で学習する2つの自己教師型タスクを提案する。
エンティティレベルのマスキング言語モデルに基づいて、最初のコントリビューションはエンティティマスキングスキームです。
既存のパラダイムとは対照的に,本手法では事前学習時にのみ,知識グラフを暗黙的に使用する。
論文 参考訳（メタデータ） (2020-04-29T14:22:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。