Fugu-MT 論文翻訳(概要): Task-specific Pre-training and Prompt Decomposition for Knowledge Graph Population with Language Models

論文の概要: Task-specific Pre-training and Prompt Decomposition for Knowledge Graph Population with Language Models

arxiv url: http://arxiv.org/abs/2208.12539v1
Date: Fri, 26 Aug 2022 09:56:27 GMT
ステータス: 処理完了
システム内更新日: 2022-08-29 12:56:01.560450
Title: Task-specific Pre-training and Prompt Decomposition for Knowledge Graph Population with Language Models
Title（参考訳）: 言語モデルを用いた知識グラフのタスク特化事前学習とプロンプト分解
Authors: Tianyi Li, Wenyu Huang, Nikos Papasarantopoulos, Pavlos Vougiouklis, Jeff Z. Pan
Abstract要約: ISWC 2022において,事前学習型言語モデル(LM-KBC)による知識ベース構築を課題とし,言語モデルを用いた知識グラフの集団化システムを提案する。我々のシステムはBERT LMに基づくLM-KBCチャレンジのトラック1の勝者であり、このチャレンジの隠れテストセットで55.0%のF-1スコアを達成している。
参考スコア（独自算出の注目度）: 15.164149482966296
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: We present a system for knowledge graph population with Language Models, evaluated on the Knowledge Base Construction from Pre-trained Language Models (LM-KBC) challenge at ISWC 2022. Our system involves task-specific pre-training to improve LM representation of the masked object tokens, prompt decomposition for progressive generation of candidate objects, among other methods for higher-quality retrieval. Our system is the winner of track 1 of the LM-KBC challenge, based on BERT LM; it achieves 55.0% F-1 score on the hidden test set of the challenge.
Abstract（参考訳）: ISWC 2022において,事前学習型言語モデル(LM-KBC)による知識ベース構築を課題とし,言語モデルを用いた知識グラフの集団化システムを提案する。本システムでは,マスキングされたオブジェクトトークンのlm表現の改善,候補オブジェクトのプログレッシブ生成のための迅速な分解,その他高品質な検索のための手法をタスク固有の事前学習を行う。我々のシステムはBERT LMに基づくLM-KBCチャレンジのトラック1の勝者であり、隠れテストセットで55.0%のF-1スコアを達成している。

関連論文リスト

Pretrained Generative Language Models as General Learning Frameworks for Sequence-Based Tasks [0.0]
そこで本研究では,素小事前学習型生成言語モデルをシーケンスベースタスクの一般的な学習フレームワークとして利用することを提案する。提案では,ニューラルネットワークと言語モデルをスクラッチからトレーニングする際の計算資源,スキルセット,タイムラインの課題を克服する。 125M,350M,1.3Bパラメータを事前学習した基礎言語モデルを1万から1000,000の命令例で微調整できることを実証した。
論文参考訳（メタデータ） (2024-02-08T12:19:32Z)
Preference-grounded Token-level Guidance for Language Model Fine-tuning [105.88789610320426]
好みのある言語モデルを調整することは、自然言語生成において重要な問題である。 LMトレーニングでは、教師付きデータの量に基づいて、学習指導を利用する2つの「ミニマリスト*学習目標」を示す。実験において,本手法は2つの異なるLMタスクに対して競合的に動作する。
論文参考訳（メタデータ） (2023-06-01T07:00:07Z)
Information Association for Language Model Updating by Mitigating LM-Logical Discrepancy [68.31760483418901]
大規模言語モデル(LLM)は、時代遅れの事前学習データのために現在の情報を提供するのに苦労する。知識編集や連続的な微調整など,従来のLCMの更新方法は,新たな情報の一般化に重大な欠点がある。これらの欠点の中核となる課題は,言語モデリングの確率と論理的確率の差を特徴とするLM論理的相違である。
論文参考訳（メタデータ） (2023-05-29T19:48:37Z)
Toward Efficient Language Model Pretraining and Downstream Adaptation via Self-Evolution: A Case Study on SuperGLUE [203.65227947509933]
このレポートでは、スーパーGLUEのリーダーボードにJDExplore d-teamのVega v2を提出しました。 SuperGLUEは、広く使われている汎用言語理解評価(GLUE)ベンチマークよりも難易度が高く、8つの難しい言語理解タスクを含んでいる。
論文参考訳（メタデータ） (2022-12-04T15:36:18Z)
LMPriors: Pre-Trained Language Models as Task-Specific Priors [78.97143833642971]
適切な事前条件でモデルを拡張するための原則的手法を開発した。これは、世界に対する私たちの理解と相容れない方法で学ぶことを奨励するものです。我々は,近年の大規模言語モデル(LM)の成功から着想を得た。
論文参考訳（メタデータ） (2022-10-22T19:09:18Z)
BEIKE NLP at SemEval-2022 Task 4: Prompt-Based Paragraph Classification for Patronizing and Condescending Language Detection [13.944149742291788]
PCL検出タスクは、メディアの脆弱なコミュニティを保護し、あるいは支持している言語を特定することを目的としている。本稿では,段落分類における素早い学習の力を活用した解法について紹介する。
論文参考訳（メタデータ） (2022-08-02T08:38:47Z)
OCHADAI at SemEval-2022 Task 2: Adversarial Training for Multilingual Idiomaticity Detection [4.111899441919165]
文が慣用的表現を含むか否かを判定する多言語逆行訓練モデルを提案する。我々のモデルは、異なる多言語変換言語モデルからの事前学習された文脈表現に依存している。
論文参考訳（メタデータ） (2022-06-07T05:52:43Z)
Probing Simile Knowledge from Pre-trained Language Models [16.411859515803098]
シミュレーション解釈(SI)とシミュレーション生成(SG)は、モデルが予測を生成するのに十分な世界知識を必要とするため、NLPにとって難しい課題である。近年、PLMベースのアプローチがNLPのデファクトスタンダードになっている。本稿では,PLM からの模擬知識を探索し,SI と SG のタスクを3次完備化の統一的な枠組みで初めて解く。
論文参考訳（メタデータ） (2022-04-27T09:55:40Z)
SLM: Learning a Discourse Language Representation with Sentence Unshuffling [53.42814722621715]
談話言語表現を学習するための新しい事前学習目的である文レベル言語モデリングを導入する。本モデルでは,この特徴により,従来のBERTの性能が大幅に向上することを示す。
論文参考訳（メタデータ） (2020-10-30T13:33:41Z)
Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
論文参考訳（メタデータ） (2020-10-24T11:55:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。