論文の概要: Probing Simile Knowledge from Pre-trained Language Models

• arxiv url: http://arxiv.org/abs/2204.12807v1
• Date: Wed, 27 Apr 2022 09:55:40 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-28 12:14:20.243638
• Title: Probing Simile Knowledge from Pre-trained Language Models
• Title（参考訳）: 事前学習型言語モデルからの模擬知識の探索
• Authors: Weijie Chen, Yongzhu Chang, Rongsheng Zhang, Jiashu Pu, Guandan Chen, Le Zhang, Yadong Xi, Yijiang Chen, Chang Su
• Abstract要約: シミュレーション解釈(SI)とシミュレーション生成(SG)は、モデルが予測を生成するのに十分な世界知識を必要とするため、NLPにとって難しい課題である。 近年、PLMベースのアプローチがNLPのデファクトスタンダードになっている。 本稿では,PLM からの模擬知識を探索し,SI と SG のタスクを3次完備化の統一的な枠組みで初めて解く。
• 参考スコア（独自算出の注目度）: 16.411859515803098
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Simile interpretation (SI) and simile generation (SG) are challenging tasks for NLP because models require adequate world knowledge to produce predictions. Previous works have employed many hand-crafted resources to bring knowledge-related into models, which is time-consuming and labor-intensive. In recent years, pre-trained language models (PLMs) based approaches have become the de-facto standard in NLP since they learn generic knowledge from a large corpus. The knowledge embedded in PLMs may be useful for SI and SG tasks. Nevertheless, there are few works to explore it. In this paper, we probe simile knowledge from PLMs to solve the SI and SG tasks in the unified framework of simile triple completion for the first time. The backbone of our framework is to construct masked sentences with manual patterns and then predict the candidate words in the masked position. In this framework, we adopt a secondary training process (Adjective-Noun mask Training) with the masked language model (MLM) loss to enhance the prediction diversity of candidate words in the masked position. Moreover, pattern ensemble (PE) and pattern search (PS) are applied to improve the quality of predicted words. Finally, automatic and human evaluations demonstrate the effectiveness of our framework in both SI and SG tasks.
• Abstract（参考訳）: シミュレーション解釈(SI)とシミュレーション生成(SG)は、モデルが予測を生成するのに十分な世界知識を必要とするため、NLPにとって難しい課題である。 従来、多くの手作りの資源を使って知識をモデルに取り入れてきた。 近年,PLM(Pre-trained Language Model)ベースのアプローチは,大規模コーパスから一般的な知識を習得し,NLPのデファクトスタンダードとなっている。 PLMに埋め込まれた知識は、SIやSGタスクに有用かもしれない。 それにもかかわらず、それを探求する研究はほとんどない。 本稿では,plm からの simile 知識を調査し,si と sg のタスクを初めて一元的フレームワークである simile triple completion で解く。 我々のフレームワークのバックボーンは、手動のパターンでマスキング文を構築し、マスキング位置の候補単語を予測することである。 本フレームワークでは,マスキング言語モデル(MLM)の損失を考慮した2次学習プロセス(形容名詞学習)を採用し,マスキング位置における候補単語の予測の多様性を高める。 さらに,パターンアンサンブル (PE) とパターン探索 (PS) を適用し,予測語の品質を向上させる。 最後に,siタスクとsgタスクの両方におけるフレームワークの有効性を,自動評価とヒューマン評価によって実証する。

関連論文リスト

• N-gram Prediction and Word Difference Representations for Language Modeling [0.0]
  因果言語モデル(CLM)タスクのための単純なN-gram予測フレームワークを提案する。 また,モデル学習中に,単語差分表現(WDR)を補助的・文脈的対象表現として導入する。 そこで我々は,次の単語予測の精度をさらに高めるために,将来のN単語予測結果を組み込んだアンサンブル手法を提案する。
  論文  参考訳（メタデータ） (2024-09-05T07:03:23Z)
• Self-Evolution Learning for Discriminative Language Model Pretraining [103.57103957631067]
  自己進化学習(Self-Evolution Learning、SE)は、単純で効果的なトークンマスキングと学習方法である。 SEは情報的だが未探索のトークンを学習することに集中し、新しいToken固有のラベル平滑化アプローチを導入してトレーニングを適応的に調整する。
  論文  参考訳（メタデータ） (2023-05-24T16:00:54Z)
• An Overview on Language Models: Recent Developments and Outlook [32.528770408502396]
  従来の言語モデル(CLM)は、因果的に言語シーケンスの確率を予測することを目的としている。 事前学習言語モデル(PLM)はより広範な概念をカバーし、因果逐次モデリングと下流アプリケーションのための微調整の両方に使用することができる。
  論文  参考訳（メタデータ） (2023-03-10T07:55:00Z)
• Prompting Language Models for Linguistic Structure [73.11488464916668]
  本稿では,言語構造予測タスクに対する構造化プロンプト手法を提案する。 提案手法は, 音声タグ付け, 名前付きエンティティ認識, 文チャンキングについて評価する。 PLMはタスクラベルの事前知識を事前学習コーパスに漏えいすることで有意な事前知識を含むが、構造化プロンプトは任意のラベルで言語構造を復元することも可能である。
  論文  参考訳（メタデータ） (2022-11-15T01:13:39Z)
• A Survey of Knowledge Enhanced Pre-trained Language Models [78.56931125512295]
  我々は、知識強化事前学習言語モデル(KE-PLMs)の包括的なレビューを行う。 NLUでは、言語知識、テキスト知識、知識グラフ(KG)、ルール知識の4つのカテゴリに分類する。 NLGのKE-PLMは、KGベースと検索ベースに分類される。
  論文  参考訳（メタデータ） (2022-11-11T04:29:02Z)
• LMPriors: Pre-Trained Language Models as Task-Specific Priors [78.97143833642971]
  適切な事前条件でモデルを拡張するための原則的手法を開発した。 これは、世界に対する私たちの理解と相容れない方法で学ぶことを奨励するものです。 我々は,近年の大規模言語モデル(LM)の成功から着想を得た。
  論文  参考訳（メタデータ） (2022-10-22T19:09:18Z)
• SUPERB-SG: Enhanced Speech processing Universal PERformance Benchmark for Semantic and Generative Capabilities [76.97949110580703]
  各種音声タスクの事前学習モデルを評価するための新しいベンチマークであるSUPERB-SGを紹介する。 データドメインのシフトの下で、事前訓練されたモデルによって学習された表現の堅牢性をテストするために、軽量な方法論を使用します。 また,SUPERB-SGのタスク多様性とタスク監督の限定が,モデル表現の一般化性を評価する効果的な方法であることを示す。
  論文  参考訳（メタデータ） (2022-03-14T04:26:40Z)
• A Survey of Knowledge Enhanced Pre-trained Models [28.160826399552462]
  知識注入を伴う事前学習言語モデルを知識強化事前学習言語モデル(KEPLM)と呼ぶ。 これらのモデルは深い理解と論理的推論を示し、解釈可能性を導入する。
  論文  参考訳（メタデータ） (2021-10-01T08:51:58Z)
• Masked Language Modeling and the Distributional Hypothesis: Order Word Matters Pre-training for Little [74.49773960145681]
  マスク言語モデル(MLM)トレーニングの印象的なパフォーマンスの可能な説明は、そのようなモデルがNLPパイプラインで広く普及している構文構造を表現することを学びました。 本稿では,先行訓練がダウンストリームタスクでほぼ完全に成功する理由として,高次単語共起統計をモデル化できることを挙げる。 以上の結果から,純粋分布情報は,事前学習の成功を主に説明し,深い言語知識を必要とする難易度評価データセットのキュレーションの重要性を強調する。
  論文  参考訳（メタデータ） (2021-04-14T06:30:36Z)
• REALM: Retrieval-Augmented Language Model Pre-Training [37.3178586179607]
  言語モデルの事前学習を潜伏知識検索システムで強化し,ウィキペディアのような大規模コーパスから文書を検索し,出席できるようにする。 本研究では,このような知識検索を教師なしで事前学習する方法を初めて示す。 オープンドメイン質問回答(Open-QA)の課題を微調整し,検索型言語モデル事前学習(REALM)の有効性を実証する。
  論文  参考訳（メタデータ） (2020-02-10T18:40:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。