論文の概要: Enhancing Pre-trained Language Model with Lexical Simplification

• arxiv url: http://arxiv.org/abs/2012.15070v1
• Date: Wed, 30 Dec 2020 07:49:00 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-18 06:01:46.158837
• Title: Enhancing Pre-trained Language Model with Lexical Simplification
• Title（参考訳）: 語彙単純化による事前学習言語モデルの拡張
• Authors: Rongzhou Bao, Jiayi Wang, Zhuosheng Zhang, Hai Zhao
• Abstract要約: lexical simplification (ls) は、そのような語彙の多様性を減らすための認識された方法である。 テキスト分類におけるPrLMの性能を効果的に向上する新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 41.34550924004487
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: For both human readers and pre-trained language models (PrLMs), lexical diversity may lead to confusion and inaccuracy when understanding the underlying semantic meanings of given sentences. By substituting complex words with simple alternatives, lexical simplification (LS) is a recognized method to reduce such lexical diversity, and therefore to improve the understandability of sentences. In this paper, we leverage LS and propose a novel approach which can effectively improve the performance of PrLMs in text classification. A rule-based simplification process is applied to a given sentence. PrLMs are encouraged to predict the real label of the given sentence with auxiliary inputs from the simplified version. Using strong PrLMs (BERT and ELECTRA) as baselines, our approach can still further improve the performance in various text classification tasks.
• Abstract（参考訳）: 人間の読者と事前学習された言語モデル(PrLM)の両方にとって、語彙の多様性は、与えられた文の基本的な意味を理解する際に混乱と不正確をもたらす可能性がある。 複雑な単語を簡単な代替語で置換することにより、語彙単純化(LS)はそのような語彙の多様性を減らし、文の理解性を向上する。 本稿では,LSを活用し,テキスト分類におけるPrLMの性能を効果的に向上する手法を提案する。 所定の文に対して規則に基づく単純化処理を適用する。 PrLMは、簡略化されたバージョンからの補助的な入力で、与えられた文の実際のラベルを予測する。 強力なPrLM(BERTとELECTRA)をベースラインとして,テキスト分類タスクの性能をさらに向上させることができる。

関連論文リスト

• SentenceVAE: Enable Next-sentence Prediction for Large Language Models with Faster Speed, Higher Accuracy and Longer Context [49.9628075245959]
  本稿では,文中の複数のトークンを1つのトークンに圧縮する文を含む文変分自動エンコーダ(文変分自動エンコーダ)と,それを再構成する文変分自動エンコーダ(文変分自動エンコーダ)を提案する。 提案手法は, 推定速度を204365%高速化し, パープレキシティ(PPL)を4675%まで低減し, メモリオーバーヘッドを8691%削減する。
  論文  参考訳（メタデータ） (2024-08-01T15:45:19Z)
• An LLM-Enhanced Adversarial Editing System for Lexical Simplification [10.519804917399744]
  Lexical Simplificationは、語彙レベルでのテキストの簡略化を目的としている。 既存のメソッドはアノテーション付きデータに大きく依存している。 並列コーパスのない新しいLS法を提案する。
  論文  参考訳（メタデータ） (2024-02-22T17:04:30Z)
• Improving Factual Consistency of Text Summarization by Adversarially Decoupling Comprehension and Embellishment Abilities of LLMs [67.56087611675606]
  大規模言語モデル(LLM)は、本来の記事と現実的に矛盾する要約を生成する。 これらの幻覚は、従来の方法による検出が困難である。 LLM(DECENT)の能力を阻害する逆デカップリング法を提案する。
  論文  参考訳（メタデータ） (2023-10-30T08:40:16Z)
• Alleviating Over-smoothing for Unsupervised Sentence Representation [96.19497378628594]
  本稿では,この問題を緩和するために,SSCL(Self-Contrastive Learning)というシンプルな手法を提案する。 提案手法は非常に単純で,様々な最先端モデルに拡張して,性能向上を図ることができる。
  論文  参考訳（メタデータ） (2023-05-09T11:00:02Z)
• Sentence Simplification via Large Language Models [15.07021692249856]
  文の単純化は、複雑な文を本来の意味を保ちながら、より単純な文に言い換えることを目的としている。 大規模言語モデル(LLM)は、様々な自然言語処理タスクを実行する能力を示した。
  論文  参考訳（メタデータ） (2023-02-23T12:11:58Z)
• Sentence Representation Learning with Generative Objective rather than Contrastive Objective [86.01683892956144]
  句再構成に基づく新たな自己教師型学習目標を提案する。 我々の生成学習は、十分な性能向上を達成し、現在の最先端のコントラスト法よりも優れています。
  論文  参考訳（メタデータ） (2022-10-16T07:47:46Z)
• Span Fine-tuning for Pre-trained Language Models [43.352833140317486]
  本稿では,PrLMのためのスパンファインチューニング手法を提案する。 PrLMによって処理されたすべての文は、プリサンプル辞書に従って複数のスパンに分割される。 GLUEベンチマーク実験の結果,提案手法はPrLMを大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2021-08-29T14:11:38Z)
• Controllable Text Simplification with Explicit Paraphrasing [88.02804405275785]
  テキストの単純化は、語彙パラフレーズ、削除、分割など、いくつかの書き換え変換を通じて文の可読性を向上させる。 現在の単純化システムは、主にシーケンス・ツー・シーケンスのモデルであり、これらすべての操作を同時に実行するためにエンドツーエンドで訓練されている。 そこで我々は,言語的に動機づけられた規則を用いて分割と削除を行い,それらをニューラルパラフレーズモデルと組み合わせて様々な書き直しスタイルを創出するハイブリッド手法を提案する。
  論文  参考訳（メタデータ） (2020-10-21T13:44:40Z)
• Chinese Lexical Simplification [29.464388721085548]
  中国の語彙単純化(CLS)に関する研究は行われていない。 アノテーション取得の難しさを回避するため,我々はCLSの最初のベンチマークデータセットを手作業で作成する。 複雑な単語の代用候補を生成するために,5種類のメソッドをベースラインとして提示する。
  論文  参考訳（メタデータ） (2020-10-14T12:55:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。