論文の概要: Teaching the Pre-trained Model to Generate Simple Texts for Text Simplification

• arxiv url: http://arxiv.org/abs/2305.12463v1
• Date: Sun, 21 May 2023 14:03:49 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-23 20:26:27.992383
• Title: Teaching the Pre-trained Model to Generate Simple Texts for Text Simplification
• Title（参考訳）: テキスト簡易化のための簡易テキスト生成のための事前学習モデル教育
• Authors: Renliang Sun, Wei Xu, Xiaojun Wan
• Abstract要約: トレーニング前の段階では、ランダムなマスキングテキストが通常のテキストに分散しているため、モデルは単純なテキストを生成する能力を得ることができない。 簡単なテキストを生成するための事前学習モデルを学習するための,新たな事前学習戦略を提案する。
• 参考スコア（独自算出の注目度）: 59.625179404482594
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Randomly masking text spans in ordinary texts in the pre-training stage hardly allows models to acquire the ability to generate simple texts. It can hurt the performance of pre-trained models on text simplification tasks. In this paper, we propose a new continued pre-training strategy to teach the pre-trained model to generate simple texts. We continue pre-training BART, a representative model, to obtain SimpleBART. It consistently and significantly improves the results on lexical simplification, sentence simplification, and document-level simplification tasks over BART. At the end, we compare SimpleBART with several representative large language models (LLMs).
• Abstract（参考訳）: 事前学習段階の通常のテキストのテキストスパンをランダムにマスキングすることは、モデルが単純なテキストを生成する能力を得ることをほとんどできない。 テキスト単純化タスクの事前学習されたモデルのパフォーマンスを損なう可能性がある。 本稿では,事前学習モデルに簡単なテキスト生成を教えるための新しい事前学習戦略を提案する。 代表モデルであるBARTの事前訓練を継続し、SimpleBARTを得る。 BART上での語彙の単純化、文の単純化、文書レベルの単純化タスクの結果は、一貫して大幅に改善される。 最後に、SimpleBARTといくつかの代表的な大規模言語モデル(LLM)を比較します。

関連論文リスト

• Controlling Pre-trained Language Models for Grade-Specific Text Simplification [22.154454849167077]
  本研究では,異なる制御機構がテキスト単純化システムの妥当性と簡易性に与える影響について検討する。 本稿では,インスタンス単位のインスタンス単位で,特定のグレードレベルのテキストを簡略化するために必要な編集操作を簡易に予測する手法を提案する。
  論文  参考訳（メタデータ） (2023-05-24T10:29:45Z)
• Classifiers are Better Experts for Controllable Text Generation [63.17266060165098]
  提案手法は, PPLにおける最近のPPLM, GeDi, DExpertsよりも有意に優れており, 生成したテキストの外部分類器に基づく感情の精度が高いことを示す。 同時に、実装やチューニングも簡単で、制限や要件も大幅に少なくなります。
  論文  参考訳（メタデータ） (2022-05-15T12:58:35Z)
• SimpleBERT: A Pre-trained Model That Learns to Generate Simple Words [59.142185753887645]
  本研究では,テキストの簡易化を継続する事前学習手法を提案する。 我々は、継続事前学習に小規模な単純なテキストデータセットを使用し、簡単な単語を識別するために2つの方法を用いる。 語彙単純化タスクと文簡略化タスクの両方においてBERTを超えるSimpleBERTを得る。
  論文  参考訳（メタデータ） (2022-04-16T11:28:01Z)
• Automatic Lexical Simplification for Turkish [0.0]
  トルコ語に対する最初の自動語彙単純化システムを提案する。 近年のテキスト単純化の取り組みは、手作業による簡易コーパスと包括的NLPツールに依存している。 本稿では,事前学習された表現モデル BERT に基づく新しいテキスト単純化パイプラインと形態的特徴を併用して,文法的に正しい意味論的に適切な単語レベルの単純化を生成する。
  論文  参考訳（メタデータ） (2022-01-15T15:58:44Z)
• LAFITE: Towards Language-Free Training for Text-to-Image Generation [83.2935513540494]
  テキストデータなしでテキストから画像への生成モデルをトレーニングするための最初の作業を提案する。 提案手法は,CLIPモデルのマルチモーダルなセマンティック空間の整合性を活用している。 我々は,標準的なテキスト・画像生成タスクにおいて,最先端の結果を得る。
  論文  参考訳（メタデータ） (2021-11-27T01:54:45Z)
• Few-Shot Text Generation with Pattern-Exploiting Training [12.919486518128734]
  本稿では,テキスト生成タスクにも基礎となるアイデアが適用可能であることを示す。 最近提案された少数のショットアプローチであるPattern-Exploiting Training(PET)を、テキスト生成タスクで生成言語モデルを微調整するために適用します。
  論文  参考訳（メタデータ） (2020-12-22T10:53:07Z)
• Explainable Prediction of Text Complexity: The Missing Preliminaries for Text Simplification [13.447565774887215]
  テキストの単純化により、アクセシビリティーのためにプロのコンテンツが複雑になる。 入力テキストの簡易版を直接生成するために、エンドツーエンドのニューラルネットワークモデルが広く採用されている。 テキストの単純化をタスクのコンパクトなパイプラインに分解することで、プロセスの透明性と説明可能性を確保することができることを示す。
  論文  参考訳（メタデータ） (2020-07-31T03:33:37Z)
• Progressive Generation of Long Text with Pretrained Language Models [83.62523163717448]
  GPT-2のような大量のテキストコーパスで事前訓練された大規模言語モデル(LM)は、強力なオープンドメインテキストジェネレータである。 このようなモデルが、特に小さなコーパス上のターゲットドメインに微調整された場合、コヒーレントな長いテキストパスを生成することは依然として困難である。 本稿では,低解像度から高解像度の画像に触発されて,テキストを段階的に生成する簡易かつ効果的な方法を提案する。
  論文  参考訳（メタデータ） (2020-06-28T21:23:05Z)
• Multilingual Denoising Pre-training for Neural Machine Translation [132.66750663226287]
  mBART(mBART)は、大規模モノリンガルコーパスで事前訓練されたシーケンスからシーケンスまでの自動エンコーダである。 mBARTは、完全なシーケンス・ツー・シーケンスモデルを事前訓練する最初の方法の1つである。
  論文  参考訳（メタデータ） (2020-01-22T18:59:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。