論文の概要: SimpleBERT: A Pre-trained Model That Learns to Generate Simple Words

• arxiv url: http://arxiv.org/abs/2204.07779v1
• Date: Sat, 16 Apr 2022 11:28:01 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-20 08:27:48.511144
• Title: SimpleBERT: A Pre-trained Model That Learns to Generate Simple Words
• Title（参考訳）: SimpleBERT: 単純な単語を生成するための事前学習モデル
• Authors: Renliang Sun and Xiaojun Wan
• Abstract要約: 本研究では,テキストの簡易化を継続する事前学習手法を提案する。 我々は、継続事前学習に小規模な単純なテキストデータセットを使用し、簡単な単語を識別するために2つの方法を用いる。 語彙単純化タスクと文簡略化タスクの両方においてBERTを超えるSimpleBERTを得る。
• 参考スコア（独自算出の注目度）: 59.142185753887645
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pre-trained models are widely used in the tasks of natural language processing nowadays. However, in the specific field of text simplification, the research on improving pre-trained models is still blank. In this work, we propose a continued pre-training method for text simplification. Specifically, we propose a new masked language modeling (MLM) mechanism, which does not randomly mask words but only masks simple words. The new mechanism can make the model learn to generate simple words. We use a small-scale simple text dataset for continued pre-training and employ two methods to identify simple words from the texts. We choose BERT, a representative pre-trained model, and continue pre-training it using our proposed method. Finally, we obtain SimpleBERT, which surpasses BERT in both lexical simplification and sentence simplification tasks and has achieved state-of-the-art results on multiple datasets. What's more, SimpleBERT can replace BERT in existing simplification models without modification.
• Abstract（参考訳）: 事前学習モデルは現在、自然言語処理のタスクで広く使われている。 しかし、テキスト単純化の特定の分野において、事前学習されたモデルを改善する研究はいまだに空白である。 本研究では,テキストの簡易化を継続する事前学習手法を提案する。 具体的には、ランダムに単語をマスキングするのではなく、単純な単語をマスキングする新しいマスキング言語モデリング(MLM)機構を提案する。 新しいメカニズムにより、モデルは単純な単語を生成することを学ぶことができる。 そこで本研究では,テキストから簡単な単語を識別する2つの手法を用いて,事前学習を行う。 代表的な事前学習モデルであるbertを選択し,提案手法による事前学習を継続する。 最後に,語彙の単純化と文の単純化の両作業においてBERTを上回り,複数のデータセットで最先端の結果を得たSimpleBERTを得る。 さらにSimpleBERTは、既存の単純化モデルでBERTを変更せずに置き換えることができる。

関連論文リスト

• Extracting Sentence Embeddings from Pretrained Transformer Models [0.0]
  本稿では,BERTベースモデルと単純なベースラインモデルから抽出した文の埋め込みを,表現形成技術により大幅に改善することを示す。 すべてのメソッドは8つのセマンティックテキスト類似性(STS)、6つの短いテキストクラスタリング、12の分類タスクでテストされる。 静的トークンベースのモデル、特にSTSタスクのランダムな埋め込みは、BERTから派生した表現のパフォーマンスにほぼ達する。
  論文  参考訳（メタデータ） (2024-08-15T10:54:55Z)
• Pre-trained Language Models Do Not Help Auto-regressive Text-to-Image Generation [82.5217996570387]
  我々は,自動回帰テキスト・画像生成のための事前学習言語モデルを適用した。 事前訓練された言語モデルは限られた助けを提供する。
  論文  参考訳（メタデータ） (2023-11-27T07:19:26Z)
• Controlled Text Generation via Language Model Arithmetic [7.687678490751105]
  本稿では,大規模言語モデルの合成とバイアス化のための新しい推論フレームワークであるモデル演算を導入する。 モデル算術により生成したテキストのきめ細かい制御が可能であり, 毒性低減の課題において, 最先端の処理性能に優れることを示す。
  論文  参考訳（メタデータ） (2023-11-24T13:41:12Z)
• Teaching the Pre-trained Model to Generate Simple Texts for Text Simplification [59.625179404482594]
  トレーニング前の段階では、ランダムなマスキングテキストが通常のテキストに分散しているため、モデルは単純なテキストを生成する能力を得ることができない。 簡単なテキストを生成するための事前学習モデルを学習するための,新たな事前学習戦略を提案する。
  論文  参考訳（メタデータ） (2023-05-21T14:03:49Z)
• Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Processing [78.8500633981247]
  本稿では,自然言語処理における新たなパラダイムにおける研究成果の探索と整理を行う。 入力xを取り込んで出力yをP(y|x)として予測するようにモデルを訓練する従来の教師付き学習とは異なり、プロンプトベースの学習は直接テキストの確率をモデル化する言語モデルに基づいている。
  論文  参考訳（メタデータ） (2021-07-28T18:09:46Z)
• A Comprehensive Comparison of Pre-training Language Models [0.5139874302398955]
  私たちは、同じテキスト量と同じトレーニングステップで、トランスフォーマーベースのモデルのリストを事前トレーニングします。 実験結果から、BERTの原点における最も改善点は、短いテキスト理解のためにより文脈的な情報を取得するためにRNN層を追加することである。
  論文  参考訳（メタデータ） (2021-06-22T02:12:29Z)
• CharBERT: Character-aware Pre-trained Language Model [36.9333890698306]
  本稿ではCharBERTという文字認識事前学習言語モデルを提案する。 まず、逐次的文字表現から各トークンに対する文脈単語埋め込みを構築する。 次に、新しい異種相互作用モジュールによって文字とサブワードの表現を融合する。
  論文  参考訳（メタデータ） (2020-11-03T07:13:06Z)
• Controllable Text Simplification with Explicit Paraphrasing [88.02804405275785]
  テキストの単純化は、語彙パラフレーズ、削除、分割など、いくつかの書き換え変換を通じて文の可読性を向上させる。 現在の単純化システムは、主にシーケンス・ツー・シーケンスのモデルであり、これらすべての操作を同時に実行するためにエンドツーエンドで訓練されている。 そこで我々は,言語的に動機づけられた規則を用いて分割と削除を行い,それらをニューラルパラフレーズモデルと組み合わせて様々な書き直しスタイルを創出するハイブリッド手法を提案する。
  論文  参考訳（メタデータ） (2020-10-21T13:44:40Z)
• ASSET: A Dataset for Tuning and Evaluation of Sentence Simplification Models with Multiple Rewriting Transformations [97.27005783856285]
  本稿では,英語で文の単純化を評価するための新しいデータセットであるASSETを紹介する。 ASSETの単純化は、タスクの他の標準評価データセットと比較して、単純さの特徴を捉えるのに優れていることを示す。
  論文  参考訳（メタデータ） (2020-05-01T16:44:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。