論文の概要: Contextual Text Denoising with Masked Language Models

• arxiv url: http://arxiv.org/abs/1910.14080v2
• Date: Tue, 5 Mar 2024 09:01:13 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-07 04:37:34.796277
• Title: Contextual Text Denoising with Masked Language Models
• Title（参考訳）: マスキング言語モデルを用いた文脈テキストの修飾
• Authors: Yifu Sun, Haoming Jiang
• Abstract要約: そこで本研究では,既使用マスキング言語モデルに基づく文脈記述型音声認識アルゴリズムを提案する。 提案アルゴリズムはモデルの再学習を必要とせず,任意のNLPシステムに統合可能である。
• 参考スコア（独自算出の注目度）: 21.923035129334373
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, with the help of deep learning models, significant advances have been made in different Natural Language Processing (NLP) tasks. Unfortunately, state-of-the-art models are vulnerable to noisy texts. We propose a new contextual text denoising algorithm based on the ready-to-use masked language model. The proposed algorithm does not require retraining of the model and can be integrated into any NLP system without additional training on paired cleaning training data. We evaluate our method under synthetic noise and natural noise and show that the proposed algorithm can use context information to correct noise text and improve the performance of noisy inputs in several downstream tasks.
• Abstract（参考訳）: 近年,ディープラーニングモデルの助けを借りて,自然言語処理(NLP)タスクに大幅な進歩が加えられている。 残念ながら、最先端のモデルはノイズの多いテキストに対して脆弱です。 そこで本研究では,マスク付きマスキング言語モデルに基づく新しい文脈文修飾アルゴリズムを提案する。 提案アルゴリズムはモデルの再トレーニングを必要とせず、ペアクリーニングトレーニングデータに追加のトレーニングを加えることなく任意のNLPシステムに統合することができる。 提案手法を合成雑音および自然雑音下で評価し,提案アルゴリズムがコンテキスト情報を用いて雑音テキストを補正し,複数の下流タスクにおける雑音入力の性能を向上させることを示す。

関連論文リスト

• Large Language Models are Efficient Learners of Noise-Robust Speech Recognition [65.95847272465124]
  大規模言語モデル(LLM)の最近の進歩は、自動音声認識(ASR)のための生成誤り訂正(GER)を促進している。 本研究では,このベンチマークをノイズの多い条件に拡張し,GERのデノナイジングをLLMに教えることができるかを検討する。 最新のLLM実験では,単語誤り率を最大53.9%改善し,新たなブレークスルーを実現している。
  論文  参考訳（メタデータ） (2024-01-19T01:29:27Z)
• NLIP: Noise-robust Language-Image Pre-training [95.13287735264937]
  雑音調和と雑音補完という2つの手法を用いて事前学習の安定化を図るため,NLIPの原理的手法を提案する。 我々のNLIPは、画像テキスト事前学習における一般的なノイズ効果をより効率的に軽減することができる。
  論文  参考訳（メタデータ） (2022-12-14T08:19:30Z)
• Instance Regularization for Discriminative Language Model Pre-training [108.41891836796366]
  本研究は,言語モデル事前学習における劣化文から原文を復元する複雑性を推定することを提案する。 自然言語理解と読解のベンチマークによる実験結果から,本手法は事前学習の効率,有効性,堅牢性を向上することが示された。
  論文  参考訳（メタデータ） (2022-10-11T14:16:37Z)
• Improving Pre-trained Language Model Fine-tuning with Noise Stability Regularization [94.4409074435894]
  本稿では,LNSR(Layerwise Noise Stability Regularization)という,新規かつ効果的な微調整フレームワークを提案する。 具体的には、標準ガウス雑音を注入し、微調整モデルの隠れ表現を正規化することを提案する。 提案手法は,L2-SP,Mixout,SMARTなど他の最先端アルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-06-12T04:42:49Z)
• An Exploration of Prompt Tuning on Generative Spoken Language Model for Speech Processing Tasks [112.1942546460814]
  生成音声言語モデル(GSLM)に基づく音声処理タスクの即時チューニングパラダイムの最初の検討について報告する。 実験結果から, 学習可能なパラメータが少ない音声分類タスクにおいて, 高精度なダウンストリームモデルよりも, 即時チューニング手法が競合性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2022-03-31T03:26:55Z)
• Curriculum optimization for low-resource speech recognition [4.803994937990389]
  本稿では,学習事例の順序を最適化する自動カリキュラム学習手法を提案する。 様々な雑音条件下で生音声のスコアリング機能として使用できる圧縮比と呼ばれる新しい難易度尺度を導入する。
  論文  参考訳（メタデータ） (2022-02-17T19:47:50Z)
• Step-unrolled Denoising Autoencoders for Text Generation [17.015573262373742]
  本稿では,SUNDAE(Step-unrolled Denoising Autoencoder)というテキスト生成モデルを提案する。 SUNDAEはトークンの列に繰り返し適用され、ランダムな入力から始まり、収束するまで毎回改善される。 拡散法よりも少ないイテレーションで収束する単純な改良演算子を提案する。
  論文  参考訳（メタデータ） (2021-12-13T16:00:33Z)
• Improving Noise Robustness of Contrastive Speech Representation Learning with Speech Reconstruction [109.44933866397123]
  実環境における音声認識システムの実現には,雑音の堅牢性が不可欠である。 雑音認識のための自己教師型フレームワークにより学習したノイズロスト表現を用いる。 ラベル付きデータのわずか16%で報告された最高の教師付きアプローチに匹敵するパフォーマンスを実現した。
  論文  参考訳（メタデータ） (2021-10-28T20:39:02Z)
• Understanding Model Robustness to User-generated Noisy Texts [2.958690090551675]
  NLPでは、スペルエラーなどの自然発生ノイズによってモデル性能が劣化することが多い。 本稿では,文法的誤り訂正コーパスから統計的に誤りをモデル化する。
  論文  参考訳（メタデータ） (2021-10-14T14:54:52Z)
• Adversarial Feature Learning and Unsupervised Clustering based Speech Synthesis for Found Data with Acoustic and Textual Noise [18.135965605011105]
  注意に基づくシーケンス・ツー・シーケンス(seq2seq)音声合成は、異常な性能を達成している。 このようなSeq2seqシステムをトレーニングするには、手書きによるスタジオ品質のコーパスが必要である。 本稿では,高品質で安定したSeq2seqに基づく音声合成システムの構築手法を提案する。
  論文  参考訳（メタデータ） (2020-04-28T15:32:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。