論文の概要: Parallel Corpus Filtering via Pre-trained Language Models

• arxiv url: http://arxiv.org/abs/2005.06166v1
• Date: Wed, 13 May 2020 06:06:23 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-03 10:06:11.065468
• Title: Parallel Corpus Filtering via Pre-trained Language Models
• Title（参考訳）: 事前学習言語モデルによる並列コーパスフィルタリング
• Authors: Boliang Zhang, Ajay Nagesh, and Kevin Knight
• Abstract要約: Webcrawled Dataは、機械翻訳モデルをトレーニングするための並列コーパスの優れたソースを提供する。 最近の研究によると、ニューラルマシン翻訳システムは従来の統計機械翻訳法よりもノイズに敏感である。 本稿では,事前学習言語モデルを用いて,Webcrawled corporaからノイズの多い文ペアを抽出する手法を提案する。
• 参考スコア（独自算出の注目度）: 14.689457985200141
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Web-crawled data provides a good source of parallel corpora for training machine translation models. It is automatically obtained, but extremely noisy, and recent work shows that neural machine translation systems are more sensitive to noise than traditional statistical machine translation methods. In this paper, we propose a novel approach to filter out noisy sentence pairs from web-crawled corpora via pre-trained language models. We measure sentence parallelism by leveraging the multilingual capability of BERT and use the Generative Pre-training (GPT) language model as a domain filter to balance data domains. We evaluate the proposed method on the WMT 2018 Parallel Corpus Filtering shared task, and on our own web-crawled Japanese-Chinese parallel corpus. Our method significantly outperforms baselines and achieves a new state-of-the-art. In an unsupervised setting, our method achieves comparable performance to the top-1 supervised method. We also evaluate on a web-crawled Japanese-Chinese parallel corpus that we make publicly available.
• Abstract（参考訳）: Webcrawled Dataは、機械翻訳モデルをトレーニングするための並列コーパスの優れたソースを提供する。 近年の研究では、ニューラルマシン翻訳システムは従来の統計機械翻訳法よりもノイズに敏感であることが示されている。 本稿では,Webcrawled corporaから,事前学習言語モデルを用いてノイズの多い文ペアを抽出する手法を提案する。 bertの多言語機能を活用して文並列性を測定し,データ領域のバランスをとるためのドメインフィルタとしてgpt(generative pre-training)言語モデルを用いた。 本稿では,提案手法をwmt 2018並列コーパスフィルタリング共有タスクと,webクローリングした日経並列コーパス上で評価する。 本手法は, ベースラインを著しく上回り, 新たな最先端を実現する。 教師なし設定では、トップ1教師付き手法に匹敵する性能を達成する。 また,公開可能な日本語-中国語並列コーパスについても評価した。

関連論文リスト

• Bilingual Corpus Mining and Multistage Fine-Tuning for Improving Machine Translation of Lecture Transcripts [50.00305136008848]
  本研究では,並列コーパスマイニングのためのフレームワークを提案し,Coursera の公開講義から並列コーパスを迅速かつ効果的にマイニングする方法を提案する。 日英両国の講義翻訳において,約5万行の並列コーパスを抽出し,開発・テストセットを作成した。 また,コーパスの収集とクリーニング,並列文のマイニング,マイニングデータのクリーニング,高品質な評価スプリットの作成に関するガイドラインも提案した。
  論文  参考訳（メタデータ） (2023-11-07T03:50:25Z)
• Summarize and Generate to Back-translate: Unsupervised Translation of Programming Languages [86.08359401867577]
  バックトランスレーションは、並列データがほとんど、あるいは全く利用できない場合のニューラルマシン翻訳の有効性で広く知られている。 コード要約と生成による逆翻訳を提案する。 提案手法は最先端の手法と競合することを示す。
  論文  参考訳（メタデータ） (2022-05-23T08:20:41Z)
• Non-Parametric Unsupervised Domain Adaptation for Neural Machine Translation [61.27321597981737]
  $k$NN-MTは、トレーニング済みニューラルネットワーク翻訳(NMT)モデルとドメイン固有のトークンレベルである$k$-nearest-neighbor検索を直接組み込むという有望な能力を示している。 対象言語におけるドメイン内単言語文を直接使用して,$k$-nearest-neighbor検索に有効なデータストアを構築する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-14T11:50:01Z)
• Cross-language Sentence Selection via Data Augmentation and Rationale Training [22.106577427237635]
  雑音のある並列文データに対するデータ拡張と負のサンプリング技術を用いて、言語間埋め込みに基づくクエリ関連モデルの学習を行う。 その結果、同じ並列データでトレーニングされた複数の最先端機械翻訳+モノリンガル検索システムよりも、このアプローチが優れているか、あるいは優れていることが示された。
  論文  参考訳（メタデータ） (2021-06-04T07:08:47Z)
• Meta Back-translation [111.87397401837286]
  プリトレーニングされたバック翻訳モデルから擬似並列データを生成する新しい手法を提案する。 本手法は,生成する擬似並列データに対して,検証セット上で良好な処理を行うためのフォワードトランスレーションモデルを訓練するように,事前訓練されたバックトランスレーションモデルを適用するメタラーニングアルゴリズムである。
  論文  参考訳（メタデータ） (2021-02-15T20:58:32Z)
• Word Alignment by Fine-tuning Embeddings on Parallel Corpora [96.28608163701055]
  並列コーパス上の単語アライメントには、翻訳語彙の学習、言語処理ツールの言語間変換、翻訳出力の自動評価や解析など、幅広い応用がある。 近年,複数言語で訓練された言語モデル(LM)から抽出した事前学習された単語埋め込みが,並列データに対する明示的な訓練がなくても,単語アライメントタスクにおける競合的な結果が得られることを示す研究も行われている。 本稿では,事前学習したLMの活用と,アライメント品質の向上を目的とした並列テキストによる微調整,提案という2つのアプローチの結婚方法を検討する。
  論文  参考訳（メタデータ） (2021-01-20T17:54:47Z)
• Unsupervised Parallel Corpus Mining on Web Data [53.74427402568838]
  並列コーパスを教師なしでインターネットからマイニングするためのパイプラインを提示する。 我々のシステムは、監督されたアプローチと比較しても、39.81と38.95のBLEUスコアを新たに生成する。
  論文  参考訳（メタデータ） (2020-09-18T02:38:01Z)
• Capturing document context inside sentence-level neural machine translation models with self-training [5.129814362802968]
  文書レベルのニューラルマシン翻訳は、文レベルの翻訳よりもあまり注目されず、遅れを取っている。 本稿では,並列文書レベルのコーパス上で,特殊なモデルを訓練する必要のない手法を提案する。 我々のアプローチは、モデルによる選択を強化するため、文書内の他の文で同じ選択がされる可能性が高くなる。
  論文  参考訳（メタデータ） (2020-03-11T12:36:17Z)
• Coursera Corpus Mining and Multistage Fine-Tuning for Improving Lectures Translation [37.04364877980479]
  本稿では,Coursera の公開講義から並列コーパスをマイニングする方法を紹介する。 提案手法は,連続空間の文表現よりも機械翻訳とコサイン類似性に頼って,文のアライメントを決定する。 日本語-英語の講義翻訳では,約4万行の並列データを抽出し,開発・テストセットを作成した。
  論文  参考訳（メタデータ） (2019-12-26T01:12:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。