論文の概要: How to Learn in a Noisy World? Self-Correcting the Real-World Data Noise on Machine Translation

• arxiv url: http://arxiv.org/abs/2407.02208v1
• Date: Tue, 2 Jul 2024 12:15:15 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-03 15:35:30.789449
• Title: How to Learn in a Noisy World? Self-Correcting the Real-World Data Noise on Machine Translation
• Title（参考訳）: 騒々しい世界で学習する方法 : 機械翻訳における実世界のデータノイズの自己補正
• Authors: Yan Meng, Di Wu, Christof Monz,
• Abstract要約: 実世界のハード・トゥ・デテクト・ミスアライメントノイズが機械翻訳に与える影響について検討する。 トークンレベルでの不整合とクリーンなデータを区別するために,モデルの自己認識の信頼性が高まるのを観察することにより,自己補正手法を提案する。 提案手法は,8つの翻訳タスクにまたがる実世界のノイズの多いWebマイニングデータセットに対して有効であることを示す。
• 参考スコア（独自算出の注目度）: 10.739338438716965
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The massive amounts of web-mined parallel data contain large amounts of noise. Semantic misalignment, as the primary source of the noise, poses a challenge for training machine translation systems. In this paper, we first study the impact of real-world hard-to-detect misalignment noise by proposing a process to simulate the realistic misalignment controlled by semantic similarity. After quantitatively analyzing the impact of simulated misalignment on machine translation, we show the limited effectiveness of widely used pre-filters to improve the translation performance, underscoring the necessity of more fine-grained ways to handle data noise. By observing the increasing reliability of the model's self-knowledge for distinguishing misaligned and clean data at the token-level, we propose a self-correction approach which leverages the model's prediction distribution to revise the training supervision from the ground-truth data over training time. Through comprehensive experiments, we show that our self-correction method not only improves translation performance in the presence of simulated misalignment noise but also proves effective for real-world noisy web-mined datasets across eight translation tasks.
• Abstract（参考訳）: 大量のウェブマイニングされた並列データには大量のノイズが含まれている。 ノイズの主な原因であるセマンティックなミスアライメントは、機械翻訳システムの訓練に挑戦する。 本稿では,意味的類似性によって制御される現実的不一致をシミュレートする手法を提案することによって,実世界の難聴者に対する誤認識音の影響を初めて研究する。 機械翻訳におけるシミュレートされたミスアライメントの影響を定量的に分析した結果,データノイズに対するよりきめ細かな処理方法の必要性が強調され,翻訳性能を向上させるために広く用いられているプレフィルタの有効性が限定的に示された。 トークンレベルでの不一致やクリーンなデータを識別するために,モデルの自己認識の信頼性が高まるのを観察することにより,モデルの予測分布を利用した自己補正手法を提案する。 総合的な実験を通して、我々の自己補正手法は、擬似誤認識ノイズの存在下での翻訳性能を向上させるだけでなく、8つの翻訳タスクにわたる実世界のノイズの多いウェブマイニングデータセットにも有効であることを示す。

関連論文リスト

• Learning with Noisy Foundation Models [95.50968225050012]
  本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。 雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2024-03-11T16:22:41Z)
• Understanding and Mitigating the Label Noise in Pre-training on Downstream Tasks [91.15120211190519]
  本稿では、事前学習データセットにおけるノイズの性質を理解し、下流タスクへの影響を軽減することを目的とする。 雑音の悪影響を軽減するために特徴空間に適応する軽量ブラックボックスチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2023-09-29T06:18:15Z)
• Unsupervised Noise adaptation using Data Simulation [21.866522173387715]
  本稿では,逆クリーン・ノイズ変換を効率よく学習するための生成逆ネットワークに基づく手法を提案する。 実験結果から,本手法はトレーニングセットとテストセット間のドメインミスマッチを効果的に軽減することが示された。
  論文  参考訳（メタデータ） (2023-02-23T12:57:20Z)
• On the Language Coverage Bias for Neural Machine Translation [81.81456880770762]
  言語カバレッジバイアスは、ニューラルネットワーク翻訳(NMT)において重要である。 実験を慎重に設計することにより、トレーニングデータにおける言語カバレッジバイアスの包括的分析を行う。 本稿では,言語カバレッジバイアス問題を軽減するための,シンプルで効果的な2つのアプローチを提案する。
  論文  参考訳（メタデータ） (2021-06-07T01:55:34Z)
• Bridging the Gap Between Clean Data Training and Real-World Inference for Spoken Language Understanding [76.89426311082927]
  既存のモデルはクリーンデータに基づいてトレーニングされ、クリーンデータトレーニングと現実世界の推論の間にtextitgapが発生する。 本稿では,良質なサンプルと低品質のサンプルの両方が類似ベクトル空間に埋め込まれた領域適応法を提案する。 広く使用されているデータセット、スニップス、および大規模な社内データセット(1000万のトレーニング例)に関する実験では、この方法は実世界の(騒々しい)コーパスのベースラインモデルを上回るだけでなく、堅牢性、すなわち、騒々しい環境下で高品質の結果を生み出すことを実証しています。
  論文  参考訳（メタデータ） (2021-04-13T17:54:33Z)
• A Self-Refinement Strategy for Noise Reduction in Grammatical Error Correction [54.569707226277735]
  既存の文法的誤り訂正(GEC)のアプローチは、手動で作成したGECデータセットによる教師あり学習に依存している。 誤りが不適切に編集されたり、修正されなかったりする「ノイズ」は無視できないほどある。 本稿では,既存のモデルの予測整合性を利用して,これらのデータセットをデノマイズする自己補充手法を提案する。
  論文  参考訳（メタデータ） (2020-10-07T04:45:09Z)
• Robust Neural Machine Translation: Modeling Orthographic and Interpunctual Variation [3.3194866396158]
  そこで本研究では,10種類の逆例を生成するための簡易な生成ノイズモデルを提案する。 ノイズの多いデータでテストすると、敵の例を使って訓練されたシステムは、クリーンなデータを翻訳するのと同様に、ほぼ同等に機能することを示す。
  論文  参考訳（メタデータ） (2020-09-11T14:12:54Z)
• Robust Unsupervised Neural Machine Translation with Adversarial Denoising Training [66.39561682517741]
  unsupervised neural machine translation (UNMT) は機械翻訳コミュニティに大きな関心を集めている。 UNMTの主な利点は、必要な大規模な訓練用テキストの簡単な収集にある。 本稿では,UNMT ベースのシステムのロバスト性を改善するため,まずノイズを考慮に入れた。
  論文  参考訳（メタデータ） (2020-02-28T05:17:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。