論文の概要: Analyzing the Use of Character-Level Translation with Sparse and Noisy Datasets

• arxiv url: http://arxiv.org/abs/2109.13723v1
• Date: Mon, 27 Sep 2021 07:35:47 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-29 15:01:15.907017
• Title: Analyzing the Use of Character-Level Translation with Sparse and Noisy Datasets
• Title（参考訳）: スパースデータとノイズデータを用いた文字レベル翻訳の利用分析
• Authors: J\"org Tiedemann, Preslav Nakov
• Abstract要約: キャラクタレベルのモデルでは、スパースやノイズの多いデータセットに適用すると、翻訳されていない単語の数が40%以上削減されることがわかった。 文字アライメント,フレーズテーブルフィルタリング,bitextサイズ,およびピボット言語の選択が翻訳品質に与える影響について検討する。 ワードノーキャラクタ-BLEUは、BLEUの長さに対する感度のため、人間の判断と完全に相関しない。
• 参考スコア（独自算出の注目度）: 20.50917929755389
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper provides an analysis of character-level machine translation models used in pivot-based translation when applied to sparse and noisy datasets, such as crowdsourced movie subtitles. In our experiments, we find that such character-level models cut the number of untranslated words by over 40% and are especially competitive (improvements of 2-3 BLEU points) in the case of limited training data. We explore the impact of character alignment, phrase table filtering, bitext size and the choice of pivot language on translation quality. We further compare cascaded translation models to the use of synthetic training data via multiple pivots, and we find that the latter works significantly better. Finally, we demonstrate that neither word-nor character-BLEU correlate perfectly with human judgments, due to BLEU's sensitivity to length.
• Abstract（参考訳）: 本稿では,クラウドソース映画の字幕など,スパースやノイズの多いデータセットに適用する場合に,ピボットベースの翻訳に使用される文字レベル機械翻訳モデルの解析を行う。 実験では,このような文字レベルモデルによって翻訳されていない単語の数が40%以上削減され,限られたトレーニングデータの場合,特に競争性が高いことが判明した。 文字アライメント,フレーズテーブルフィルタリング,bitextサイズ,およびピボット言語の選択が翻訳品質に与える影響について検討する。 さらに、ケースケード翻訳モデルと、複数のピボットによる合成訓練データの使用を比較し、後者がかなりうまく機能していることを見出した。 最後に、BLEUの長に対する感受性のため、ワードノーキャラクタ-BLEUは人間の判断と完全に相関しないことを示した。

関連論文リスト

• Improving Language Models Trained on Translated Data with Continual Pre-Training and Dictionary Learning Analysis [3.16714407449467]
  学習言語モデルにおける翻訳と合成データの役割について検討する。 NLLB-3B MTモデルを用いて英語からアラビア語に翻訳した。 これらの問題を是正するために、我々は、合成された高品質のアラビア物語の小さなデータセットでモデルを事前訓練する。
  論文  参考訳（メタデータ） (2024-05-23T07:53:04Z)
• An Empirical Study on the Robustness of Massively Multilingual Neural Machine Translation [40.08063412966712]
  多言語多言語ニューラルマシン翻訳(MMNMT)は低リソース言語の翻訳品質を高めることが証明されている。 インドネシア・中国語翻訳のためのロバストネス評価ベンチマークデータセットを作成する。 このデータセットは、異なるサイズの4つのNLLB-200モデルを使用して、自動的に中国語に翻訳される。
  論文  参考訳（メタデータ） (2024-05-13T12:01:54Z)
• Advancing Translation Preference Modeling with RLHF: A Step Towards Cost-Effective Solution [57.42593422091653]
  人間のフィードバックによる強化学習の活用による翻訳品質の向上について検討する。 強力な言語能力を持つ報酬モデルは、翻訳品質の微妙な違いをより敏感に学習することができる。
  論文  参考訳（メタデータ） (2024-02-18T09:51:49Z)
• Character-level NMT and language similarity [1.90365714903665]
  チェコ語とクロアチア語、ドイツ語、ハンガリー語、スロバキア語、スペイン語の翻訳における言語類似度およびトレーニングデータセットのサイズに対する文字レベルのニューラルマシン翻訳の有効性について検討した。 MT自動測定値を用いてモデルの評価を行い、類似言語間の翻訳が文字レベルの入力セグメンテーションの恩恵を受けることを示す。 我々は、すでに訓練済みのサブワードレベルのモデルを文字レベルに微調整することで、ギャップを埋めることが可能である、という以前の知見を確認した。
  論文  参考訳（メタデータ） (2023-08-08T17:01:42Z)
• HanoiT: Enhancing Context-aware Translation via Selective Context [95.93730812799798]
  コンテキスト対応ニューラルネットワーク翻訳は、文書レベルのコンテキストを使用して翻訳品質を改善することを目的としている。 無関係または自明な単語は、いくつかのノイズをもたらし、モデルが現在の文と補助的な文脈の関係を学ぶのを邪魔する可能性がある。 そこで本稿では,階層的選択機構を備えたエンド・ツー・エンドのエンコーダ・デコーダモデルを提案する。
  論文  参考訳（メタデータ） (2023-01-17T12:07:13Z)
• Separating Grains from the Chaff: Using Data Filtering to Improve Multilingual Translation for Low-Resourced African Languages [0.6947064688250465]
  本稿では,文対分類器を用いて与えられた雑音データをフィルタリングする手法について述べる。 2つの共通のデータセットから評価することで、我々のアプローチを実証的に検証し、データフィルタリングが全体的な翻訳品質を改善することを示す。
  論文  参考訳（メタデータ） (2022-10-19T16:12:27Z)
• How Robust is Neural Machine Translation to Language Imbalance in Multilingual Tokenizer Training? [86.48323488619629]
  トークン化学習コーパスにおいて,言語間でのデータ比が変化するにつれて,翻訳性能がどう変化するかを分析する。 言語が均等にサンプリングされる場合、比較的優れたパフォーマンスが観察されることが多いが、下流のパフォーマンスは、通常予想していたよりも、言語の不均衡に対して堅牢である。
  論文  参考訳（メタデータ） (2022-04-29T17:50:36Z)
• ChrEnTranslate: Cherokee-English Machine Translation Demo with Quality Estimation and Corrective Feedback [70.5469946314539]
  ChrEnTranslateは、英語と絶滅危惧言語チェロキーとの翻訳のためのオンライン機械翻訳デモシステムである。 統計モデルとニューラルネットワークモデルの両方をサポートし、信頼性をユーザに通知するための品質評価を提供する。
  論文  参考訳（メタデータ） (2021-07-30T17:58:54Z)
• Comparison of Interactive Knowledge Base Spelling Correction Models for Low-Resource Languages [81.90356787324481]
  低リソース言語に対する正規化の推進は、パターンの予測が難しいため、難しい作業である。 この研究は、ターゲット言語データに様々な量を持つニューラルモデルとキャラクタ言語モデルの比較を示す。 我々の利用シナリオは、ほぼゼロのトレーニング例によるインタラクティブな修正であり、より多くのデータが収集されるにつれてモデルを改善する。
  論文  参考訳（メタデータ） (2020-10-20T17:31:07Z)
• How to Probe Sentence Embeddings in Low-Resource Languages: On Structural Design Choices for Probing Task Evaluation [82.96358326053115]
  構造設計選択に対する探索作業結果の感度について検討する。 我々は、英語で識別する「安定な領域」にある設計選択を多言語で構成した埋め込みを探索する。 私たちは英語の結果が他の言語に移行しないことに気付きます。
  論文  参考訳（メタデータ） (2020-06-16T12:37:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。