論文の概要: Joint Dropout: Improving Generalizability in Low-Resource Neural Machine Translation through Phrase Pair Variables

• arxiv url: http://arxiv.org/abs/2307.12835v1
• Date: Mon, 24 Jul 2023 14:33:49 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-25 14:03:19.412865
• Title: Joint Dropout: Improving Generalizability in Low-Resource Neural Machine Translation through Phrase Pair Variables
• Title（参考訳）: 統合ドロップアウト:句対変数による低リソースニューラルマシン翻訳の汎用性向上
• Authors: Ali Araabi, Vlad Niculae, Christof Monz
• Abstract要約: 本稿では,低リソースのニューラルマシン翻訳において,句を変数に置き換えることによる課題に対処する,ジョイントドロップアウト(Joint Dropout)という手法を提案する。 BLEU と Direct Assessment のスコアに示すように,最小限のリソースを持つ言語対の翻訳品質は大幅に向上した。
• 参考スコア（独自算出の注目度）: 17.300004156754966
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Despite the tremendous success of Neural Machine Translation (NMT), its performance on low-resource language pairs still remains subpar, partly due to the limited ability to handle previously unseen inputs, i.e., generalization. In this paper, we propose a method called Joint Dropout, that addresses the challenge of low-resource neural machine translation by substituting phrases with variables, resulting in significant enhancement of compositionality, which is a key aspect of generalization. We observe a substantial improvement in translation quality for language pairs with minimal resources, as seen in BLEU and Direct Assessment scores. Furthermore, we conduct an error analysis, and find Joint Dropout to also enhance generalizability of low-resource NMT in terms of robustness and adaptability across different domains
• Abstract（参考訳）: NMT(Neural Machine Translation)は大きな成功を収めたものの、低リソースの言語ペアの性能は依然として低いままであり、これは以前は目に見えなかったインプット、すなわち一般化を扱う能力に制限があるためである。 本稿では,変数付き句の置換による低リソースニューラルマシン翻訳の課題に対処し,一般化の重要な要素である合成性が著しく向上する手法を提案する。 BLEU と Direct Assessment のスコアに示すように,最小限のリソースを持つ言語対の翻訳品質は大幅に向上した。 さらに、エラー解析を行い、異なる領域にわたる堅牢性と適応性の観点から、低リソースNMTの一般化性を高めるジョイントドロップアウトを求める。

関連論文リスト

• Pointer-Generator Networks for Low-Resource Machine Translation: Don't Copy That! [13.120825574589437]
  本研究では,Transformer-based neural machine translation (NMT) が高リソース環境において非常に有効であることを示す。 このモデルでは,近縁な言語対と遠縁な言語対に対する改善が示されていない。 この動作の理由に関する議論は、LR NMTのいくつかの一般的な課題を浮き彫りにしている。
  論文  参考訳（メタデータ） (2024-03-16T16:17:47Z)
• Relevance-guided Neural Machine Translation [5.691028372215281]
  ニューラルネットワーク翻訳(NMT)のための説明可能性に基づく学習手法を提案する。 その結果,低リソース環境下でのトレーニングにおいて,本手法が有望であることが示唆された。
  論文  参考訳（メタデータ） (2023-11-30T21:52:02Z)
• Semi-supervised Neural Machine Translation with Consistency Regularization for Low-Resource Languages [3.475371300689165]
  本稿では,高品質な文ペアを増補し,半教師付き方式でNMTモデルを訓練することにより,低リソース言語の問題に対処する,シンプルかつ効果的な手法を提案する。 具体的には、教師あり学習におけるクロスエントロピー損失と、疑似および拡張的対象文が与えられた教師なしのファッションにおけるKLディバージェンスを組み合わせる。 実験の結果,提案手法はNMTベースライン,特に0.46-2.03BLEUスコアを持つ低リソースデータセットにおいて,NMTベースラインを大幅に改善することが示された。
  論文  参考訳（メタデータ） (2023-04-02T15:24:08Z)
• Competency-Aware Neural Machine Translation: Can Machine Translation Know its Own Translation Quality? [61.866103154161884]
  ニューラルマシン翻訳(NMT)は、意識せずに起こる失敗に対してしばしば批判される。 本稿では,従来のNMTを自己推定器で拡張することで,新たな能力認識型NMTを提案する。 提案手法は品質評価において優れた性能を示すことを示す。
  論文  参考訳（メタデータ） (2022-11-25T02:39:41Z)
• Categorizing Semantic Representations for Neural Machine Translation [53.88794787958174]
  ソースの文脈化表現に分類を導入する。 主な考え方は、スパーシリティとオーバーフィッティングを減らして一般化を強化することである。 MTデータセットを用いた実験により,提案手法は構成一般化誤差率を24%削減することを示した。
  論文  参考訳（メタデータ） (2022-10-13T04:07:08Z)
• On the Complementarity between Pre-Training and Random-Initialization for Resource-Rich Machine Translation [80.16548523140025]
  テキスト表現の事前学習(PT)が低リソースニューラルネットワーク翻訳(NMT)に成功している 本稿では,それらの相補性と,PTとRIを協調させる最適輸送を用いたモデル融合アルゴリズムを提案する。 WMT'17 English- Chinese (20M) と WMT'19 English-German (36M) の2つのリソース豊富な翻訳ベンチマークの実験は、PT と RI が相互に相補的であることを示した。
  論文  参考訳（メタデータ） (2022-09-07T17:23:08Z)
• Learning to Generalize to More: Continuous Semantic Augmentation for Neural Machine Translation [50.54059385277964]
  CsaNMT(Continuous Semantic Augmentation)と呼ばれる新しいデータ拡張パラダイムを提案する。 CsaNMTは各トレーニングインスタンスを、同じ意味の下で適切なリテラル式をカバーできる隣接領域で拡張する。
  論文  参考訳（メタデータ） (2022-04-14T08:16:28Z)
• Phrase-level Adversarial Example Generation for Neural Machine Translation [75.01476479100569]
  本稿では,句レベルの逆例生成(PAEG)手法を提案し,モデルの堅牢性を高める。 我々は,LDC中英語,IWSLT14ドイツ語-英語,WMT14英語-ドイツ語タスクの3つのベンチマークで検証を行った。
  論文  参考訳（メタデータ） (2022-01-06T11:00:49Z)
• The Low-Resource Double Bind: An Empirical Study of Pruning for Low-Resource Machine Translation [8.2987165990395]
  ディープニューラルネットワークにおける多くのパラメータの爆発的増加は、最先端のネットワークを計算制限された環境でアクセスできるようにすることをますます困難にしている。 ローリソースダブルバインド(Low-resource double bind)とは、データ制限と計算リソースの制約の共起を指す。 我々の研究は、機械翻訳のタスクにおいて、データ制限されたレギュレーションにおけるキャパシティと一般化の関係に関する驚くべき洞察を提供する。
  論文  参考訳（メタデータ） (2021-10-06T19:48:18Z)
• Modelling Latent Translations for Cross-Lingual Transfer [47.61502999819699]
  従来のパイプラインの2つのステップ(翻訳と分類)を1つのモデルに統合する新しい手法を提案する。 我々は,多言語NLUタスクにおける新しい潜時翻訳モデルの評価を行った。 ゼロショットと数ショットの学習設定の両方で、平均2.7の精度ポイントのゲインを報告します。
  論文  参考訳（メタデータ） (2021-07-23T17:11:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。