論文の概要: Multilingual Non-Autoregressive Machine Translation without Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2502.04537v1
• Date: Thu, 06 Feb 2025 22:16:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-10 14:57:00.869339
• Title: Multilingual Non-Autoregressive Machine Translation without Knowledge Distillation
• Title（参考訳）: 知識蒸留を伴わない多言語非自己回帰機械翻訳
• Authors: Chenyang Huang, Fei Huang, Zaixiang Zheng, Osmar R. Zaïane, Hao Zhou, Lili Mou,
• Abstract要約: 本稿では,非自己回帰型多言語機械翻訳へのアプローチを提案する。 我々のシステムは近年の非巡回変圧器の進歩を活用している。 また、未知の翻訳方向への一般化を改善するために、ピボットバックトランスレーション手法を提案する。
• 参考スコア（独自算出の注目度）: 55.525158411296474
• License:
• Abstract: Multilingual neural machine translation (MNMT) aims at using one single model for multiple translation directions. Recent work applies non-autoregressive Transformers to improve the efficiency of MNMT, but requires expensive knowledge distillation (KD) processes. To this end, we propose an M-DAT approach to non-autoregressive multilingual machine translation. Our system leverages the recent advance of the directed acyclic Transformer (DAT), which does not require KD. We further propose a pivot back-translation (PivotBT) approach to improve the generalization to unseen translation directions. Experiments show that our M-DAT achieves state-of-the-art performance in non-autoregressive MNMT.
• Abstract（参考訳）: MNMT(Multilingual Neural Machine Translation)は、複数の翻訳方向に対して単一のモデルを使用することを目的としている。 最近の研究は、MNMTの効率を改善するために非自己回帰変換器を適用しているが、高価な知識蒸留(KD)プロセスが必要である。 そこで本研究では,非自己回帰型多言語機械翻訳におけるM-DAT手法を提案する。 我々のシステムは、KDを必要としない有向非巡回変圧器(DAT)の最近の進歩を活用している。 さらに、未知の翻訳方向への一般化を改善するために、PivotBT(Philip back-translation)アプローチを提案する。 実験の結果,M-DATは非自己回帰的MNMTにおいて最先端の性能を発揮することがわかった。

関連論文リスト

• PMMT: Preference Alignment in Multilingual Machine Translation via LLM Distillation [4.667901787486126]
  特定の翻訳嗜好を持つ大規模多言語並列コーパスを生成するための新しい手法を提案する。 実験の結果,提案手法は人間の嗜好に一致した翻訳タスクにおいて,大きなマージンでリードしていることが明らかとなった。
  論文  参考訳（メタデータ） (2024-10-15T08:54:27Z)
• Towards Zero-Shot Multimodal Machine Translation [64.9141931372384]
  本稿では,マルチモーダル機械翻訳システムの学習において,完全教師付きデータの必要性を回避する手法を提案する。 我々の手法はZeroMMTと呼ばれ、2つの目的の混合で学習することで、強いテキストのみの機械翻訳(MT)モデルを適応させることである。 本手法が完全に教師付きトレーニングデータを持たない言語に一般化されることを証明するため,CoMMuTE評価データセットをアラビア語,ロシア語,中国語の3言語に拡張した。
  論文  参考訳（メタデータ） (2024-07-18T15:20:31Z)
• Rethinking Human-like Translation Strategy: Integrating Drift-Diffusion Model with Large Language Models for Machine Translation [15.333148705267012]
  本稿では,人間翻訳者の動的意思決定を制約リソース下でエミュレートするために,Drift-Diffusion Modelを用いたThinkerを提案する。 WMT22とCommonMTのデータセットを用いて、高リソース、低リソース、コモンセンスの翻訳設定で実験を行う。 また,提案手法の有効性と有効性を示すために,コモンセンス翻訳のさらなる分析と評価を行う。
  論文  参考訳（メタデータ） (2024-02-16T14:00:56Z)
• Decouple Non-parametric Knowledge Distillation For End-to-end Speech Translation [5.973321003365441]
  データの観点から非パラメトリックな知識蒸留(DNKD)を提案する。 本手法は, 知識蒸留のパラダイムに従っているが, 高度MTモデルから教師分布を得る代わりに, 非ナーレスデータストアから構築する。 MuST-Cコーパスの実験により,本手法は転写を必要とせず,強いベースラインに対して一貫した改善を達成できることが示されている。
  論文  参考訳（メタデータ） (2023-04-20T13:20:03Z)
• On the Pareto Front of Multilingual Neural Machine Translation [123.94355117635293]
  我々は、ニューラルネットワーク翻訳(MNMT)におけるサンプリング比によって、与えられた方向の性能がどう変化するかを検討する。 我々は,MNMTにおけるユニークなパフォーマンストレードオフフロントを予測するために,ダブルパワー法を提案する。 本実験では, トレーニング予算の1/5から1/2に過ぎず, 温度探索法や勾配操作法よりも優れた性能が得られた。
  論文  参考訳（メタデータ） (2023-04-06T16:49:19Z)
• Non-Parametric Online Learning from Human Feedback for Neural Machine Translation [54.96594148572804]
  本稿では,人間のフィードバックによるオンライン学習の課題について検討する。 従来手法では、高品質な性能を達成するために、オンラインモデル更新や翻訳メモリネットワークの追加が必要であった。 モデル構造を変更することなく、新しい非パラメトリックオンライン学習手法を提案する。
  論文  参考訳（メタデータ） (2021-09-23T04:26:15Z)
• Improving Multilingual Translation by Representation and Gradient Regularization [82.42760103045083]
  表現レベルと勾配レベルの両方でNMTモデルを正規化するための共同手法を提案する。 提案手法は,オフターゲット翻訳の発生率の低減とゼロショット翻訳性能の向上に有効であることを示す。
  論文  参考訳（メタデータ） (2021-09-10T10:52:21Z)
• Source and Target Bidirectional Knowledge Distillation for End-to-end Speech Translation [88.78138830698173]
  外部テキストベースNMTモデルからのシーケンスレベルの知識蒸留(SeqKD)に注目した。 E2E-STモデルを訓練し、パラフレーズ転写を1つのデコーダで補助タスクとして予測する。
  論文  参考訳（メタデータ） (2021-04-13T19:00:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。