論文の概要: Selective Knowledge Distillation for Non-Autoregressive Neural Machine Translation

• arxiv url: http://arxiv.org/abs/2303.17910v1
• Date: Fri, 31 Mar 2023 09:16:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-03 14:42:25.931524
• Title: Selective Knowledge Distillation for Non-Autoregressive Neural Machine Translation
• Title（参考訳）: 非自己回帰型ニューラルマシン翻訳のための選択的知識蒸留
• Authors: Min Liu, Yu Bao, Chengqi Zhao, Shujian Huang
• Abstract要約: 非自己回帰変換器(Non-Autoregressive Transformer、NAT)は、ニューラルマシン翻訳タスクにおいて大きな成功を収めている。 既存の知識蒸留は、教師からNAT学生への誤りの伝播などの副作用がある。 高品質で学習が容易なNATフレンドリーなターゲットの選択にNATを導入することで、選択的知識蒸留を導入する。
• 参考スコア（独自算出の注目度）: 34.22251326493591
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Benefiting from the sequence-level knowledge distillation, the Non-Autoregressive Transformer (NAT) achieves great success in neural machine translation tasks. However, existing knowledge distillation has side effects, such as propagating errors from the teacher to NAT students, which may limit further improvements of NAT models and are rarely discussed in existing research. In this paper, we introduce selective knowledge distillation by introducing an NAT evaluator to select NAT-friendly targets that are of high quality and easy to learn. In addition, we introduce a simple yet effective progressive distillation method to boost NAT performance. Experiment results on multiple WMT language directions and several representative NAT models show that our approach can realize a flexible trade-off between the quality and complexity of training data for NAT models, achieving strong performances. Further analysis shows that distilling only 5% of the raw translations can help an NAT outperform its counterpart trained on raw data by about 2.4 BLEU.
• Abstract（参考訳）: 非自己回帰変換器(Non-Autoregressive Transformer、NAT)は、シーケンスレベルの知識蒸留から恩恵を受け、ニューラルマシン翻訳タスクにおいて大きな成功を収める。 しかし、既存の知識蒸留は、教師からNAT学生への誤りの伝播などの副作用があり、NATモデルのさらなる改善を制限し、既存の研究ではほとんど議論されない。 本稿では,高品質で学習が容易なNATフレンドリなターゲットを選択するためのNAT評価器を導入することにより,選択的知識蒸留を導入する。 さらに, NAT性能を高めるため, 単純かつ効果的に蒸留法を導入する。 複数のWMT言語方向といくつかの代表的NATモデルに対する実験結果から,NATモデルのトレーニングデータの質と複雑さのトレードオフを柔軟に実現し,高い性能が得られることが示された。 さらに分析すると、生の翻訳の5%しか蒸留できないため、約2.4 bleuで生のデータで訓練されたnatを上回ることができる。

関連論文リスト

• Revisiting Non-Autoregressive Translation at Scale [76.93869248715664]
  スケーリングが非自己回帰翻訳(NAT)行動に与える影響を系統的に研究する。 我々は、NATモデルの一般的な弱さを緩和し、結果として翻訳性能が向上することを示した。 我々は、スケールされたデータセット上でスケールされたNATモデルを検証することで、新しいベンチマークを確立する。
  論文  参考訳（メタデータ） (2023-05-25T15:22:47Z)
• RenewNAT: Renewing Potential Translation for Non-Autoregressive Transformer [15.616188012177538]
  非自己回帰型ニューラルネットワーク翻訳(NAT)モデルは、比較的高い性能を維持しつつ、推論プロセスを加速するために提案される。 既存のNATモデルは、望ましい効率品質のトレードオフを達成するのは難しい。 高い効率と効率性を持つフレキシブルなフレームワークであるRenewNATを提案する。
  論文  参考訳（メタデータ） (2023-03-14T07:10:03Z)
• Rephrasing the Reference for Non-Autoregressive Machine Translation [37.816198073720614]
  非自己回帰型ニューラルマシン翻訳(NAT)モデルは、ソース文の複数の可能な翻訳が存在する可能性があるというマルチモーダリティの問題に悩まされる。 我々は、NAT出力に従って参照文をリフレッシュすることで、NATのためのより良いトレーニングターゲットを提供するためのリフレッサーを導入する。 我々の最良の変種は、推論の14.7倍の効率で、自動回帰変換器に匹敵する性能を実現しています。
  論文  参考訳（メタデータ） (2022-11-30T10:05:03Z)
• On the Learning of Non-Autoregressive Transformers [91.34196047466904]
  非自己回帰変換器(Non-autoregressive Transformer、NAT)は、テキスト生成モデルのファミリーである。 NAT学習の課題を明らかにするため,理論的および経験的分析を行った。
  論文  参考訳（メタデータ） (2022-06-13T08:42:09Z)
• Sequence-Level Training for Non-Autoregressive Neural Machine Translation [33.17341980163439]
  非自己回帰ニューラルネットワーク変換(NAT)は自己回帰機構を取り除き、大幅なデコード高速化を実現する。 本研究では,NATの出力を全体として評価し,実際の翻訳品質とよく相関するNATモデルをトレーニングするためのシーケンスレベルのトレーニング目標を提案する。
  論文  参考訳（メタデータ） (2021-06-15T13:30:09Z)
• Progressive Multi-Granularity Training for Non-Autoregressive Translation [98.11249019844281]
  非自己回帰翻訳(NAT)は、ターゲットシーケンス全体を予測することで推論プロセスを著しく加速する。 近年の研究では、NATは1対多翻訳のような高度な知識の学習に弱いことが示されている。 モードは様々な粒度に分けることができ、そこから容易に学習できると我々は主張する。
  論文  参考訳（メタデータ） (2021-06-10T07:16:07Z)
• Fully Non-autoregressive Neural Machine Translation: Tricks of the Trade [47.97977478431973]
  NAT(Fullly non-autoregressive neural Machine Translation)は、ニューラルネットワークのシングルフォワードでトークンを同時に予測する手法である。 この作業では、レイテンシのアドバンテージを維持しながら、パフォーマンスのギャップを縮めることを目標としています。
  論文  参考訳（メタデータ） (2020-12-31T18:52:59Z)
• Understanding and Improving Lexical Choice in Non-Autoregressive Translation [98.11249019844281]
  低周波ワードの有用な情報を復元するために、生データをNATモデルに公開することを提案する。 提案手法は,WMT14英語-ドイツ語とWMT16ルーマニア英語-英語データセットのSOTA NAT性能を27.8BLEU点,33.8BLEU点まで向上させる。
  論文  参考訳（メタデータ） (2020-12-29T03:18:50Z)
• Multi-Task Learning with Shared Encoder for Non-Autoregressive Machine Translation [32.77372312124259]
  非自己回帰機械翻訳(NAT)モデルでは推論速度が著しく向上しているが、翻訳精度は劣っている。 本稿では,自動回帰機械翻訳の知識をエンコーダの共有を通じてNATモデルに伝達するマルチタスク学習を提案する。 WMT14英語-ドイツ語とWMT16英語-ルーマニアのデータセットの実験結果は、提案されたマルチタスクNATがベースラインNATモデルよりも大幅に改善されていることを示している。
  論文  参考訳（メタデータ） (2020-10-24T11:00:58Z)
• Task-Level Curriculum Learning for Non-Autoregressive Neural Machine Translation [188.3605563567253]
  非自己回帰翻訳(NAT)は高速な推論速度を実現するが、自己回帰翻訳(AT)と比較して精度が悪くなる 本稿では、中間タスクとして半自己回帰翻訳(SAT)を導入し、ATとNATを特殊なケースとして扱う。 我々は、k を 1 から N に段階的にシフトさせるカリキュラムスケジュールを設計する。 IWSLT14 De-En, IWSLT16 En-De, WMT14 En-De, De-Enデータセットの実験により、TCL-NATは以前のNATベースラインよりも大幅に精度が向上したことが示された。
  論文  参考訳（メタデータ） (2020-07-17T06:06:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。