Fugu-MT 論文翻訳(概要): Meta-Learning for Few-Shot NMT Adaptation

論文の概要: Meta-Learning for Few-Shot NMT Adaptation

arxiv url: http://arxiv.org/abs/2004.02745v1
Date: Mon, 6 Apr 2020 15:38:55 GMT
ステータス: 処理完了
システム内更新日: 2022-12-16 06:46:58.075440
Title: Meta-Learning for Few-Shot NMT Adaptation
Title（参考訳）: 短距離NMT適応のためのメタラーニング
Authors: Amr Sharaf, Hany Hassan, Hal Daum\'e III
Abstract要約: 本稿では,メタラーニング手法であるMETA-MTを提案する。我々は、NMTシステムの適応をメタ学習問題とみなし、シミュレーションされたオフラインメタ学習ドメイン適応タスクに基づいて、新しい未知のドメインに適応することを学ぶ。
参考スコア（独自算出の注目度）: 10.88132655013573
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We present META-MT, a meta-learning approach to adapt Neural Machine Translation (NMT) systems in a few-shot setting. META-MT provides a new approach to make NMT models easily adaptable to many target domains with the minimal amount of in-domain data. We frame the adaptation of NMT systems as a meta-learning problem, where we learn to adapt to new unseen domains based on simulated offline meta-training domain adaptation tasks. We evaluate the proposed meta-learning strategy on ten domains with general large scale NMT systems. We show that META-MT significantly outperforms classical domain adaptation when very few in-domain examples are available. Our experiments shows that META-MT can outperform classical fine-tuning by up to 2.5 BLEU points after seeing only 4, 000 translated words (300 parallel sentences).
Abstract（参考訳）: 本稿では,ニューラルマシン翻訳(nmt)システムを短時間で適応させるためのメタラーニング手法であるmeta-mtを提案する。 META-MTは、NMTモデルを最小限のドメインデータで多くのターゲットドメインに適応させる新しいアプローチを提供する。我々は、NMTシステムの適応をメタ学習問題とみなし、シミュレーションされたオフラインメタ学習ドメイン適応タスクに基づいて、新しい未知のドメインに適応することを学ぶ。大規模NMTシステムを用いた10領域におけるメタ学習戦略の評価を行った。我々は,META-MTが,ドメイン内例が少ない場合に,従来のドメイン適応を著しく上回ることを示す。実験の結果, META-MT は4, 000 の翻訳語 (300 パラレル文) で, 2.5 BLEU 点以上の古典的微調整を達成できた。

関連論文リスト

Investigating the potential of Sparse Mixtures-of-Experts for multi-domain neural machine translation [59.41178047749177]
トレーニング中に見られるさまざまなドメインのデータを扱うことができ、トレーニング中に見つからないドメインに対して堅牢な効率的なモデルを開発することを目的として、マルチドメインニューラルネットワーク翻訳に重点を置いている。 SMOE(Sparse Mixture-of-Experts)モデルは、効率的なモデルスケーリングを可能にするため、このタスクに適していると仮定する。マルチドメインシナリオにおけるSMoEの有用性を検証するための一連の実験を行い、Transformerの簡単な幅スケーリングは、実際はよりシンプルで驚くほど効率的なアプローチであり、SMoEと同等の性能レベルに達することを発見した。
論文参考訳（メタデータ） (2024-07-01T09:45:22Z)
Meta-Tsallis-Entropy Minimization: A New Self-Training Approach for Domain Adaptation on Text Classification [16.672080152999758]
本稿ではメタ・タリス・エントロピー最小化(MTEM)を提案する。これはメタ学習アルゴリズムを適用し、ターゲット領域上でのインスタンス適応型Tsallis Entropyを最適化する。 MTEMはBERTの適応性能をベンチマークデータセット上で平均4%改善する。
論文参考訳（メタデータ） (2023-08-04T23:50:58Z)
$m^4Adapter$: Multilingual Multi-Domain Adaptation for Machine Translation with a Meta-Adapter [128.69723410769586]
多言語ニューラルネットワーク翻訳モデル(MNMT)は、ドメインと言語ペアのデータに基づいて評価すると、最先端の性能が得られる。ドメインシフトや新しい言語ペアへの変換にMNMTモデルを使用すると、パフォーマンスが劇的に低下する。我々はメタラーニングとアダプタを用いたドメイン知識と言語知識を組み合わせた$m4Adapter$を提案する。
論文参考訳（メタデータ） (2022-10-21T12:25:05Z)
Non-Parametric Unsupervised Domain Adaptation for Neural Machine Translation [61.27321597981737]
$k$NN-MTは、トレーニング済みニューラルネットワーク翻訳(NMT)モデルとドメイン固有のトークンレベルである$k$-nearest-neighbor検索を直接組み込むという有望な能力を示している。対象言語におけるドメイン内単言語文を直接使用して,$k$-nearest-neighbor検索に有効なデータストアを構築する新しいフレームワークを提案する。
論文参考訳（メタデータ） (2021-09-14T11:50:01Z)
Domain Adaptation and Multi-Domain Adaptation for Neural Machine Translation: A Survey [9.645196221785694]
ニューラルマシン翻訳(nmt)モデルのドメイン適応に対するロバストなアプローチに注目した。特に、システムが複数のドメインから文を翻訳する必要がある場合を検討します。我々はNMT研究の他の分野に対するドメイン適応とマルチドメイン適応技術の利点を強調した。
論文参考訳（メタデータ） (2021-04-14T16:21:37Z)
Meta-Curriculum Learning for Domain Adaptation in Neural Machine Translation [19.973201669851626]
ニューラルマシン翻訳(NMT)における領域適応のための新しいメタカリキュラム学習の提案メタトレーニング中、NMTはまず各ドメインから同様のカリキュラムを学習し、早期に悪い局所的最適値に陥ることを避ける。メタキュラクルム学習は,慣れ親しんだドメインと未知のドメインの両方の翻訳性能を向上させることができる。
論文参考訳（メタデータ） (2021-03-03T08:58:39Z)
Domain Adaptation in Dialogue Systems using Transfer and Meta-Learning [12.64591916699374]
現在の生成ベースの対話システムは、少量のターゲットデータしか利用できない場合、新しい未知のドメインに適応できない。トランスファーとメタラーニングを組み合わせることにより,未知の領域に適応する手法を提案する。
論文参考訳（メタデータ） (2021-02-22T16:16:57Z)
Machine Translation Customization via Automatic Training Data Selection from the Web [97.98885151955467]
特定のドメインで機械翻訳システムをカスタマイズするためのアプローチについて説明します。ターゲットとなる顧客データに似たデータを選択し、ニューラル翻訳モデルを訓練する。最後に、自動選択したデータに基づいてMTモデルをトレーニングし、対象領域に特化したシステムを得る。
論文参考訳（メタデータ） (2021-02-20T03:29:41Z)
A Transductive Multi-Head Model for Cross-Domain Few-Shot Learning [72.30054522048553]
本稿では,クロスドメインなFew-Shot学習問題に対処するため,TMHFS(Transductive Multi-Head Few-Shot Learning)を提案する。提案手法は, 4つの異なる対象領域において, 強いベースライン, 微調整を著しく上回っている。
論文参考訳（メタデータ） (2020-06-08T02:39:59Z)
A Simple Baseline to Semi-Supervised Domain Adaptation for Machine Translation [73.3550140511458]
State-of-the-art Neural Machine Translation (NMT)システムは、データハングリーであり、教師付きデータを持たない新しいドメインではパフォーマンスが良くない。 NMTの半教師付きドメイン適応シナリオに対する単純だが効果のあるアプローチを提案する。このアプローチは、言語モデリング、バックトランスレーション、教師付き翻訳の3つのトレーニング目標を通じて、TransformerベースのNMTモデルを反復的にトレーニングする。
論文参考訳（メタデータ） (2020-01-22T16:42:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。