Fugu-MT 論文翻訳(概要): Leveraging Auxiliary Domain Parallel Data in Intermediate Task Fine-tuning for Low-resource Translation

論文の概要: Leveraging Auxiliary Domain Parallel Data in Intermediate Task Fine-tuning for Low-resource Translation

arxiv url: http://arxiv.org/abs/2306.01382v2
Date: Sun, 24 Sep 2023 01:33:13 GMT
ステータス: 処理完了
システム内更新日: 2023-09-27 02:20:24.069621
Title: Leveraging Auxiliary Domain Parallel Data in Intermediate Task Fine-tuning for Low-resource Translation
Title（参考訳）: 低リソース翻訳のための中間タスク微調整における補助領域並列データの利用
Authors: Shravan Nayak, Surangika Ranathunga, Sarubi Thillainathan, Rikki Hung, Anthony Rinaldi, Yining Wang, Jonah Mackey, Andrew Ho, En-Shiun Annie Lee
Abstract要約: PMSSモデルの中間タスク微調整(ITFT)はドメイン固有のNMTにとって極めて有益である。ドメイン分割テストを用いて、ドメイン固有の結果の変動を定量化し、ITFTがドメイン分散の影響をある程度軽減できることを示す。
参考スコア（独自算出の注目度）: 6.583246002638354
License: http://creativecommons.org/licenses/by/4.0/
Abstract: NMT systems trained on Pre-trained Multilingual Sequence-Sequence (PMSS) models flounder when sufficient amounts of parallel data is not available for fine-tuning. This specifically holds for languages missing/under-represented in these models. The problem gets aggravated when the data comes from different domains. In this paper, we show that intermediate-task fine-tuning (ITFT) of PMSS models is extremely beneficial for domain-specific NMT, especially when target domain data is limited/unavailable and the considered languages are missing or under-represented in the PMSS model. We quantify the domain-specific results variations using a domain-divergence test, and show that ITFT can mitigate the impact of domain divergence to some extent.
Abstract（参考訳）: 事前訓練されたマルチリンガルシーケンスシーケンス(PMSS)モデルに基づいて訓練されたNMTシステムは、微調整に十分な量の並列データが利用できない場合に浮かび上がる。これは特に、これらのモデルに欠落/欠落している言語に当てはまる。データは異なるドメインから来ると、問題は悪化する。本稿では,PMSSモデルの中間タスク微調整(ITFT)がドメイン固有NMTにとって極めて有益であることを示す。ドメイン分割テストを用いて、ドメイン固有の結果の変動を定量化し、ITFTがドメイン分散の影響をある程度軽減できることを示す。

関連論文リスト

Large Language Model for Multi-Domain Translation: Benchmarking and Domain CoT Fine-tuning [55.107329995417786]
大規模言語モデル(LLM)は、目覚ましい一般的な理解と生成能力を示している。我々は、25のドイツ語$Leftrightarrow$ Englishと22の中国語$Leftrightarrow$ Englishテストセットを特徴とするマルチドメイン翻訳のベンチマークを確立する。本稿では,LLMの内在的マルチドメインインテリジェンスを活用し,翻訳性能を向上させるためのドメインチェーン・オブ・シント(CoT)ファインチューニング手法を提案する。
論文参考訳（メタデータ） (2024-10-03T16:15:04Z)
Fine-tuning Large Language Models for Domain-specific Machine Translation [8.439661191792897]
大規模言語モデル(LLM)は機械翻訳(MT)において大きな進歩を遂げた。しかし、ドメイン特異的MTのポテンシャルはいまだ未解明のままである。本稿では,LlamaIT と呼ばれる,ドメイン固有の MT タスクのための汎用 LLM を効果的かつ効率的に微調整する,プロンプト指向の微調整手法を提案する。
論文参考訳（メタデータ） (2024-02-23T02:24:15Z)
Language Modelling Approaches to Adaptive Machine Translation [0.0]
一貫性は高品質な翻訳の鍵となる要件である。ドメイン内のデータの不足は、翻訳設定でよく見られる。推論時間における適応型MTの品質向上には,言語モデルが有効か?
論文参考訳（メタデータ） (2024-01-25T23:02:54Z)
SALUDA: Surface-based Automotive Lidar Unsupervised Domain Adaptation [62.889835139583965]
我々は、ソースデータとターゲットデータに基づいて、暗黙の基盤となる表面表現を同時に学習する教師なし補助タスクを導入する。両方のドメインが同じ遅延表現を共有しているため、モデルは2つのデータソース間の不一致を許容せざるを得ない。実験の結果,本手法は実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-
論文参考訳（メタデータ） (2023-04-06T17:36:23Z)
Robust Domain Adaptation for Pre-trained Multilingual Neural Machine Translation Models [0.0]
本稿では,組込み凍結と対向損失を組み合わせた汎用mNMTの微調整手法を提案する。実験では、全ての言語対に対する汎用ドメインの初期性能を最小限に抑えながら、特殊なデータの性能を向上させることを示した。
論文参考訳（メタデータ） (2022-10-26T18:47:45Z)
Translation Transformers Rediscover Inherent Data Domains [0.0]
NMT変換器が学習した文表現を分析し,テキスト領域の情報を明示的に含んでいることを示す。この内部情報は、その下にあるドメインの文を、監督なしでクラスタリングするのに十分であることを示す。 NMTモデルは、事前訓練された言語モデル(LM)と比較して、実際のドメインに整合したクラスタを生成することを示す。
論文参考訳（メタデータ） (2021-09-16T10:58:13Z)
Learning Domain Invariant Representations by Joint Wasserstein Distance Minimization [3.382067152367334]
トレーニングデータのドメインシフトは、機械学習の実践的応用において一般的である。理想的には、MLモデルは、例えばドメイン不変表現を学ぶことによって、これらのシフトとは独立して機能するべきです。一般的なMLの損失は、MLモデルが異なるドメインに対していかに一貫して機能するかを強く保証するものではない。
論文参考訳（メタデータ） (2021-06-09T09:08:51Z)
FDMT: A Benchmark Dataset for Fine-grained Domain Adaptation in Machine Translation [53.87731008029645]
機械翻訳(FDMT)における実世界のきめ細かいドメイン適応タスクを提案する。 FDMTデータセットは、自動運転車、AI教育、リアルタイムネットワーク、スマートフォンの4つのサブドメインで構成されている。この新しい設定で定量的な実験と深い分析を行い、きめ細かいドメイン適応タスクをベンチマークします。
論文参考訳（メタデータ） (2020-12-31T17:15:09Z)
Iterative Domain-Repaired Back-Translation [50.32925322697343]
本稿では,ドメイン内並列コーパスが少ない,あるいは存在しない,低リソースのドメイン固有翻訳に焦点を当てる。本稿では,合成バイリンガルデータの翻訳を洗練するためのドメイン・リペアモデルを提案する。提案手法の有効性を示すため,NMTモデルを特定の領域と一般領域から特定の領域に適応させる実験を行った。
論文参考訳（メタデータ） (2020-10-06T04:38:09Z)
Unsupervised Domain Clusters in Pretrained Language Models [61.832234606157286]
大規模事前学習型言語モデルでは,教師なしのドメインによってクラスタ化される文表現を暗黙的に学習する。このようなモデルに基づくドメインデータ選択手法を提案する。我々は5つの異なる領域にわたるニューラルネットワーク翻訳のためのデータ選択手法を評価する。
論文参考訳（メタデータ） (2020-04-05T06:22:16Z)
A Simple Baseline to Semi-Supervised Domain Adaptation for Machine Translation [73.3550140511458]
State-of-the-art Neural Machine Translation (NMT)システムは、データハングリーであり、教師付きデータを持たない新しいドメインではパフォーマンスが良くない。 NMTの半教師付きドメイン適応シナリオに対する単純だが効果のあるアプローチを提案する。このアプローチは、言語モデリング、バックトランスレーション、教師付き翻訳の3つのトレーニング目標を通じて、TransformerベースのNMTモデルを反復的にトレーニングする。
論文参考訳（メタデータ） (2020-01-22T16:42:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。