論文の概要: Domain Mismatch Doesn't Always Prevent Cross-Lingual Transfer Learning

• arxiv url: http://arxiv.org/abs/2211.16671v1
• Date: Wed, 30 Nov 2022 01:24:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-01 16:39:27.257941
• Title: Domain Mismatch Doesn't Always Prevent Cross-Lingual Transfer Learning
• Title（参考訳）: ドメインミスマッチは、言語間転送学習を妨げるとは限らない
• Authors: Daniel Edmiston, Phillip Keung, Noah A. Smith
• Abstract要約: 言語間移動学習は、ゼロショット言語間分類において驚くほど効果的である。 本稿では,言語間移動におけるドメインミスマッチの影響の多くを,単純なレギュレータが克服できることを示す。
• 参考スコア（独自算出の注目度）: 51.232774288403114
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Cross-lingual transfer learning without labeled target language data or parallel text has been surprisingly effective in zero-shot cross-lingual classification, question answering, unsupervised machine translation, etc. However, some recent publications have claimed that domain mismatch prevents cross-lingual transfer, and their results show that unsupervised bilingual lexicon induction (UBLI) and unsupervised neural machine translation (UNMT) do not work well when the underlying monolingual corpora come from different domains (e.g., French text from Wikipedia but English text from UN proceedings). In this work, we show that a simple initialization regimen can overcome much of the effect of domain mismatch in cross-lingual transfer. We pre-train word and contextual embeddings on the concatenated domain-mismatched corpora, and use these as initializations for three tasks: MUSE UBLI, UN Parallel UNMT, and the SemEval 2017 cross-lingual word similarity task. In all cases, our results challenge the conclusions of prior work by showing that proper initialization can recover a large portion of the losses incurred by domain mismatch.
• Abstract（参考訳）: ラベル付き対象言語データや並列テキストのない言語間転送学習は、ゼロショットの言語間分類、質問応答、教師なし機械翻訳などにおいて驚くほど効果的である。 しかし、いくつかの最近の出版物はドメインミスマッチが言語間移動を妨げていると主張しており、その結果は、基礎となるモノリンガルコーパスが異なるドメイン(例えばウィキペディアのフランス語のテキストや国連の手続きからの英語のテキストなど)から来ている場合、unsupervised bilingual lexicon induction (UBLI) とunsupervised neural machine translation (UNMT) がうまく機能しないことを示している。 本研究では,単純な初期化法が言語間伝達におけるドメインミスマッチの影響の多くを克服できることを示す。 MUSE UBLI, UN Parallel UNMT, SemEval 2017 の言語間単語類似性タスクの3つのタスクに対して, 単語と文脈の埋め込みを事前訓練し, 初期化に使用する。 いずれの場合も、適切な初期化がドメインミスマッチによる損失の大部分を回復できることを示し、先行研究の結論に異議を唱える。

関連論文リスト

• Domain Curricula for Code-Switched MT at MixMT 2022 [0.0]
  We present our approach and results for the Code-mixed Machine Translation (MixMT) shared task at WMT 2022。 このタスクは2つのサブタスクで構成されており、モノリンガルからコードミキシング機械翻訳(Subtask-1)と、モノリンガル機械翻訳(Subtask-2)にコードミキシングされる。 我々は,複数分野のテキストを事前学習と微調整によって共同学習し,文アライメントの目的と組み合わせた。
  論文  参考訳（メタデータ） (2022-10-31T16:41:57Z)
• Non-Parametric Domain Adaptation for End-to-End Speech Translation [72.37869362559212]
  E2E-ST(End-to-End Speech Translation)は、エラー伝播の低減、レイテンシの低減、パラメータの削減などにより注目されている。 本稿では,E2E-STシステムのドメイン適応を実現するために,ドメイン固有のテキスト翻訳コーパスを活用する新しい非パラメトリック手法を提案する。
  論文  参考訳（メタデータ） (2022-05-23T11:41:02Z)
• So Different Yet So Alike! Constrained Unsupervised Text Style Transfer [54.4773992696361]
  本稿では,GAN(Generative Adversarial Network)モデルに2つの相補的損失を導入することによって,制約付き教師なしテキストスタイル転送を実現する手法を提案する。 GANにおける競合的損失とは違って,識別器とジェネレータが協調して同じ損失を減少させる協調的損失を導入する。 自動評価と人的評価の両方法により, 相補的な協調的損失がテキスト品質を向上させることを示す。
  論文  参考訳（メタデータ） (2022-05-09T07:46:40Z)
• Non-Parametric Unsupervised Domain Adaptation for Neural Machine Translation [61.27321597981737]
  $k$NN-MTは、トレーニング済みニューラルネットワーク翻訳(NMT)モデルとドメイン固有のトークンレベルである$k$-nearest-neighbor検索を直接組み込むという有望な能力を示している。 対象言語におけるドメイン内単言語文を直接使用して,$k$-nearest-neighbor検索に有効なデータストアを構築する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-14T11:50:01Z)
• Generalised Unsupervised Domain Adaptation of Neural Machine Translation with Cross-Lingual Data Selection [34.90952499734384]
  そこで本研究では,多言語単一言語コーパスから,欠落言語側のドメイン内文を抽出する言語間データ選択手法を提案する。 提案手法は,多言語BERT上の適応層を比較学習により学習し,ソースとターゲット言語間の表現を整合させる。 我々は,NMTにおける言語間データ選択手法を,3つの言語ペアで5つのドメインにまたがって評価した。
  論文  参考訳（メタデータ） (2021-09-09T14:12:12Z)
• Contrastive Learning and Self-Training for Unsupervised Domain Adaptation in Semantic Segmentation [71.77083272602525]
  UDAはラベル付きソースドメインからラベルなしターゲットドメインへの効率的な知識伝達を試みている。 本稿では,領域にまたがるカテゴリ別センタロイドを適応させるコントラスト学習手法を提案する。 提案手法を自己学習で拡張し,メモリ効率の良い時間アンサンブルを用いて一貫性と信頼性の高い擬似ラベルを生成する。
  論文  参考訳（メタデータ） (2021-05-05T11:55:53Z)
• Sentence Alignment with Parallel Documents Helps Biomedical Machine Translation [0.5430741734728369]
  本研究は、新しい教師なし文アライメント手法を示し、生体医学的ニューラルネットワーク翻訳(NMT)システムの訓練における特徴を探求する。 二言語間単語の類似性を評価するために,二言語間単語埋め込みの構築には単純かつ効果的な手法を用いる。 提案手法は1対1および多対多のケースで高い精度を達成した。
  論文  参考訳（メタデータ） (2021-04-17T16:09:30Z)
• Identifying the Limits of Cross-Domain Knowledge Transfer for Pretrained Models [9.359514457957799]
  モデルがランダムなスクランブルによって単語の同一性に関する情報を拒否されると、どの程度の転送が発生するかを調べる。 BERTだけがスクランブルされたドメインへの高い転送率を示し、分類のためにはシークエンスラベリングタスクではないことがわかった。 本分析では,移動がなぜ他のタスクで成功するのかを説明するとともに,事前学習と微調整の別々の貢献を分離し,単語頻度の役割を定量化する。
  論文  参考訳（メタデータ） (2021-04-17T00:14:39Z)
• Analyzing Zero-shot Cross-lingual Transfer in Supervised NLP Tasks [6.7155846430379285]
  ゼロショット言語間転送では、ある言語のコーパスでトレーニングされた教師付きnlpタスクが、追加のトレーニングなしで他の言語に直接適用されます。 最近導入されたクロス言語言語モデル(XLM)プリトレーニングは、トランスフォーマースタイルのネットワークでニューラルパラメータの共有をもたらす。 本稿では,XLM事前学習により生じる仮説上強い言語間移動特性を検証することを目的とする。
  論文  参考訳（メタデータ） (2021-01-26T09:21:25Z)
• Structured Domain Adaptation with Online Relation Regularization for Unsupervised Person Re-ID [62.90727103061876]
  Unsupervised Domain adapt(UDA)は、ラベル付きソースドメインデータセットでトレーニングされたモデルを、ラベルなしのターゲットドメインデータセットに適応させることを目的としている。 本稿では,オンライン関係整合性正規化項を用いたエンドツーエンドなドメイン適応フレームワークを提案する。 提案手法は,複数のUDAタスクにおける人物再IDの最先端性能を実現することを目的としている。
  論文  参考訳（メタデータ） (2020-03-14T14:45:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。