論文の概要: Epi-Curriculum: Episodic Curriculum Learning for Low-Resource Domain Adaptation in Neural Machine Translation

• arxiv url: http://arxiv.org/abs/2309.02640v1
• Date: Wed, 6 Sep 2023 00:59:27 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-07 17:04:24.588318
• Title: Epi-Curriculum: Episodic Curriculum Learning for Low-Resource Domain Adaptation in Neural Machine Translation
• Title（参考訳）: epi-curriculum: ニューラルマシン翻訳における低リソース領域適応のためのエピソディックカリキュラム学習
• Authors: Keyu Chen, Di Zhuang, Mingchen Li, J. Morris Chang
• Abstract要約: 低リソース領域適応に対処する新しい手法であるEpi-Curriculumを提案する。 Epi-Curriculumには、新しいエピソードトレーニングフレームワークと、デノナイズドカリキュラム学習が含まれている。
• 参考スコア（独自算出の注目度）: 16.896165492883032
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural Machine Translation (NMT) models have become successful, but their performance remains poor when translating on new domains with a limited number of data. In this paper, we present a novel approach Epi-Curriculum to address low-resource domain adaptation (DA), which contains a new episodic training framework along with denoised curriculum learning. Our episodic training framework enhances the model's robustness to domain shift by episodically exposing the encoder/decoder to an inexperienced decoder/encoder. The denoised curriculum learning filters the noised data and further improves the model's adaptability by gradually guiding the learning process from easy to more difficult tasks. Experiments on English-German and English-Romanian translation show that: (i) Epi-Curriculum improves both model's robustness and adaptability in seen and unseen domains; (ii) Our episodic training framework enhances the encoder and decoder's robustness to domain shift.
• Abstract（参考訳）: ニューラルマシン翻訳(NMT)モデルは成功したが、限られた数のデータで新しいドメインを翻訳する際の性能は依然として劣っている。 本稿では,低リソース領域適応(DA)に対処する新しい手法であるEpi-Curriculumを提案する。 エピソディックトレーニングフレームワークは、エンコーダ/デコーダを経験の浅いデコーダ/エンコーダにエピソディカルに露出させることで、モデルのドメインシフトに対する堅牢性を高める。 識別されたカリキュラム学習は、ノイズのあるデータをフィルタリングし、学習プロセスをより簡単なタスクからより難しいタスクへと徐々に導くことにより、モデルの適応性を向上させる。 英語・ドイツ語・英語・ルーマニア語訳実験 (i)エピクルクルクルムは、見かけ上及び見当たらない領域におけるモデルのロバスト性と適応性の両方を改善する。 (ii)当社のエピソディックトレーニングフレームワークは、エンコーダとデコーダのドメインシフトに対する堅牢性を高めます。

関連論文リスト

• Improving Neural Machine Translation by Multi-Knowledge Integration with Prompting [36.24578487904221]
  我々は,マルチ知識,複数種類の知識をNMTモデルに統合し,プロンプトによる性能向上に着目する。 文,用語/フレーズ,翻訳テンプレートなど,複数の種類の知識をNMTモデルに効果的に統合する統合フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-08T02:55:00Z)
• RAVEN: In-Context Learning with Retrieval-Augmented Encoder-Decoder Language Models [57.12888828853409]
  RAVENは検索強化されたマスク付き言語モデリングとプレフィックス言語モデリングを組み合わせたモデルである。 フュージョン・イン・コンテキスト・ラーニング(Fusion-in-Context Learning)により、追加のトレーニングを必要とせずに、より多くのコンテキスト内サンプルを利用できる。 本研究は,テキスト内学習のためのエンコーダ・デコーダ言語モデルの構築の可能性を明らかにするものである。
  論文  参考訳（メタデータ） (2023-08-15T17:59:18Z)
• Bilevel Fast Scene Adaptation for Low-Light Image Enhancement [50.639332885989255]
  低照度シーンにおける画像の強調は、コンピュータビジョンにおいて難しいが、広く懸念されている課題である。 主な障害は、異なるシーンにまたがる分散の相違によるモデリングの混乱にある。 上述の潜在対応をモデル化するための双レベルパラダイムを導入する。 エンコーダのシーン非関連な一般化を多様なシーンにもたらすために、双方向学習フレームワークを構築した。
  論文  参考訳（メタデータ） (2023-06-02T08:16:21Z)
• Learning Neural Models for Natural Language Processing in the Face of Distributional Shift [10.990447273771592]
  特定のデータセットでひとつのタスクを実行するための強力な神経予測器をトレーニングするNLPのパラダイムが、さまざまなアプリケーションで最先端のパフォーマンスを実現している。 データ分布が定常である、すなわち、トレーニングとテストの時間の両方で、データは固定された分布からサンプリングされる、という仮定に基づいて構築される。 この方法でのトレーニングは、人間が絶えず変化する情報の流れの中で学習し、操作できる方法と矛盾する。 データ分散がモデル寿命の経過とともにシフトすることが期待される実世界のユースケースに不適応である。
  論文  参考訳（メタデータ） (2021-09-03T14:29:20Z)
• Cross-lingual Transferring of Pre-trained Contextualized Language Models [73.97131976850424]
  本稿では,PRLMのための新しい言語間モデル転送フレームワークTreLMを提案する。 シンボルの順序と言語間のシーケンス長の差に対処するため,中間的なTRILayer構造を提案する。 提案手法は,スクラッチから学習した言語モデルに対して,性能と効率の両面で,限られたデータで著しく優れることを示す。
  論文  参考訳（メタデータ） (2021-07-27T06:51:13Z)
• Domain Adaptation and Multi-Domain Adaptation for Neural Machine Translation: A Survey [9.645196221785694]
  ニューラルマシン翻訳(nmt)モデルのドメイン適応に対するロバストなアプローチに注目した。 特に、システムが複数のドメインから文を翻訳する必要がある場合を検討します。 我々はNMT研究の他の分野に対するドメイン適応とマルチドメイン適応技術の利点を強調した。
  論文  参考訳（メタデータ） (2021-04-14T16:21:37Z)
• Token-wise Curriculum Learning for Neural Machine Translation [94.93133801641707]
  ニューラルネットワーク翻訳(NMT)への既存のカリキュラム学習アプローチでは、初期のトレーニング段階でトレーニングデータから十分なサンプルをサンプリングする必要がある。 簡便なサンプルを十分に生成する,新しいトークン型カリキュラム学習手法を提案する。 当社のアプローチは,5つの言語ペア,特に低リソース言語において,ベースラインを一貫して上回ることができる。
  論文  参考訳（メタデータ） (2021-03-20T03:57:59Z)
• Meta-Curriculum Learning for Domain Adaptation in Neural Machine Translation [19.973201669851626]
  ニューラルマシン翻訳(NMT)における領域適応のための新しいメタカリキュラム学習の提案 メタトレーニング中、NMTはまず各ドメインから同様のカリキュラムを学習し、早期に悪い局所的最適値に陥ることを避ける。 メタキュラクルム学習は,慣れ親しんだドメインと未知のドメインの両方の翻訳性能を向上させることができる。
  論文  参考訳（メタデータ） (2021-03-03T08:58:39Z)
• Unsupervised Neural Machine Translation for Low-Resource Domains via Meta-Learning [27.86606560170401]
  unsupervised neural machine translation (UNMT) のための新しいメタ学習アルゴリズムを提案する。 私たちは、少量のトレーニングデータだけを利用して、別のドメインに適応するようにモデルを訓練します。 我々のモデルは、最大2-4 BLEUスコアの転送学習に基づくアプローチを超越している。
  論文  参考訳（メタデータ） (2020-10-18T17:54:13Z)
• Structured Domain Adaptation with Online Relation Regularization for Unsupervised Person Re-ID [62.90727103061876]
  Unsupervised Domain adapt(UDA)は、ラベル付きソースドメインデータセットでトレーニングされたモデルを、ラベルなしのターゲットドメインデータセットに適応させることを目的としている。 本稿では,オンライン関係整合性正規化項を用いたエンドツーエンドなドメイン適応フレームワークを提案する。 提案手法は,複数のUDAタスクにおける人物再IDの最先端性能を実現することを目的としている。
  論文  参考訳（メタデータ） (2020-03-14T14:45:18Z)
• A Simple Baseline to Semi-Supervised Domain Adaptation for Machine Translation [73.3550140511458]
  State-of-the-art Neural Machine Translation (NMT)システムは、データハングリーであり、教師付きデータを持たない新しいドメインではパフォーマンスが良くない。 NMTの半教師付きドメイン適応シナリオに対する単純だが効果のあるアプローチを提案する。 このアプローチは、言語モデリング、バックトランスレーション、教師付き翻訳の3つのトレーニング目標を通じて、TransformerベースのNMTモデルを反復的にトレーニングする。
  論文  参考訳（メタデータ） (2020-01-22T16:42:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。