論文の概要: Self-Induced Curriculum Learning in Self-Supervised Neural Machine Translation

• arxiv url: http://arxiv.org/abs/2004.03151v2
• Date: Tue, 6 Oct 2020 14:13:45 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-15 23:48:11.755549
• Title: Self-Induced Curriculum Learning in Self-Supervised Neural Machine Translation
• Title（参考訳）: 自己教師付きニューラルマシン翻訳における自己誘導型カリキュラム学習
• Authors: Dana Ruiter, Josef van Genabith and Cristina Espa\~na-Bonet
• Abstract要約: SSNMTは、同等の(並列ではなく)コーパスから適切なトレーニングデータを特定し、選択することを学ぶ。 本研究では,SSNMTモデルがトレーニング中に行うサンプリング選択について,詳細な分析を行う。 我々は,SSNMTが高校生に適したウィキペディアデータから抽出および学習を始めたことを,Gunning-Fog Readability indexの観点から示す。
• 参考スコア（独自算出の注目度）: 20.718093208111547
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-supervised neural machine translation (SSNMT) jointly learns to identify and select suitable training data from comparable (rather than parallel) corpora and to translate, in a way that the two tasks support each other in a virtuous circle. In this study, we provide an in-depth analysis of the sampling choices the SSNMT model makes during training. We show how, without it having been told to do so, the model self-selects samples of increasing (i) complexity and (ii) task-relevance in combination with (iii) performing a denoising curriculum. We observe that the dynamics of the mutual-supervision signals of both system internal representation types are vital for the extraction and translation performance. We show that in terms of the Gunning-Fog Readability index, SSNMT starts extracting and learning from Wikipedia data suitable for high school students and quickly moves towards content suitable for first year undergraduate students.
• Abstract（参考訳）: 自己教師付きニューラルネットワーク翻訳(SSNMT)は、並列ではなく、同等のコーパスから適切なトレーニングデータを識別し、選択し、2つのタスクが互いを活発な円で支え合うように翻訳することを学ぶ。 本研究では,SSNMTモデルがトレーニング中に行うサンプリング選択について,詳細な分析を行う。 そのように指示されていなければ、モデルが増加のサンプルを自己選択する方法を示します。 (i)複雑さ、および (ii)タスク関連性と組み合わせて (iii)教育課程の実施。 システム内部表現型とシステム内部表現型の相互スーパービジョン信号のダイナミクスが抽出および翻訳性能に不可欠であることを観察する。 ssnmtは,銃声-fog可読性指標を用いて,高校生に適したウィキペディアデータから抽出・学習を開始し,一年生に適したコンテンツへと素早く移行する。

関連論文リスト

• The mechanistic basis of data dependence and abrupt learning in an in-context classification task [0.3626013617212666]
  本研究では,言語固有の特定の分布特性が,2種類の学習のトレードオフや同時出現を制御していることを示す。 インコンテキスト学習は、誘導ヘッドの突然の出現によって駆動され、その後、インウェイト学習と競合する。 注意に基づくネットワークの急激な遷移は、ICLを実現するのに必要な多層演算の特定の連鎖によって生じると提案する。
  論文  参考訳（メタデータ） (2023-12-03T20:53:41Z)
• Learning to Generalize to More: Continuous Semantic Augmentation for Neural Machine Translation [50.54059385277964]
  CsaNMT(Continuous Semantic Augmentation)と呼ばれる新しいデータ拡張パラダイムを提案する。 CsaNMTは各トレーニングインスタンスを、同じ意味の下で適切なリテラル式をカバーできる隣接領域で拡張する。
  論文  参考訳（メタデータ） (2022-04-14T08:16:28Z)
• Data Selection Curriculum for Neural Machine Translation [31.55953464971441]
  NMTモデルのための2段階のカリキュラムトレーニングフレームワークを提案する。 我々は、事前学習法とオンラインスコアを用いた決定論的スコアリングの両方によって選択されたデータのサブセットに基づいてベースNMTモデルを微調整する。 我々のカリキュラム戦略は、常により良い品質(+2.2BLEUの改善)とより高速な収束を示すことを示した。
  論文  参考訳（メタデータ） (2022-03-25T19:08:30Z)
• Bridging the Data Gap between Training and Inference for Unsupervised Neural Machine Translation [49.916963624249355]
  UNMTモデルは、翻訳されたソースと推論中の自然言語で擬似並列データに基づいて訓練される。 トレーニングと推論のソース差はUNMTモデルの翻訳性能を妨げている。 本稿では、擬似並列データ自然言語を同時に用いたオンライン自己学習手法を提案する。
  論文  参考訳（メタデータ） (2022-03-16T04:50:27Z)
• Language Modeling, Lexical Translation, Reordering: The Training Process of NMT through the Lens of Classical SMT [64.1841519527504]
  ニューラルマシン翻訳は、翻訳プロセス全体をモデル化するために、単一のニューラルネットワークを使用する。 ニューラルネットワーク翻訳はデファクトスタンダードであるにもかかわらず、NMTモデルがトレーニングの過程でどのように異なる能力を獲得するのかは、まだ明らかになっていない。
  論文  参考訳（メタデータ） (2021-09-03T09:38:50Z)
• Alternated Training with Synthetic and Authentic Data for Neural Machine Translation [49.35605028467887]
  ニューラルマシン翻訳(NMT)のための合成および認証データを用いた交互トレーニングを提案する。 従来の研究と比較して,ノイズの多い合成データによってNMTモデルのトレーニングが妨げられるのを防止するためのガイダンスとして,認証データを導入している。 中国語・ドイツ語・英語の翻訳タスクの実験は、我々のアプローチがいくつかの強いベースラインにまたがって性能を向上させることを示している。
  論文  参考訳（メタデータ） (2021-06-16T07:13:16Z)
• A journey in ESN and LSTM visualisations on a language task [77.34726150561087]
  我々は,CSL(Cross-Situationnal Learning)タスクでESNとLSTMを訓練した。 その結果, 性能比較, 内部力学解析, 潜伏空間の可視化の3種類が得られた。
  論文  参考訳（メタデータ） (2020-12-03T08:32:01Z)
• Self-Paced Learning for Neural Machine Translation [55.41314278859938]
  ニューラルネットワーク翻訳(NMT)訓練のためのセルフペースト学習を提案する。 提案モデルでは,強いベースラインよりも優れた性能が得られることを示す。
  論文  参考訳（メタデータ） (2020-10-09T11:33:16Z)
• Reinforced Curriculum Learning on Pre-trained Neural Machine Translation Models [20.976165305749777]
  我々は,既存のトレーニングセットから影響力のあるデータサンプルを再選択することで,事前学習したNMTモデルを改善するカリキュラムを学習する。 本稿では,決定論的アクタ批判に基づくデータ選択フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-04-13T03:40:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。