論文の概要: Self-generated Replay Memories for Continual Neural Machine Translation

• arxiv url: http://arxiv.org/abs/2403.13130v1
• Date: Tue, 19 Mar 2024 19:59:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-21 18:47:08.618269
• Title: Self-generated Replay Memories for Continual Neural Machine Translation
• Title（参考訳）: 連続的ニューラルネットワーク翻訳のための自己生成リプレイ記憶
• Authors: Michele Resta, Davide Bacciu,
• Abstract要約: 本稿では,ニューラルマシン翻訳システムを継続的に学習するための新しい手法を提案する。 異なる言語からなる経験の流れを効果的に学習する方法を示す。 我々は,トレーニングデータの明示的な記憶を必要とせずに,破滅的な忘れ込みを防止できることを実証的に実証した。
• 参考スコア（独自算出の注目度）: 15.31702185424082
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern Neural Machine Translation systems exhibit strong performance in several different languages and are constantly improving. Their ability to learn continuously is, however, still severely limited by the catastrophic forgetting issue. In this work, we leverage a key property of encoder-decoder Transformers, i.e. their generative ability, to propose a novel approach to continually learning Neural Machine Translation systems. We show how this can effectively learn on a stream of experiences comprising different languages, by leveraging a replay memory populated by using the model itself as a generator of parallel sentences. We empirically demonstrate that our approach can counteract catastrophic forgetting without requiring explicit memorization of training data. Code will be publicly available upon publication. Code: https://github.com/m-resta/sg-rep
• Abstract（参考訳）: 現代のニューラル機械翻訳システムは、いくつかの異なる言語で強い性能を示し、常に改善されている。 しかし、彼らの継続的な学習能力は、大惨事な忘れ物問題によって依然として著しく制限されている。 本研究では,エンコーダ・デコーダ変換器の重要な特性,すなわち生成能力を活用し,ニューラルマシン翻訳システムの継続的な学習方法を提案する。 本稿では,モデル自体を並列文の生成元として使用することにより,リプレイメモリを活用することで,異なる言語を構成する経験の流れを効果的に学習する方法を示す。 我々は,トレーニングデータの明示的な記憶を必要とせずに,破滅的な忘れ込みを防止できることを実証的に実証した。 コードは公開時に公開される。 コード:https://github.com/m-resta/sg-rep

関連論文リスト

• Decoupled Vocabulary Learning Enables Zero-Shot Translation from Unseen Languages [55.157295899188476]
  ニューラルマシン翻訳システムは、異なる言語の文を共通の表現空間にマッピングすることを学ぶ。 本研究では、この仮説を未知の言語からのゼロショット翻訳により検証する。 この設定により、全く見えない言語からのゼロショット翻訳が可能になることを実証する。
  論文  参考訳（メタデータ） (2024-08-05T07:58:58Z)
• Parallel Decoding via Hidden Transfer for Lossless Large Language Model Acceleration [54.897493351694195]
  本稿では,複数連続するトークンを1つのフォワードパスで同時に復号する,新しい並列復号法,すなわちthithidden Transferを提案する。 加速度測定では,Medusa や Self-Speculative decoding など,単モデル加速技術よりも優れています。
  論文  参考訳（メタデータ） (2024-04-18T09:17:06Z)
• Hindi to English: Transformer-Based Neural Machine Translation [0.0]
  我々は,インド語ヒンディー語から英語への翻訳のためにトランスフォーマーモデルを訓練し,機械翻訳(NMT)システムを開発した。 トレーニングデータを増強し、語彙を作成するために、バックトランスレーションを実装した。 これにより、IIT Bombay English-Hindi Corpusのテストセットで、最先端のBLEUスコア24.53を達成することができました。
  論文  参考訳（メタデータ） (2023-09-23T00:00:09Z)
• Learning an Artificial Language for Knowledge-Sharing in Multilingual Translation [15.32063273544696]
  コードブック内のエントリにエンコーダ状態を割り当てることで,多言語モデルの潜伏空間を識別する。 我々は,現実的なデータ量と領域を用いた大規模実験へのアプローチを検証する。 また、学習した人工言語を用いてモデル行動を分析し、類似のブリッジ言語を使用することで、残りの言語間での知識共有が向上することを発見した。
  論文  参考訳（メタデータ） (2022-11-02T17:14:42Z)
• Is Encoder-Decoder Redundant for Neural Machine Translation? [44.37101354412253]
  encoder-decoderアーキテクチャは現在でも、最先端モデルのデファクトニューラルネットワークアーキテクチャである。 本研究は,バイリンガル翻訳,ターゲット単言語データを用いた翻訳,多言語翻訳の実験である。 この代替アプローチは、ベースラインエンコーダ-デコーダ変換器と同等に動作し、エンコーダ-デコーダアーキテクチャがニューラルマシン翻訳に冗長である可能性を示唆している。
  論文  参考訳（メタデータ） (2022-10-21T08:33:55Z)
• Decoupling Knowledge from Memorization: Retrieval-augmented Prompt Learning [113.58691755215663]
  一般化と記憶のバランスをとるためにRetroPromptを開発した。 バニラプロンプト学習とは対照的に、RetroPromptはトレーニングインスタンスからオープンブックナレッジストアを構築する。 大規模な実験により、RetroPromptは、数ショットとゼロショットの両方で、より良いパフォーマンスを得ることができることが示されている。
  論文  参考訳（メタデータ） (2022-05-29T16:07:30Z)
• Summarize and Generate to Back-translate: Unsupervised Translation of Programming Languages [86.08359401867577]
  バックトランスレーションは、並列データがほとんど、あるいは全く利用できない場合のニューラルマシン翻訳の有効性で広く知られている。 コード要約と生成による逆翻訳を提案する。 提案手法は最先端の手法と競合することを示す。
  論文  参考訳（メタデータ） (2022-05-23T08:20:41Z)
• Continuous Learning in Neural Machine Translation using Bilingual Dictionaries [14.058642647656301]
  ニューラルマシン翻訳の新たなフレーズを継続的に学習する能力を評価するための評価フレームワークを提案する。 両方の課題に対処することで、新しいまれな単語やフレーズを30%から70%に翻訳する能力を改善することができます。
  論文  参考訳（メタデータ） (2021-02-12T14:46:13Z)
• Vokenization: Improving Language Understanding with Contextualized, Visual-Grounded Supervision [110.66085917826648]
  我々は,言語トークンを関連画像に文脈的にマッピングすることで,言語のみのデータに対するマルチモーダルアライメントを補間する手法を開発した。 語彙化」は比較的小さな画像キャプションデータセットに基づいて訓練され、それを大規模言語コーパスのための語彙生成に適用する。 これらの文脈的に生成された語彙を用いて学習し、視覚的に制御された言語モデルにより、複数の純粋言語タスクにおいて、自己教師による代替よりも一貫した改善が示される。
  論文  参考訳（メタデータ） (2020-10-14T02:11:51Z)
• Unsupervised Multimodal Video-to-Video Translation via Self-Supervised Learning [92.17835753226333]
  本稿では,教師なしビデオ間翻訳モデルを提案する。 本モデルは,特殊なUVデコーダ構造を用いて,そのスタイルと内容を分解する。 我々のモデルは、マルチモーダルな方法で写真リアリスティックなビデオを作成することができる。
  論文  参考訳（メタデータ） (2020-04-14T13:44:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。