論文の概要: Overcoming Catastrophic Forgetting in Zero-Shot Cross-Lingual Generation
- arxiv url: http://arxiv.org/abs/2205.12647v1
- Date: Wed, 25 May 2022 10:41:34 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-26 14:40:47.280763
- Title: Overcoming Catastrophic Forgetting in Zero-Shot Cross-Lingual Generation
- Title(参考訳): ゼロショットクロスリンガルジェネレーションにおける破滅的予測の克服
- Authors: Tu Vu, Aditya Barua, Brian Lester, Daniel Cer, Mohit Iyyer, Noah
Constant
- Abstract要約: ラベル付きデータが英語でのみ利用可能である場合、対象言語で生成タスク(すなわち要約)を実行するという問題について検討する。
パラメータ効率の低い言語間での移動において、パラメータ効率の適応は標準的な微調整よりも向上することがわかった。
提案手法はさらなる品質向上を実現し,ロバストなゼロショット・クロスランガル生成が到達範囲内であることを示唆する。
- 参考スコア(独自算出の注目度): 48.80125962015044
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we explore the challenging problem of performing a generative
task (i.e., summarization) in a target language when labeled data is only
available in English. We assume a strict setting with no access to parallel
data or machine translation. Prior work has shown, and we confirm, that
standard transfer learning techniques struggle in this setting, as a generative
multilingual model fine-tuned purely on English catastrophically forgets how to
generate non-English. Given the recent rise of parameter-efficient adaptation
techniques (e.g., prompt tuning), we conduct the first investigation into how
well these methods can overcome catastrophic forgetting to enable zero-shot
cross-lingual generation. We find that parameter-efficient adaptation provides
gains over standard fine-tuning when transferring between less-related
languages, e.g., from English to Thai. However, a significant gap still remains
between these methods and fully-supervised baselines. To improve cross-lingual
transfer further, we explore three approaches: (1) mixing in unlabeled
multilingual data, (2) pre-training prompts on target language data, and (3)
explicitly factoring prompts into recombinable language and task components.
Our methods can provide further quality gains, suggesting that robust zero-shot
cross-lingual generation is within reach.
- Abstract(参考訳): 本稿では,ラベル付きデータが英語でのみ利用できる場合に,対象言語で生成タスク(すなわち要約)を実行するという課題について検討する。
並列データや機械翻訳へのアクセスのない厳密な設定を想定する。
それまでの研究では、英語のカタストロフィックに微調整された生成多言語モデルとして、非英語の生成方法を忘れているため、標準移動学習技術がこの環境で苦労していることが確認された。
最近のパラメータ効率適応技術(即時チューニングなど)の台頭を踏まえ、我々はこれらの手法が破滅的な忘れをいかに克服し、ゼロショットのクロスランガル生成を可能にするかを初めて研究する。
パラメータ効率の適応は、英語からタイ語への非関連言語間の移動において、標準的な微調整よりも向上することがわかった。
しかし、これらの方法と完全に監視されたベースラインとの間には、依然として大きなギャップが残っている。
言語間移動をさらに改善するために,(1)ラベルなし多言語データの混合,(2)対象言語データに対する事前学習,(3)言語とタスクのコンポーネントを明示的に分解する3つのアプローチを検討する。
提案手法はさらなる品質向上を実現し,ロバストなゼロショット対言語生成が到達範囲内であることを示唆する。
関連論文リスト
- Self-Augmentation Improves Zero-Shot Cross-Lingual Transfer [92.80671770992572]
言語間移動は多言語NLPにおける中心的なタスクである。
このタスクの以前の作業では、並列コーパス、バイリンガル辞書、その他の注釈付きアライメントデータを使用していた。
ゼロショットの言語間移動を改善するため, 単純で効果的なSALT法を提案する。
論文 参考訳(メタデータ) (2023-09-19T19:30:56Z) - Measuring Catastrophic Forgetting in Cross-Lingual Transfer Paradigms:
Exploring Tuning Strategies [4.498659756007485]
言語間移動は、少ないリソースの言語でタスクを解くための有望なテクニックである。
大規模言語モデルに対する2つの微調整アプローチとゼロショットおよびフルショット学習アプローチを比較した。
論文 参考訳(メタデータ) (2023-09-12T09:37:08Z) - Why Does Zero-Shot Cross-Lingual Generation Fail? An Explanation and a
Solution [0.9085116579988537]
細調整プロセスは言語不変表現を学習し、分類タスクには有益であるが、生成タスクには有害であることを示す。
3つの意味的に多様な生成タスクの実験により,提案手法は事故翻訳問題を68%削減し,ROUGE-Lスコアを平均1.5改善した。
論文 参考訳(メタデータ) (2023-05-27T02:04:19Z) - A Simple and Effective Method to Improve Zero-Shot Cross-Lingual
Transfer Learning [6.329304732560936]
既存のゼロショットのクロスリンガル転送法は、並列コーパスやバイリンガル辞書に依存している。
意味喪失のない仮想多言語埋め込みに英語の埋め込みを移すための埋め込み・プッシュ・アテンション・プル・ロバスト・ターゲットを提案する。
論文 参考訳(メタデータ) (2022-10-18T15:36:53Z) - CrossAligner & Co: Zero-Shot Transfer Methods for Task-Oriented
Cross-lingual Natural Language Understanding [18.14437842819122]
CrossAlignerは、ゼロショット・クロスランガル転送のための様々な効果的な手法の主要な方法である。
本稿では,個々の手法と重み付けされた組み合わせの定量的分析を行い,その一部はSOTA(State-of-the-art)スコアを超えている。
最適手法の詳細な定性的誤り解析により、我々の微調整言語モデルが、予想よりも優れたタスク知識をゼロショット転送できることが示される。
論文 参考訳(メタデータ) (2022-03-18T14:18:12Z) - ZmBART: An Unsupervised Cross-lingual Transfer Framework for Language
Generation [4.874780144224057]
自然言語生成のための言語間移動は、比較的研究が進められている。
NLGの4つのタスク(テキスト要約、質問生成、ニュース見出し生成、イントラクタ生成)と3つの構文的に多様な言語について検討する。
並列あるいは擬似並列/バックトランスレートデータを使用しない教師なし言語間言語生成フレームワーク(ZmBART)を提案する。
論文 参考訳(メタデータ) (2021-06-03T05:08:01Z) - VECO: Variable and Flexible Cross-lingual Pre-training for Language
Understanding and Generation [77.82373082024934]
我々はTransformerエンコーダにクロスアテンションモジュールを挿入し、言語間の相互依存を明確に構築する。
独自の言語でコンテキストにのみ条件付けされたマスク付き単語の予測の退化を効果的に回避することができる。
提案した言語間モデルでは,XTREMEベンチマークのさまざまな言語間理解タスクに対して,最先端の新たな結果が提供される。
論文 参考訳(メタデータ) (2020-10-30T03:41:38Z) - Unsupervised Cross-lingual Adaptation for Sequence Tagging and Beyond [58.80417796087894]
多言語事前訓練言語モデル(mPTLM)による言語間適応は、主にゼロショットアプローチと翻訳に基づくアプローチの2行からなる。
本稿では、ゼロショットアプローチと翻訳に基づくアプローチを統合し、適応性能を向上させるための新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2020-10-23T13:47:01Z) - From Zero to Hero: On the Limitations of Zero-Shot Cross-Lingual
Transfer with Multilingual Transformers [62.637055980148816]
言語モデリングの目的によって事前訓練された多言語トランスフォーマーは、NLPの事実上のデフォルト転送パラダイムとなっている。
膨大な多言語変換器による言語間変換は,リソースリーンシナリオや遠方言語では著しく効果が低いことを示す。
論文 参考訳(メタデータ) (2020-05-01T22:04:58Z) - Exploring Fine-tuning Techniques for Pre-trained Cross-lingual Models
via Continual Learning [74.25168207651376]
訓練済みの言語モデルから下流の言語間タスクへの微調整は、有望な結果を示している。
ダウンストリームタスクに微調整する場合、継続学習を活用して、事前学習したモデルの言語間能力を維持する。
提案手法は、ゼロショット言語間タグ付けや名前付きエンティティ認識タスクにおいて、他の微調整ベースラインよりも優れた性能を実現する。
論文 参考訳(メタデータ) (2020-04-29T14:07:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。