論文の概要: Overcoming Catastrophic Forgetting in Zero-Shot Cross-Lingual Generation

• arxiv url: http://arxiv.org/abs/2205.12647v1
• Date: Wed, 25 May 2022 10:41:34 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-26 14:40:47.280763
• Title: Overcoming Catastrophic Forgetting in Zero-Shot Cross-Lingual Generation
• Title（参考訳）: ゼロショットクロスリンガルジェネレーションにおける破滅的予測の克服
• Authors: Tu Vu, Aditya Barua, Brian Lester, Daniel Cer, Mohit Iyyer, Noah Constant
• Abstract要約: ラベル付きデータが英語でのみ利用可能である場合、対象言語で生成タスク(すなわち要約)を実行するという問題について検討する。 パラメータ効率の低い言語間での移動において、パラメータ効率の適応は標準的な微調整よりも向上することがわかった。 提案手法はさらなる品質向上を実現し,ロバストなゼロショット・クロスランガル生成が到達範囲内であることを示唆する。
• 参考スコア（独自算出の注目度）: 48.80125962015044
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we explore the challenging problem of performing a generative task (i.e., summarization) in a target language when labeled data is only available in English. We assume a strict setting with no access to parallel data or machine translation. Prior work has shown, and we confirm, that standard transfer learning techniques struggle in this setting, as a generative multilingual model fine-tuned purely on English catastrophically forgets how to generate non-English. Given the recent rise of parameter-efficient adaptation techniques (e.g., prompt tuning), we conduct the first investigation into how well these methods can overcome catastrophic forgetting to enable zero-shot cross-lingual generation. We find that parameter-efficient adaptation provides gains over standard fine-tuning when transferring between less-related languages, e.g., from English to Thai. However, a significant gap still remains between these methods and fully-supervised baselines. To improve cross-lingual transfer further, we explore three approaches: (1) mixing in unlabeled multilingual data, (2) pre-training prompts on target language data, and (3) explicitly factoring prompts into recombinable language and task components. Our methods can provide further quality gains, suggesting that robust zero-shot cross-lingual generation is within reach.
• Abstract（参考訳）: 本稿では,ラベル付きデータが英語でのみ利用できる場合に,対象言語で生成タスク(すなわち要約)を実行するという課題について検討する。 並列データや機械翻訳へのアクセスのない厳密な設定を想定する。 それまでの研究では、英語のカタストロフィックに微調整された生成多言語モデルとして、非英語の生成方法を忘れているため、標準移動学習技術がこの環境で苦労していることが確認された。 最近のパラメータ効率適応技術(即時チューニングなど)の台頭を踏まえ、我々はこれらの手法が破滅的な忘れをいかに克服し、ゼロショットのクロスランガル生成を可能にするかを初めて研究する。 パラメータ効率の適応は、英語からタイ語への非関連言語間の移動において、標準的な微調整よりも向上することがわかった。 しかし、これらの方法と完全に監視されたベースラインとの間には、依然として大きなギャップが残っている。 言語間移動をさらに改善するために,(1)ラベルなし多言語データの混合,(2)対象言語データに対する事前学習,(3)言語とタスクのコンポーネントを明示的に分解する3つのアプローチを検討する。 提案手法はさらなる品質向上を実現し,ロバストなゼロショット対言語生成が到達範囲内であることを示唆する。

関連論文リスト

• No Train but Gain: Language Arithmetic for training-free Language Adapters enhancement [59.37775534633868]
  本稿では,学習不要な後処理が可能な言語演算法を提案する。 提案手法の有効性を,MAD-Xに基づく言語間スキームの3つの下流課題に適用した。
  論文  参考訳（メタデータ） (2024-04-24T08:52:40Z)
• Key ingredients for effective zero-shot cross-lingual knowledge transfer in generative tasks [22.93790760274486]
  ゼロショットの言語間知識伝達により、ある言語でタスクを微調整し、他の言語でタスクの予測を行う多言語事前学習言語モデルが可能になる。 以前の作業では、間違った言語で頻繁に発生する問題に気付き、通常、mT5をバックボーンモデルとして使用して対処するためのアプローチを提案する。 本研究では,mBARTやNLLB-200といった代替バックボーンモデルを含む,統一された設定で文献から提案されるさまざまなアプローチを比較した。
  論文  参考訳（メタデータ） (2024-02-19T16:43:57Z)
• Self-Augmentation Improves Zero-Shot Cross-Lingual Transfer [92.80671770992572]
  言語間移動は多言語NLPにおける中心的なタスクである。 このタスクの以前の作業では、並列コーパス、バイリンガル辞書、その他の注釈付きアライメントデータを使用していた。 ゼロショットの言語間移動を改善するため, 単純で効果的なSALT法を提案する。
  論文  参考訳（メタデータ） (2023-09-19T19:30:56Z)
• Measuring Catastrophic Forgetting in Cross-Lingual Transfer Paradigms: Exploring Tuning Strategies [4.118037156777793]
  言語間移動は、少ないリソースの言語でタスクを解くための有望なテクニックである。 大規模言語モデルに対する2つの微調整アプローチとゼロショットおよびフルショット学習アプローチを比較した。
  論文  参考訳（メタデータ） (2023-09-12T09:37:08Z)
• Why Does Zero-Shot Cross-Lingual Generation Fail? An Explanation and a Solution [0.9085116579988537]
  細調整プロセスは言語不変表現を学習し、分類タスクには有益であるが、生成タスクには有害であることを示す。 3つの意味的に多様な生成タスクの実験により,提案手法は事故翻訳問題を68%削減し,ROUGE-Lスコアを平均1.5改善した。
  論文  参考訳（メタデータ） (2023-05-27T02:04:19Z)
• A Simple and Effective Method to Improve Zero-Shot Cross-Lingual Transfer Learning [6.329304732560936]
  既存のゼロショットのクロスリンガル転送法は、並列コーパスやバイリンガル辞書に依存している。 意味喪失のない仮想多言語埋め込みに英語の埋め込みを移すための埋め込み・プッシュ・アテンション・プル・ロバスト・ターゲットを提案する。
  論文  参考訳（メタデータ） (2022-10-18T15:36:53Z)
• ZmBART: An Unsupervised Cross-lingual Transfer Framework for Language Generation [4.874780144224057]
  自然言語生成のための言語間移動は、比較的研究が進められている。 NLGの4つのタスク(テキスト要約、質問生成、ニュース見出し生成、イントラクタ生成)と3つの構文的に多様な言語について検討する。 並列あるいは擬似並列/バックトランスレートデータを使用しない教師なし言語間言語生成フレームワーク(ZmBART)を提案する。
  論文  参考訳（メタデータ） (2021-06-03T05:08:01Z)
• VECO: Variable and Flexible Cross-lingual Pre-training for Language Understanding and Generation [77.82373082024934]
  我々はTransformerエンコーダにクロスアテンションモジュールを挿入し、言語間の相互依存を明確に構築する。 独自の言語でコンテキストにのみ条件付けされたマスク付き単語の予測の退化を効果的に回避することができる。 提案した言語間モデルでは,XTREMEベンチマークのさまざまな言語間理解タスクに対して,最先端の新たな結果が提供される。
  論文  参考訳（メタデータ） (2020-10-30T03:41:38Z)
• Unsupervised Cross-lingual Adaptation for Sequence Tagging and Beyond [58.80417796087894]
  多言語事前訓練言語モデル(mPTLM)による言語間適応は、主にゼロショットアプローチと翻訳に基づくアプローチの2行からなる。 本稿では、ゼロショットアプローチと翻訳に基づくアプローチを統合し、適応性能を向上させるための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-10-23T13:47:01Z)
• Exploring Fine-tuning Techniques for Pre-trained Cross-lingual Models via Continual Learning [74.25168207651376]
  訓練済みの言語モデルから下流の言語間タスクへの微調整は、有望な結果を示している。 ダウンストリームタスクに微調整する場合、継続学習を活用して、事前学習したモデルの言語間能力を維持する。 提案手法は、ゼロショット言語間タグ付けや名前付きエンティティ認識タスクにおいて、他の微調整ベースラインよりも優れた性能を実現する。
  論文  参考訳（メタデータ） (2020-04-29T14:07:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。