論文の概要: Cross-lingual Intermediate Fine-tuning improves Dialogue State Tracking
- arxiv url: http://arxiv.org/abs/2109.13620v1
- Date: Tue, 28 Sep 2021 11:22:38 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-29 21:02:57.227136
- Title: Cross-lingual Intermediate Fine-tuning improves Dialogue State Tracking
- Title（参考訳）: 対話状態追跡を改善した言語間中間微調整
- Authors: Nikita Moghe and Mark Steedman and Alexandra Birch
- Abstract要約: 我々は、事前訓練された多言語モデルの中間微調整により、伝達学習プロセスを強化する。
我々は、パラレルおよび会話型の映画字幕データセットを使用して、言語間中間タスクを設計する。
パラレルなMultiWoZデータセットとMultilingual WoZデータセットの精度を20%向上させる。
- 参考スコア（独自算出の注目度）: 84.50302759362698
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent progress in task-oriented neural dialogue systems is largely focused
on a handful of languages, as annotation of training data is tedious and
expensive. Machine translation has been used to make systems multilingual, but
this can introduce a pipeline of errors. Another promising solution is using
cross-lingual transfer learning through pretrained multilingual models.
Existing methods train multilingual models with additional code-mixed task data
or refine the cross-lingual representations through parallel ontologies. In
this work, we enhance the transfer learning process by intermediate fine-tuning
of pretrained multilingual models, where the multilingual models are fine-tuned
with different but related data and/or tasks. Specifically, we use parallel and
conversational movie subtitles datasets to design cross-lingual intermediate
tasks suitable for downstream dialogue tasks. We use only 200K lines of
parallel data for intermediate fine-tuning which is already available for 1782
language pairs. We test our approach on the cross-lingual dialogue state
tracking task for the parallel MultiWoZ (English -> Chinese, Chinese ->
English) and Multilingual WoZ (English -> German, English -> Italian) datasets.
We achieve impressive improvements (> 20% on joint goal accuracy) on the
parallel MultiWoZ dataset and the Multilingual WoZ dataset over the vanilla
baseline with only 10% of the target language task data and zero-shot setup
respectively.
- Abstract（参考訳）: タスク指向のニューラルダイアログシステムの最近の進歩は、トレーニングデータのアノテーションが面倒で高価であるため、主に少数の言語に焦点を当てている。
機械翻訳はシステムを多言語化するために用いられてきたが、これはエラーのパイプラインをもたらす可能性がある。
もうひとつの有望な解決策は、事前訓練された多言語モデルによる言語間転送学習だ。
既存の方法は、追加のコード混合タスクデータで多言語モデルを訓練したり、並列オントロジーによって言語間表現を洗練したりする。
本研究では,事前訓練した多言語モデルの中間的微調整により伝達学習プロセスを強化し,多言語モデルは異なるが関連するデータやタスクで微調整される。
具体的には,並列および対話型映画サブタイトルのデータセットを用いて,下流対話タスクに適した言語間中間タスクを設計する。
すでに1782の言語ペアで使用可能な中間微調整には,200k行の並列データのみを使用する。
我々は,MultiWoZ(英語 ->中国語,中国語 ->英語)とMultilingual WoZ(英語 ->ドイツ語,英語 ->イタリア語)の並列な対話状態追跡タスクに対して,我々のアプローチを検証した。
対象言語タスクデータの10%とゼロショット設定のみで,並列マルチウォズデータセットと多言語wozデータセット上での印象的な改善(共同目標精度の20%以上)を実現している。
関連論文リスト
- Zero-shot Cross-lingual Transfer without Parallel Corpus [6.937772043639308]
本稿では,事前学習モデルを用いてゼロショット言語間移動を行う手法を提案する。
タスク関連のバイリンガル情報アライメントを適用するバイリンガルタスクフィッティングモジュールで構成されている。
自己学習モジュールは、ラベルのないデータに対して擬似ソフトおよびハードラベルを生成し、それを利用して自己学習を行う。
論文 参考訳（メタデータ） (2023-10-07T07:54:22Z) - Efficiently Aligned Cross-Lingual Transfer Learning for Conversational
Tasks using Prompt-Tuning [98.60739735409243]
英語のような高リソース言語で訓練された言語モデルの言語間移動は、多くのNLPタスクのために広く研究されている。
並列および大規模多言語会話データセットである言語間アライメント事前学習のためのXSGDを導入する。
協調的な言語間表現を容易にするために,アライメントプロンプトを学習するための効率的なプロンプトチューニング手法を開発した。
論文 参考訳（メタデータ） (2023-04-03T18:46:01Z) - Multilingual Multimodal Learning with Machine Translated Text [27.7207234512674]
英語のマルチモーダルデータの機械翻訳が、容易に利用できる多言語データの欠如を抑えるための効果的なプロキシとなるかどうかを考察する。
得られたデータセットからそのような翻訳を自動的に除去する2つの指標を提案する。
In experiment on five task across 20 languages in the IGLUE benchmark, we show that translated data can provide a useful signal for multilingual multimodal learning。
論文 参考訳（メタデータ） (2022-10-24T11:41:20Z) - Multi2WOZ: A Robust Multilingual Dataset and Conversational Pretraining
for Task-Oriented Dialog [67.20796950016735]
Multi2WOZデータセットは、中国語、ドイツ語、アラビア語、ロシア語の4つの言語にまたがる。
本稿では,任意の下流TODタスクに対する言語間移動を容易にすることを目的とした,事前学習言語モデル(PrLM)の多言語会話特化のための新しいフレームワークを提案する。
実験の結果,目標言語における(I)会話の特殊化と,(II)具体的なTODタスクのための少数ショット転送の組み合わせが,ほとんどの場合,最高の性能を示すことがわかった。
論文 参考訳（メタデータ） (2022-05-20T18:35:38Z) - Bridging Cross-Lingual Gaps During Leveraging the Multilingual
Sequence-to-Sequence Pretraining for Text Generation [80.16548523140025]
プレトレインとファインチューンの間のギャップを埋めるために、コードスイッチングの復元タスクを追加して、バニラプレトレイン-ファインチューンパイプラインを拡張します。
提案手法は,言語間文表現距離を狭くし,簡単な計算コストで低周波語翻訳を改善する。
論文 参考訳（メタデータ） (2022-04-16T16:08:38Z) - Multilingual Neural Semantic Parsing for Low-Resourced Languages [1.6244541005112747]
英語,イタリア語,日本語の新しい多言語意味解析データセットを提案する。
本研究では,事前学習したエンコーダを用いた多言語学習がTOPデータセットのベースラインを大幅に上回ることを示す。
英語データのみに基づいて訓練されたセマンティクスは、イタリア語の文に対して44.9%の精度でゼロショットのパフォーマンスを達成する。
論文 参考訳（メタデータ） (2021-06-07T09:53:02Z) - FILTER: An Enhanced Fusion Method for Cross-lingual Language
Understanding [85.29270319872597]
我々は,XLMファインタニングの入力として言語間データを利用する拡張融合法を提案する。
推論中は、ターゲット言語で入力されたテキストとソース言語の翻訳に基づいて予測を行う。
この問題に対処するため,対象言語における翻訳テキストのための自動生成ソフト擬似ラベルに基づくモデル学習のためのKL分割自己学習損失を提案する。
論文 参考訳（メタデータ） (2020-09-10T22:42:15Z) - CoSDA-ML: Multi-Lingual Code-Switching Data Augmentation for Zero-Shot
Cross-Lingual NLP [68.2650714613869]
我々は,mBERTを微調整するための多言語コードスイッチングデータを生成するためのデータ拡張フレームワークを提案する。
既存の研究と比較すると,本手法は訓練にバイリンガル文を頼らず,複数の対象言語に対して1つの学習プロセスしか必要としない。
論文 参考訳（メタデータ） (2020-06-11T13:15:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。