論文の概要: DAMP: Doubly Aligned Multilingual Parser for Task-Oriented Dialogue

• arxiv url: http://arxiv.org/abs/2212.08054v1
• Date: Thu, 15 Dec 2022 18:58:07 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-16 15:57:01.881111
• Title: DAMP: Doubly Aligned Multilingual Parser for Task-Oriented Dialogue
• Title（参考訳）: DAMP:タスク指向対話のための多言語パーザ
• Authors: William Held, Christopher Hidey, Fei Liu, Eric Zhu, Rahul Goel, Diyi Yang, Rushin Shah
• Abstract要約: コンストラシティブアライメントの事前学習により,英語のパフォーマンスと転送効率が向上することを示す。 我々のDAMP(Douubly Aligned Aligned Parsing)は,spanglish,Hinglish,Multilingual Task Oriented Parsingベンチマークにおいて,mBERT転送性能を3倍,6倍,81倍改善する。
• 参考スコア（独自算出の注目度）: 44.30286950799403
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern virtual assistants use internal semantic parsing engines to convert user utterances to actionable commands. However, prior work has demonstrated that semantic parsing is a difficult multilingual transfer task with low transfer efficiency compared to other tasks. In global markets such as India and Latin America, this is a critical issue as switching between languages is prevalent for bilingual users. In this work we dramatically improve the zero-shot performance of a multilingual and codeswitched semantic parsing system using two stages of multilingual alignment. First, we show that constrastive alignment pretraining improves both English performance and transfer efficiency. We then introduce a constrained optimization approach for hyperparameter-free adversarial alignment during finetuning. Our Doubly Aligned Multilingual Parser (DAMP) improves mBERT transfer performance by 3x, 6x, and 81x on the Spanglish, Hinglish and Multilingual Task Oriented Parsing benchmarks respectively and outperforms XLM-R and mT5-Large using 3.2x fewer parameters.
• Abstract（参考訳）: 現代の仮想アシスタントは、ユーザの発話をアクション可能なコマンドに変換するために、内部セマンティックパーシングエンジンを使用する。 しかし、以前の研究では、意味解析は他のタスクに比べて転送効率が低い、難しい多言語転送タスクであることが示された。 インドやラテンアメリカのようなグローバル市場では、言語間の切り替えがバイリンガルユーザに普及しているため、これは重要な問題である。 本研究では,2段階の多言語アライメントを用いて,多言語・コード切替型意味解析システムのゼロショット性能を劇的に改善する。 まず,コンストラッシブアライメントの事前学習により,英語のパフォーマンスと転送効率が向上することを示す。 次に,微調整時の超パラメータフリー対向アライメントに対する制約付き最適化手法を提案する。 我々のDAMP(Douubly Aligned Multilingual Parser)は,Spanglish,Hinglish,Multilingual Task Oriented ParsingベンチマークでmBERT転送性能を3倍,6倍,81倍改善し,XLM-RおよびmT5-Largeよりも3.2倍少ないパラメータで性能を向上する。

関連論文リスト

• Breaking the Script Barrier in Multilingual Pre-Trained Language Models with Transliteration-Based Post-Training Alignment [50.27950279695363]
  転送性能は、低リソースのターゲット言語が高リソースのソース言語とは異なるスクリプトで書かれている場合、しばしば妨げられる。 本論文は,この問題に対処するために翻訳を用いた最近の研究に触発されて,翻訳に基づくポストプレトレーニングアライメント(PPA)手法を提案する。
  論文  参考訳（メタデータ） (2024-06-28T08:59:24Z)
• Enhancing Cross-lingual Natural Language Inference by Soft Prompting with Multilingual Verbalizer [52.46740830977898]
  言語間自然言語推論は言語間言語理解の基本的な問題である。 我々は,XNLIのためのマルチリンガル・バーバリザ(SoftMV)を用いたソフトプロンプト学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-22T06:31:29Z)
• Language-Aware Multilingual Machine Translation with Self-Supervised Learning [13.250011906361273]
  多言語機械翻訳(MMT)は言語間変換の利点があるが、マルチタスク最適化の問題である。 自己教師付き学習アプローチは,MTタスクの補完タスクとして翻訳性能を向上させることで,有望であることを示す。 本稿では,エンコーダとデコーダの両方に単一言語データを同時に記述することで,MTタスクと協調学習を行う,新しい単純なSSLタスクを提案する。
  論文  参考訳（メタデータ） (2023-02-10T01:34:24Z)
• Parameter-Efficient Neural Reranking for Cross-Lingual and Multilingual Retrieval [66.69799641522133]
  最先端のニューラルランカーは、お腹が空いていることで悪名高い。 現在のアプローチでは、英語データに基づいて訓練されたローダを、多言語エンコーダを用いて他の言語や言語間設定に転送するのが一般的である。 本研究では,Sparse Fine-Tuning Masks (SFTMs) とAdapters (Adapters) の2つのパラメータ効率のアプローチにより,より軽量で効果的なゼロショット転送が可能となることを示す。
  論文  参考訳（メタデータ） (2022-04-05T15:44:27Z)
• Syntax-augmented Multilingual BERT for Cross-lingual Transfer [37.99210035238424]
  この研究は、言語構文とトレーニングmBERTを明示的に提供することが、言語間転送に役立つことを示している。 実験の結果,mBERTの構文拡張は,一般的なベンチマーク上での言語間移動を改善することがわかった。
  論文  参考訳（メタデータ） (2021-06-03T21:12:50Z)
• Are Multilingual Models Effective in Code-Switching? [57.78477547424949]
  多言語モデルの有効性を検討し,複合言語設定の能力と適応性について検討する。 この結果から,事前学習した多言語モデルでは,コードスイッチングにおける高品質な表現が必ずしも保証されないことが示唆された。
  論文  参考訳（メタデータ） (2021-03-24T16:20:02Z)
• VECO: Variable and Flexible Cross-lingual Pre-training for Language Understanding and Generation [77.82373082024934]
  我々はTransformerエンコーダにクロスアテンションモジュールを挿入し、言語間の相互依存を明確に構築する。 独自の言語でコンテキストにのみ条件付けされたマスク付き単語の予測の退化を効果的に回避することができる。 提案した言語間モデルでは,XTREMEベンチマークのさまざまな言語間理解タスクに対して,最先端の新たな結果が提供される。
  論文  参考訳（メタデータ） (2020-10-30T03:41:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。