論文の概要: Multilingual Neural Semantic Parsing for Low-Resourced Languages
- arxiv url: http://arxiv.org/abs/2106.03469v1
- Date: Mon, 7 Jun 2021 09:53:02 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-08 18:14:34.151715
- Title: Multilingual Neural Semantic Parsing for Low-Resourced Languages
- Title(参考訳): 低リソース言語のための多言語ニューラルセマンティックパーシング
- Authors: Menglin Xia, Emilio Monti
- Abstract要約: 英語,イタリア語,日本語の新しい多言語意味解析データセットを提案する。
本研究では,事前学習したエンコーダを用いた多言語学習がTOPデータセットのベースラインを大幅に上回ることを示す。
英語データのみに基づいて訓練されたセマンティクスは、イタリア語の文に対して44.9%の精度でゼロショットのパフォーマンスを達成する。
- 参考スコア(独自算出の注目度): 1.6244541005112747
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Multilingual semantic parsing is a cost-effective method that allows a single
model to understand different languages. However, researchers face a great
imbalance of availability of training data, with English being resource rich,
and other languages having much less data. To tackle the data limitation
problem, we propose using machine translation to bootstrap multilingual
training data from the more abundant English data. To compensate for the data
quality of machine translated training data, we utilize transfer learning from
pretrained multilingual encoders to further improve the model. To evaluate our
multilingual models on human-written sentences as opposed to machine translated
ones, we introduce a new multilingual semantic parsing dataset in English,
Italian and Japanese based on the Facebook Task Oriented Parsing (TOP) dataset.
We show that joint multilingual training with pretrained encoders substantially
outperforms our baselines on the TOP dataset and outperforms the
state-of-the-art model on the public NLMaps dataset. We also establish a new
baseline for zero-shot learning on the TOP dataset. We find that a semantic
parser trained only on English data achieves a zero-shot performance of 44.9%
exact-match accuracy on Italian sentences.
- Abstract(参考訳): 多言語意味解析は、単一のモデルで異なる言語を理解できるコスト効率の良い手法である。
しかし、研究者はトレーニングデータの可用性の大きな不均衡に直面しており、英語はリソースが豊富であり、他の言語はデータが少ない。
データ制限問題に対処するため、より豊富な英語データから多言語学習データをブートストラップする機械翻訳を提案する。
機械翻訳学習データのデータ品質を補うために,事前学習された多言語エンコーダからの転送学習を用いて,モデルをさらに改善する。
機械翻訳文とは対照的に,人間文の多言語モデルを評価するために,facebook task oriented parse (top) データセットに基づいて,英語,イタリア語,日本語に新しい多言語意味解析データセットを導入する。
我々は,事前学習したエンコーダを用いた多言語学習がTOPデータセットのベースラインを大幅に上回り,パブリックNLMapsデータセットの最先端モデルよりも優れていることを示す。
また、TOPデータセット上でゼロショット学習のための新しいベースラインを確立する。
英語データのみにトレーニングされた意味構文解析器は、イタリア語文の精度44.9%のゼロショット性能を達成している。
関連論文リスト
- Optimal Transport Posterior Alignment for Cross-lingual Semantic Parsing [68.47787275021567]
言語間のセマンティックパーシングは、高いソース言語(例えば英語)から少ないトレーニングデータを持つ低リソース言語へのパーシング能力を伝達する。
そこで本稿では,最適輸送を用いた係り受け変数間の言語間相違を明示的に最小化することで,言語間セマンティック解析のための新しい手法を提案する。
論文 参考訳(メタデータ) (2023-07-09T04:52:31Z) - Improving Cross-lingual Information Retrieval on Low-Resource Languages
via Optimal Transport Distillation [21.057178077747754]
本稿では,低リソースな言語間情報検索のためのOPTICAL: Optimal Transport 蒸留法を提案する。
クエリドキュメントマッチングの知識から言語間知識を分離することにより、OPTICALは蒸留訓練のためのbitextデータのみを必要とする。
実験結果から,OPTICALは最小限のトレーニングデータにより,低リソース言語上での強いベースラインを著しく上回ることがわかった。
論文 参考訳(メタデータ) (2023-01-29T22:30:36Z) - Multilingual Multimodal Learning with Machine Translated Text [27.7207234512674]
英語のマルチモーダルデータの機械翻訳が、容易に利用できる多言語データの欠如を抑えるための効果的なプロキシとなるかどうかを考察する。
得られたデータセットからそのような翻訳を自動的に除去する2つの指標を提案する。
In experiment on five task across 20 languages in the IGLUE benchmark, we show that translated data can provide a useful signal for multilingual multimodal learning。
論文 参考訳(メタデータ) (2022-10-24T11:41:20Z) - Bootstrapping Multilingual Semantic Parsers using Large Language Models [28.257114724384806]
複数の言語にまたがって英語データセットを転送するTranslation-trainパラダイムは、タスク固有の多言語モデルをトレーニングする上で重要な要素である。
本稿では,多言語意味解析の課題を考察し,英語データセットを複数言語に翻訳する大規模言語モデル(LLM)の有効性と柔軟性を示す。
論文 参考訳(メタデータ) (2022-10-13T19:34:14Z) - Language Agnostic Multilingual Information Retrieval with Contrastive
Learning [59.26316111760971]
本稿では,多言語情報検索システムの学習方法を提案する。
並列コーパスと非並列コーパスを利用して、事前訓練された多言語言語モデルを改善する。
我々のモデルは少数のパラレル文でもうまく機能する。
論文 参考訳(メタデータ) (2022-10-12T23:53:50Z) - Cross-lingual Intermediate Fine-tuning improves Dialogue State Tracking [84.50302759362698]
我々は、事前訓練された多言語モデルの中間微調整により、伝達学習プロセスを強化する。
我々は、パラレルおよび会話型の映画字幕データセットを使用して、言語間中間タスクを設計する。
パラレルなMultiWoZデータセットとMultilingual WoZデータセットの精度を20%向上させる。
論文 参考訳(メタデータ) (2021-09-28T11:22:38Z) - Translate & Fill: Improving Zero-Shot Multilingual Semantic Parsing with
Synthetic Data [2.225882303328135]
多言語セマンティックパーシングタスクのための銀のトレーニングデータを生成するための新しいTranslate-and-Fill(TaF)手法を提案する。
3つの多言語意味解析データセットの実験結果は、TaFによるデータ拡張が類似システムと競合する精度に達することを示している。
論文 参考訳(メタデータ) (2021-09-09T14:51:11Z) - A Hybrid Approach for Improved Low Resource Neural Machine Translation
using Monolingual Data [0.0]
多くの言語ペアは低リソースであるため、利用可能な並列データの量や品質は、ニューラルネットワーク翻訳(NMT)モデルをトレーニングするのに十分ではない。
本研究は, 後方モデルと前方モデルの両方が単言語的対象データから恩恵を受けられるような, 新たなアプローチを提案する。
論文 参考訳(メタデータ) (2020-11-14T22:18:45Z) - Cross-lingual Machine Reading Comprehension with Language Branch
Knowledge Distillation [105.41167108465085]
言語間機械読解(CLMRC)は、ローソース言語に大規模なデータセットがないため、依然として難しい問題である。
本稿では,Language Branch Machine Reading (LBMRC) という新しい拡張手法を提案する。
LBMRCは、個々の言語に精通したMultiple Machine Read comprehension (MRC)モデルを訓練する。
複数の言語分岐モデルから全ての対象言語に対する単一モデルへのアマルガメート知識の多言語蒸留アプローチを考案する。
論文 参考訳(メタデータ) (2020-10-27T13:12:17Z) - Beyond English-Centric Multilingual Machine Translation [74.21727842163068]
我々は真の多言語多言語翻訳モデルを作成し、100言語のいずれかのペア間で直接翻訳できる。
大規模なマイニングによって生成された教師付きデータで、数千の言語方向をカバーするトレーニングデータセットを構築し、オープンソースにしています。
WMTのベストシングルシステムに競争力を持たせながら、非英語の方向を直接翻訳する場合、非英語モデルに焦点をあてると10 BLEU以上のゲインが得られる。
論文 参考訳(メタデータ) (2020-10-21T17:01:23Z) - Bootstrapping a Crosslingual Semantic Parser [74.99223099702157]
我々は、英語のような単一の言語で訓練された意味を、最小限のアノテーションで新しい言語や複数のドメインに適用する。
我々は、機械翻訳がトレーニングデータの適切な代用であるかどうかを問うとともに、英語、パラフレーズ、多言語事前学習モデルとの併用トレーニングを用いて、ブートストラップを調査するように拡張する。
論文 参考訳(メタデータ) (2020-04-06T12:05:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。