論文の概要: Investigating Math Word Problems using Pretrained Multilingual Language
Models
- arxiv url: http://arxiv.org/abs/2105.08928v1
- Date: Wed, 19 May 2021 05:17:10 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-20 14:02:37.355517
- Title: Investigating Math Word Problems using Pretrained Multilingual Language
Models
- Title(参考訳): 事前学習型多言語言語モデルを用いた数学語問題の検討
- Authors: Minghuan Tan and Lei Wang and Lingxiao Jiang and Jing Jiang
- Abstract要約: 事前訓練された多言語言語モデル上でMWPソルバを構築する。
MWPソルバの言語横断シナリオと多言語シナリオにおける性能の比較を行った。
- 参考スコア(独自算出の注目度): 11.897704952336065
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: In this paper, we revisit math word problems~(MWPs) from the cross-lingual
and multilingual perspective. We construct our MWP solvers over pretrained
multilingual language models using sequence-to-sequence model with copy
mechanism. We compare how the MWP solvers perform in cross-lingual and
multilingual scenarios. To facilitate the comparison of cross-lingual
performance, we first adapt the large-scale English dataset MathQA as a
counterpart of the Chinese dataset Math23K. Then we extend several English
datasets to bilingual datasets through machine translation plus human
annotation. Our experiments show that the MWP solvers may not be transferred to
a different language even if the target expressions have the same operator set
and constants. But for both cross-lingual and multilingual cases, it can be
better generalized if problem types exist on both source language and target
language.
- Abstract(参考訳): 本稿では,多言語・多言語の観点から,数学用語の問題~(MWP)を再考する。
コピー機構を持つシークエンス・ツー・シーケンス・モデルを用いて,事前学習した多言語モデル上でMWPソルバを構築する。
MWPソルバの言語横断シナリオと多言語シナリオにおける性能の比較を行った。
言語間性能の比較を容易にするために,我々はまず,大規模な英語データセットMathQAを中国語データセットMath23Kに適合させる。
次に、機械翻訳と人間のアノテーションにより、複数の英語データセットをバイリンガルデータセットに拡張する。
実験の結果,対象表現が同じ演算子セットと定数を持つ場合でも,MWPソルバは別の言語に変換されないことがわかった。
しかし、言語横断と多言語の両方の場合、ソース言語とターゲット言語の両方に問題型が存在する場合、より一般化することができる。
関連論文リスト
- Crosslingual Generalization through Multitask Finetuning [80.8822603322471]
マルチタスク誘導ファインタニング(MTF)は、大きな言語モデルがゼロショット設定で新しいタスクに一般化するのに役立つことが示されている。
MTFを事前訓練された多言語BLOOMおよびmT5モデルファミリーに適用し、BLOOMZおよびmT0と呼ばれる微調整された変種を生成する。
英語のプロンプトを用いた英語タスクにおける多言語多言語モデルの微調整により、非英語言語へのタスク一般化が可能となる。
論文 参考訳(メタデータ) (2022-11-03T13:19:32Z) - Bridging Cross-Lingual Gaps During Leveraging the Multilingual
Sequence-to-Sequence Pretraining for Text Generation [80.16548523140025]
プレトレインとファインチューンの間のギャップを埋めるために、コードスイッチングの復元タスクを追加して、バニラプレトレイン-ファインチューンパイプラインを拡張します。
提案手法は,言語間文表現距離を狭くし,簡単な計算コストで低周波語翻訳を改善する。
論文 参考訳(メタデータ) (2022-04-16T16:08:38Z) - xGQA: Cross-Lingual Visual Question Answering [100.35229218735938]
xGQAは視覚的質問応答タスクのための新しい多言語評価ベンチマークである。
確立された英語GQAデータセットを7言語に拡張する。
本稿では,マルチモーダルトランスフォーマーモデルに適応するアダプタベースの新しいアプローチを提案する。
論文 参考訳(メタデータ) (2021-09-13T15:58:21Z) - UC2: Universal Cross-lingual Cross-modal Vision-and-Language
Pre-training [52.852163987208826]
UC2は、言語間クロスモーダル表現学習のための最初の機械翻訳拡張フレームワークである。
Masked Region-token Modeling (MRTM) と Visual Translation Language Modeling (VTLM) の2つの新しいプリトレーニングタスクを提案する。
提案手法は,英語タスクにおける単言語学習モデルと同等の性能を維持しつつ,多種多様な非英語ベンチマークで新たな最先端を実現する。
論文 参考訳(メタデータ) (2021-04-01T08:30:53Z) - Multilingual Transfer Learning for QA Using Translation as Data
Augmentation [13.434957024596898]
我々は,多言語組込みを意味空間に近づけることで,言語間伝達を改善する戦略を検討する。
言語敵対的トレーニングと言語仲裁フレームワークという2つの新しい戦略を提案し、(ゼロリソースの)クロスリンガルトランスファーのパフォーマンスを大幅に改善します。
実験により,提案モデルは,最近導入された多言語MLQAデータセットとTyDiQAデータセットにおいて,以前のゼロショットベースラインよりも優れていることを示す。
論文 参考訳(メタデータ) (2020-12-10T20:29:34Z) - CoSDA-ML: Multi-Lingual Code-Switching Data Augmentation for Zero-Shot
Cross-Lingual NLP [68.2650714613869]
我々は,mBERTを微調整するための多言語コードスイッチングデータを生成するためのデータ拡張フレームワークを提案する。
既存の研究と比較すると,本手法は訓練にバイリンガル文を頼らず,複数の対象言語に対して1つの学習プロセスしか必要としない。
論文 参考訳(メタデータ) (2020-06-11T13:15:59Z) - GLUECoS : An Evaluation Benchmark for Code-Switched NLP [17.066725832825423]
コード切替言語に対する評価ベンチマーク GLUECoS を提案する。
英語・ヒンディー語・英語・スペイン語におけるNLP課題について報告する。
我々は、人工的に生成されたコード切替データに基づいて、多言語モデルを微調整する。
論文 参考訳(メタデータ) (2020-04-26T13:28:34Z) - Learning to Scale Multilingual Representations for Vision-Language Tasks [51.27839182889422]
SMALRの有効性は、これまでビジョン言語タスクでサポートされた2倍以上の10の多言語で実証されている。
単語の埋め込み手法と比較して,訓練パラメータの1/5以下で,複数言語による画像文検索と先行作業の3~4%の性能評価を行った。
論文 参考訳(メタデータ) (2020-04-09T01:03:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。