論文の概要: Analyzing the Effects of Reasoning Types on Cross-Lingual Transfer
Performance
- arxiv url: http://arxiv.org/abs/2110.02386v1
- Date: Tue, 5 Oct 2021 22:36:46 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-08 09:03:52.604683
- Title: Analyzing the Effects of Reasoning Types on Cross-Lingual Transfer
Performance
- Title(参考訳): 推論型が言語間伝達性能に及ぼす影響の分析
- Authors: Karthikeyan K, Aalok Sathe, Somak Aditya, Monojit Choudhury
- Abstract要約: 自然言語推論(NLI)の例は、しばしば様々な種類のサブタスクに関係し、異なる種類の推論を必要とする。
ある種の推論は、モノリンガルな文脈で学ぶことがより困難であることが証明されている。
推論型と言語類似性の一致が伝達性能に与える影響を統計的に観察する。
- 参考スコア(独自算出の注目度): 10.33152983955968
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multilingual language models achieve impressive zero-shot accuracies in many
languages in complex tasks such as Natural Language Inference (NLI). Examples
in NLI (and equivalent complex tasks) often pertain to various types of
sub-tasks, requiring different kinds of reasoning. Certain types of reasoning
have proven to be more difficult to learn in a monolingual context, and in the
crosslingual context, similar observations may shed light on zero-shot transfer
efficiency and few-shot sample selection. Hence, to investigate the effects of
types of reasoning on transfer performance, we propose a category-annotated
multilingual NLI dataset and discuss the challenges to scale monolingual
annotations to multiple languages. We statistically observe interesting effects
that the confluence of reasoning types and language similarities have on
transfer performance.
- Abstract(参考訳): 多言語言語モデルは、自然言語推論(NLI)のような複雑なタスクにおいて、多くの言語で印象的なゼロショット精度を達成する。
NLI(および同等の複雑なタスク)の例は、しばしば様々な種類のサブタスクに関係し、異なる種類の推論を必要とする。
ある種の推論は、単言語的な文脈で学ぶことがより困難であることが証明されており、クロスリンガルな文脈では、同様の観察がゼロショット転送効率と少数ショットサンプル選択に光を当てる可能性がある。
そこで本研究では,多言語NLIデータセットをカテゴリ化して,単一言語アノテーションを複数言語に拡張する上での課題について検討する。
我々は,推論型と言語類似性の融合が転送性能に与える影響を統計的に観察する。
関連論文リスト
- Is Prompt-Based Finetuning Always Better than Vanilla Finetuning?
Insights from Cross-Lingual Language Understanding [0.30586855806896046]
本稿では, Prompt-based Finetuning の言語間機能を調べるために, ProFiT パイプラインを提案する。
本研究は,言語間言語理解におけるアクシデントベースファインタニングの有効性と汎用性を明らかにするものである。
論文 参考訳(メタデータ) (2023-07-15T20:33:33Z) - Multilingual Few-Shot Learning via Language Model Retrieval [18.465566186549072]
トランスフォーマーベースの言語モデルは、数ショットのインコンテキスト学習において顕著な成功を収めた。
本研究は,意味論的に類似したショットサンプルを検索し,コンテキストとして利用する研究である。
提案手法を,意図検出,質問分類,感情分析,話題分類に関連する5つの自然言語理解データセット上で評価した。
論文 参考訳(メタデータ) (2023-06-19T14:27:21Z) - Boosting Cross-lingual Transferability in Multilingual Models via
In-Context Learning [1.2234742322758418]
本稿では,新たな言語間移動促進手法であるIn-CLTを提案する。
我々は,質問応答タスクに着目し,多言語ベンチマークの評価を行う。
実験結果から,In-CLTは多言語モデルの言語間移動性を向上するだけでなく,目立たない言語一般化能力も示している。
論文 参考訳(メタデータ) (2023-05-24T15:14:49Z) - BUFFET: Benchmarking Large Language Models for Few-shot Cross-lingual
Transfer [81.5984433881309]
本稿では,54言語にまたがる15のタスクをシーケンス・ツー・シーケンス・フォーマットで統一するBUFFETを紹介する。
BUFFETは、数発の言語間移動のための厳密で公平な評価フレームワークを確立するように設計されている。
コンテクスト内言語間移動における改善の余地は極めて大きいことが判明した。
論文 参考訳(メタデータ) (2023-05-24T08:06:33Z) - Efficiently Aligned Cross-Lingual Transfer Learning for Conversational
Tasks using Prompt-Tuning [98.60739735409243]
英語のような高リソース言語で訓練された言語モデルの言語間移動は、多くのNLPタスクのために広く研究されている。
並列および大規模多言語会話データセットである言語間アライメント事前学習のためのXSGDを導入する。
協調的な言語間表現を容易にするために,アライメントプロンプトを学習するための効率的なプロンプトチューニング手法を開発した。
論文 参考訳(メタデータ) (2023-04-03T18:46:01Z) - Prompting Large Language Model for Machine Translation: A Case Study [87.88120385000666]
我々は機械翻訳戦略の推進に関する体系的研究を行っている。
本稿では,プロンプトテンプレートと実演例選択の要因について検討する。
本稿では,モノリンガルデータの利用と,クロスリンガル,クロスドメイン,文-文書間伝達学習の実現可能性について検討する。
論文 参考訳(メタデータ) (2023-01-17T18:32:06Z) - When is BERT Multilingual? Isolating Crucial Ingredients for
Cross-lingual Transfer [15.578267998149743]
サブワード重複の欠如は,言語が単語順に異なる場合,ゼロショット転送に大きく影響することを示す。
言語間の伝達性能と単語埋め込みアライメントの間には強い相関関係がある。
その結果、言語間の単語埋め込みアライメントを明示的に改善する多言語モデルに焦点が当てられた。
論文 参考訳(メタデータ) (2021-10-27T21:25:39Z) - Discovering Representation Sprachbund For Multilingual Pre-Training [139.05668687865688]
多言語事前学習モデルから言語表現を生成し、言語分析を行う。
すべての対象言語を複数のグループにクラスタリングし、表現のスプラックバンドとして各グループに名前を付ける。
言語間ベンチマークで実験を行い、強いベースラインと比較して大幅な改善が達成された。
論文 参考訳(メタデータ) (2021-09-01T09:32:06Z) - Gender Bias in Multilingual Embeddings and Cross-Lingual Transfer [101.58431011820755]
多言語埋め込みにおけるジェンダーバイアスとNLPアプリケーションの伝達学習への影響について検討する。
我々は、バイアス分析のための多言語データセットを作成し、多言語表現におけるバイアスの定量化方法をいくつか提案する。
論文 参考訳(メタデータ) (2020-05-02T04:34:37Z) - Bridging Linguistic Typology and Multilingual Machine Translation with
Multi-View Language Representations [83.27475281544868]
特異ベクトル標準相関解析を用いて、各情報源からどのような情報が誘導されるかを調べる。
我々の表現は類型学を組み込み、言語関係と相関関係を強化する。
次に、多言語機械翻訳のための多視点言語ベクトル空間を利用して、競合する全体的な翻訳精度を実現する。
論文 参考訳(メタデータ) (2020-04-30T16:25:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。