Fugu-MT 論文翻訳(概要): The Effectiveness of Intermediate-Task Training for Code-Switched Natural Language Understanding

論文の概要: The Effectiveness of Intermediate-Task Training for Code-Switched Natural Language Understanding

arxiv url: http://arxiv.org/abs/2107.09931v1
Date: Wed, 21 Jul 2021 08:10:59 GMT
ステータス: 処理完了
システム内更新日: 2021-07-22 20:24:25.771765
Title: The Effectiveness of Intermediate-Task Training for Code-Switched Natural Language Understanding
Title（参考訳）: コード切り換え自然言語理解における中間タスク学習の有効性
Authors: Archiki Prasad, Mohammad Ali Rehan, Shreya Pathak, Preethi Jyothi
Abstract要約: コードスイッチトテキストを用いた3つの異なるNLPタスクの性能向上を導出するための信頼性の高い手法としてバイリンガル中間訓練を提案する。我々は,従来の最先端システムと比較して,平均精度とF1スコアに対して,7.87%,20.15%,および10.99%の実質的な改善を実現している。 SAの4つの言語ペア(ヒンディー語、スペイン語、タミル語、マラヤラム語)において、一貫したパフォーマンス向上を示す。
参考スコア（独自算出の注目度）: 15.54831836850549
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: While recent benchmarks have spurred a lot of new work on improving the generalization of pretrained multilingual language models on multilingual tasks, techniques to improve code-switched natural language understanding tasks have been far less explored. In this work, we propose the use of bilingual intermediate pretraining as a reliable technique to derive large and consistent performance gains on three different NLP tasks using code-switched text. We achieve substantial absolute improvements of 7.87%, 20.15%, and 10.99%, on the mean accuracies and F1 scores over previous state-of-the-art systems for Hindi-English Natural Language Inference (NLI), Question Answering (QA) tasks, and Spanish-English Sentiment Analysis (SA) respectively. We show consistent performance gains on four different code-switched language-pairs (Hindi-English, Spanish-English, Tamil-English and Malayalam-English) for SA. We also present a code-switched masked language modelling (MLM) pretraining technique that consistently benefits SA compared to standard MLM pretraining using real code-switched text.
Abstract（参考訳）: 最近のベンチマークでは、事前訓練された多言語言語モデルの多言語タスクへの一般化に関する多くの新しい研究が進められているが、コード変更の自然言語理解タスクを改善する技術は、あまり研究されていない。本研究では,コードスイッチトテキストを用いた3つの異なるNLPタスクに対して,大規模かつ一貫した性能向上を導出する信頼性の高い手法としてバイリンガル中間訓練を提案する。ヒンディー語・英語の自然言語推論(NLI)、質問回答(QA)タスク、スペイン語の感性分析(SA)に対して、平均精度が7.87%、20.15%、F1スコアが10.99%向上した。 SAの4つの言語ペア(ヒンディー語、スペイン語、タミル語、マラヤラム語)において、一貫したパフォーマンス向上を示す。また,実コード切替テキストを用いた標準的なMLM事前学習と比較して,一貫したSAの恩恵を受けるコード切替マスク言語モデリング(MLM)について述べる。

関連論文リスト

Code-mixed LLM: Improve Large Language Models' Capability to Handle Code-Mixing through Reinforcement Learning from AI Feedback [11.223762031003671]
コードミキシングは、構文ミスマッチやセマンティックブレンディングなど、日常生活におけるユニークな課題を導入している。大規模言語モデル(LLM)は、人間の言語を理解するのに前例のない能力を提供することによって、自然言語処理(NLP)の分野に革命をもたらした。本稿では,人間フィードバック(RLHF)とコード混合機械翻訳タスクの強化学習を通じて,多言語LLMのコードミキシング理解能力を改善することを提案する。
論文参考訳（メタデータ） (2024-11-13T22:56:00Z)
No Train but Gain: Language Arithmetic for training-free Language Adapters enhancement [59.37775534633868]
本稿では,学習不要な後処理が可能な言語演算法を提案する。提案手法の有効性を,MAD-Xに基づく言語間スキームの3つの下流課題に適用した。
論文参考訳（メタデータ） (2024-04-24T08:52:40Z)
Eliciting Better Multilingual Structured Reasoning from LLMs through Code [17.870002864331322]
我々は6言語にまたがる4つのタスクを網羅する,xSTREETと呼ばれる多言語構造推論と説明データセットを提案する。 xSTREETは、英語と非英語の推論タスクの基本的なLLMパフォーマンスのギャップを露呈する。このギャップを緩和する2つの方法を提案する。
論文参考訳（メタデータ） (2024-03-05T00:48:56Z)
Pre-Trained Language-Meaning Models for Multilingual Parsing and Generation [14.309869321407522]
談話表現構造(DRS)に基づく多言語事前学習言語意味モデルを導入する。 DRSは言語中立であるため、非英語タスクの性能向上のために言語間移動学習が採用されている。自動評価の結果,本手法は多言語DSS解析とDSS-to-text生成の両タスクにおいて,最高の性能を達成できることが示唆された。
論文参考訳（メタデータ） (2023-05-31T19:00:33Z)
Simple yet Effective Code-Switching Language Identification with Multitask Pre-Training and Transfer Learning [0.7242530499990028]
コードスイッチング(Code-switching)は、カジュアルな設定において、多言語話者が異なる言語の単語を1つの発話で混ぜる言語現象である。英マンダリン言語指向音声データセットにおける言語識別精度向上のための2つの新しいアプローチを提案する。我々の最良のモデルでは、実際の英マンダリンのコードスイッチングによる子指向音声コーパスにおいて、0.781のバランスの取れた精度を達成し、以前のベースラインを55.3%上回っている。
論文参考訳（メタデータ） (2023-05-31T11:43:16Z)
Efficiently Aligned Cross-Lingual Transfer Learning for Conversational Tasks using Prompt-Tuning [98.60739735409243]
英語のような高リソース言語で訓練された言語モデルの言語間移動は、多くのNLPタスクのために広く研究されている。並列および大規模多言語会話データセットである言語間アライメント事前学習のためのXSGDを導入する。協調的な言語間表現を容易にするために,アライメントプロンプトを学習するための効率的なプロンプトチューニング手法を開発した。
論文参考訳（メタデータ） (2023-04-03T18:46:01Z)
Generalizing Multimodal Pre-training into Multilingual via Language Acquisition [54.69707237195554]
英語のVision-Language Pre-Trainingは、様々な下流タスクで大きな成功を収めた。この成功を英語以外の言語に一般化するために、Multilingual Vision-Language Pre-Trainingを通じていくつかの取り組みがなされている。単言語視覚言語事前学習モデルを多言語に容易に一般化できるtextbfMultitextbfLingual textbfAcquisition (MLA) フレームワークを提案する。
論文参考訳（メタデータ） (2022-05-29T08:53:22Z)
Bridging Cross-Lingual Gaps During Leveraging the Multilingual Sequence-to-Sequence Pretraining for Text Generation [80.16548523140025]
プレトレインとファインチューンの間のギャップを埋めるために、コードスイッチングの復元タスクを追加して、バニラプレトレイン-ファインチューンパイプラインを拡張します。提案手法は,言語間文表現距離を狭くし,簡単な計算コストで低周波語翻訳を改善する。
論文参考訳（メタデータ） (2022-04-16T16:08:38Z)
Bridging the Gap between Language Models and Cross-Lingual Sequence Labeling [101.74165219364264]
大規模言語間事前学習言語モデル (xPLM) は、言語間シーケンスラベリングタスクにおいて有効であることを示す。大きな成功にもかかわらず、事前学習と微調整の段階の間には訓練対象のギャップがあるという経験的観察を描いている。本稿では,まず,言語間インフォーマティブ・スパン・マスキング(CLISM)と呼ばれるxSLのための事前学習タスクを設計し,目的のギャップを解消する。第2に、コントラスト学習を利用して入力並列表現間の一貫性を促進するContrAstive-Consistency Regularization (CACR)を提案する。
論文参考訳（メタデータ） (2022-04-11T15:55:20Z)
LICHEE: Improving Language Model Pre-training with Multi-grained Tokenization [19.89228774074371]
本稿では,入力テキストの多粒度情報を効率的に組み込むための,シンプルで効果的な事前学習手法であるlicHEEを提案する。本手法は,様々な事前学習言語モデルに適用でき,その表現能力を向上させることができる。
論文参考訳（メタデータ） (2021-08-02T12:08:19Z)
XTREME-R: Towards More Challenging and Nuanced Multilingual Evaluation [93.80733419450225]
本稿では,言語間移動学習の現状を解析する。 XTREMEを10種類の自然言語理解タスクからなるXTREME-Rに拡張する。
論文参考訳（メタデータ） (2021-04-15T12:26:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。