論文の概要: UCAS-IIE-NLP at SemEval-2023 Task 12: Enhancing Generalization of
Multilingual BERT for Low-resource Sentiment Analysis
- arxiv url: http://arxiv.org/abs/2306.01093v1
- Date: Thu, 1 Jun 2023 19:10:09 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-05 18:11:31.725081
- Title: UCAS-IIE-NLP at SemEval-2023 Task 12: Enhancing Generalization of
Multilingual BERT for Low-resource Sentiment Analysis
- Title（参考訳）: ucas-iie-nlp at semeval-2023 task 12: 低リソース感情分析のための多言語bertの一般化
- Authors: Dou Hu, Lingwei Wei, Yaxin Liu, Wei Zhou, Songlin Hu
- Abstract要約: 本稿では,SemEval-2023 Task 12: Sentiment Analysis for African Languageについて述べる。
具体的には,語彙に基づく多言語BERTを設計し,言語適応と感情認識表現学習を容易にする。
提案システムは,多言語およびゼロショットの感情分類サブタスクにおいて,ベースラインをほぼ上回り,競争的な結果を得た。
- 参考スコア（独自算出の注目度）: 24.542445315345464
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper describes our system designed for SemEval-2023 Task 12: Sentiment
analysis for African languages. The challenge faced by this task is the
scarcity of labeled data and linguistic resources in low-resource settings. To
alleviate these, we propose a generalized multilingual system SACL-XLMR for
sentiment analysis on low-resource languages. Specifically, we design a
lexicon-based multilingual BERT to facilitate language adaptation and
sentiment-aware representation learning. Besides, we apply a supervised
adversarial contrastive learning technique to learn sentiment-spread structured
representations and enhance model generalization. Our system achieved
competitive results, largely outperforming baselines on both multilingual and
zero-shot sentiment classification subtasks. Notably, the system obtained the
1st rank on the zero-shot classification subtask in the official ranking.
Extensive experiments demonstrate the effectiveness of our system.
- Abstract（参考訳）: 本稿では,SemEval-2023 Task 12: Sentiment Analysis for African Languageについて述べる。
このタスクで直面する課題は、低リソース環境におけるラベル付きデータと言語資源の不足である。
そこで本稿では,低リソース言語に対する感情分析のための汎用多言語システムSACL-XLMRを提案する。
具体的には,語彙に基づく多言語BERTを設計し,言語適応と感情認識表現学習を容易にする。
さらに,教師付きコントラスト学習手法を適用し,感情のスプレッド構造表現を学習し,モデルの一般化を促進する。
本システムは,多言語およびゼロショット感情分類サブタスクのベースラインを上回って,競争力のある結果を得た。
特に、システムは、公式のランキングにおいて、ゼロショット分類サブタスクの1位を獲得した。
広範な実験により,本システムの有効性が実証された。
関連論文リスト
- Revisiting non-English Text Simplification: A Unified Multilingual
Benchmark [14.891068432456262]
本稿では,12言語に170万以上の複雑な文対を含む27のリソースの集合であるMultiSimベンチマークを紹介する。
事前学習した多言語言語モデルを用いたMultiSimを用いた実験により,非英語環境での多言語学習によるエキサイティングな性能向上が示された。
論文 参考訳（メタデータ） (2023-05-25T03:03:29Z) - NLNDE at SemEval-2023 Task 12: Adaptive Pretraining and Source Language
Selection for Low-Resource Multilingual Sentiment Analysis [11.05909046179595]
本稿では,SemEval-2023タスク12「Twitterデータセットを用いた低リソースアフリカの言語に対する感性分析」のために開発したシステムについて述べる。
対象言語とタスクに事前訓練されたモデルを適用すると、小さいが関連するコーパスを使うことで、F1スコア以上のパフォーマンスが著しく向上する。
共有タスクでは、15トラック中8トラックが勝利し、特に多言語評価において最善を尽くす。
論文 参考訳（メタデータ） (2023-04-28T21:02:58Z) - Multilingual Word Sense Disambiguation with Unified Sense Representation [55.3061179361177]
本稿では,知識と教師付き多言語単語センス曖昧化(MWSD)システムを提案する。
我々は複数の言語に統一されたセンス表現を構築し、リッチソース言語から貧しい言語へアノテーションを転送することでMWSDのアノテーション不足問題に対処する。
SemEval-13およびSemEval-15データセットの評価により,提案手法の有効性が示された。
論文 参考訳（メタデータ） (2022-10-14T01:24:03Z) - Multi-level Contrastive Learning for Cross-lingual Spoken Language
Understanding [90.87454350016121]
コントラスト学習のための難解なサンプルを, あらゆるレベルで生成するコードスイッチング手法を開発した。
言語間知識伝達にラベルセマンティクスを利用するラベル認識ジョイントモデルを開発した。
論文 参考訳（メタデータ） (2022-05-07T13:44:28Z) - Few-Shot Cross-lingual Transfer for Coarse-grained De-identification of
Code-Mixed Clinical Texts [56.72488923420374]
事前学習型言語モデル (LM) は低リソース環境下での言語間移動に大きな可能性を示している。
脳卒中におけるコードミキシング(スペイン・カタラン)臨床ノートの低リソース・実世界の課題を解決するために,NER (name recognition) のためのLMの多言語間転写特性を示す。
論文 参考訳（メタデータ） (2022-04-10T21:46:52Z) - PALI-NLP at SemEval-2022 Task 4: Discriminative Fine-tuning of Deep
Transformers for Patronizing and Condescending Language Detection [4.883341580669763]
そこで我々は,PCL検出のための新しいトランスフォーマーモデルとそのアンサンブルを提案する。
PCLの微妙で主観的な性質の理解を容易にするために,2つの微調整戦略を適用した。
このシステムは公式ランキングにおいて顕著な結果、すなわちSubtask 1で1位、Subtask 2で5位となる。
論文 参考訳（メタデータ） (2022-03-09T10:05:10Z) - Intent Classification Using Pre-Trained Embeddings For Low Resource
Languages [67.40810139354028]
言語固有の音声認識に依存しない音声理解システムを構築することは、言語処理において重要でない問題である。
本稿では,事前学習した音響モデルを用いて,低資源シナリオにおける音声言語理解を実現するための比較研究を提案する。
私たちは、ハイ、ミディアム、低リソースシナリオをシミュレートするために、それぞれ異なるデータサイズを持つ英語、Sinhala、Tamilの3つの異なる言語で実験を行います。
論文 参考訳（メタデータ） (2021-10-18T13:06:59Z) - AM2iCo: Evaluating Word Meaning in Context across Low-ResourceLanguages
with Adversarial Examples [51.048234591165155]
本稿では, AM2iCo, Adversarial and Multilingual Meaning in Contextを提案する。
言語間文脈における単語の意味の同一性を理解するために、最先端(SotA)表現モデルを忠実に評価することを目的としている。
その結果、現在のSotAプリトレーニングエンコーダは人間のパフォーマンスにかなり遅れていることが明らかとなった。
論文 参考訳（メタデータ） (2021-04-17T20:23:45Z) - Improving the Lexical Ability of Pretrained Language Models for
Unsupervised Neural Machine Translation [127.81351683335143]
クロスリンガルプリトレーニングは、2つの言語の語彙的表現と高レベル表現を整列させるモデルを必要とする。
これまでの研究では、これは表現が十分に整合していないためです。
本稿では,語彙レベルの情報で事前学習するバイリンガルマスク言語モデルを,型レベルのクロスリンガルサブワード埋め込みを用いて強化する。
論文 参考訳（メタデータ） (2021-03-18T21:17:58Z) - ANDES at SemEval-2020 Task 12: A jointly-trained BERT multilingual model
for offensive language detection [0.6445605125467572]
我々は,提案言語にまたがる課題に対処するために,多言語BERTを微調整した単一モデルを共同で訓練した。
私たちの単一モデルは、最高のパフォーマンスシステムに近いパフォーマンスで、競争力のある結果を得ました。
論文 参考訳（メタデータ） (2020-08-13T16:07:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。