Fugu-MT 論文翻訳(概要): FiSSA at SemEval-2020 Task 9: Fine-tuned For Feelings

論文の概要: FiSSA at SemEval-2020 Task 9: Fine-tuned For Feelings

arxiv url: http://arxiv.org/abs/2007.12544v3
Date: Mon, 19 Oct 2020 07:11:18 GMT
ステータス: 処理完了
システム内更新日: 2022-11-07 06:40:49.433888
Title: FiSSA at SemEval-2020 Task 9: Fine-tuned For Feelings
Title（参考訳）: FiSSA at SemEval-2020 Task 9: Fine-tuned for Feelings
Authors: Bertelt Braaksma, Richard Scholtens, Stan van Suijlekom, Remy Wang, Ahmet \"Ust\"un
Abstract要約: 本稿では,スペイン語と英語の混在するソーシャルメディアデータを用いた感情分類手法を提案する。単言語モデルと多言語モデルの両方を標準微調整法を用いて検討する。 2段階の微調整により、ベースモデルよりも感情分類性能が向上するが、大規模多言語XLM-RoBERTaモデルではF1スコアが最適である。
参考スコア（独自算出の注目度）: 2.362412515574206
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In this paper, we present our approach for sentiment classification on Spanish-English code-mixed social media data in the SemEval-2020 Task 9. We investigate performance of various pre-trained Transformer models by using different fine-tuning strategies. We explore both monolingual and multilingual models with the standard fine-tuning method. Additionally, we propose a custom model that we fine-tune in two steps: once with a language modeling objective, and once with a task-specific objective. Although two-step fine-tuning improves sentiment classification performance over the base model, the large multilingual XLM-RoBERTa model achieves best weighted F1-score with 0.537 on development data and 0.739 on test data. With this score, our team jupitter placed tenth overall in the competition.
Abstract（参考訳）: 本稿では,スペイン英語のコード混合ソーシャルメディアデータに対する感情分類手法を,semeval-2020タスク9で紹介する。異なる微調整戦略を用いて各種予習変圧器モデルの性能について検討する。単言語モデルと多言語モデルの両方を標準微調整法を用いて検討する。さらに、言語モデリングの目的を持つ場合と、タスク固有の目的を持つ場合の2つのステップで微調整を行うカスタムモデルを提案する。 2段階の微調整により、ベースモデルよりも感情分類性能が向上するが、大規模多言語XLM-RoBERTaモデルでは、開発データ0.537、テストデータ0.739の重み付きF1スコアが得られる。このスコアで、我々のチームは総合で10位になった。

関連論文リスト

CroissantLLM: A Truly Bilingual French-English Language Model [42.03897426049679]
英語とフランス語のトークンセットを事前訓練した1.3B言語モデルであるCroissantLLMを紹介する。我々は、英語とフランス語の事前学習データ比率1:1で、本質的なバイリンガルモデルを訓練するアプローチを開拓した。英語以外のパフォーマンスを評価するため、新しいベンチマークである FrenchBench を作成します。
論文参考訳（メタデータ） (2024-02-01T17:17:55Z)
Bag of Tricks for Effective Language Model Pretraining and Downstream Adaptation: A Case Study on GLUE [93.98660272309974]
このレポートでは、ジェネラル言語理解評価のリーダーボードに関するVega v1を簡潔に紹介します。 GLUEは、質問応答、言語受容性、感情分析、テキスト類似性、パラフレーズ検出、自然言語推論を含む9つの自然言語理解タスクのコレクションである。最適化された事前学習と微調整の戦略により、13億のモデルは4/9タスクに新しい最先端のタスクを設定し、91.3の平均スコアを達成しました。
論文参考訳（メタデータ） (2023-02-18T09:26:35Z)
ZhichunRoad at Amazon KDD Cup 2022: MultiTask Pre-Training for E-Commerce Product Search [4.220439000486713]
検索結果の質を向上させるために,頑健な多言語モデルを提案する。事前学習の段階では、mlmタスク、分類タスク、コントラスト学習タスクを採用する。微調整段階では、自信ある学習、指数的移動平均法(EMA)、対人訓練(FGM)、正規化ドロップアウト戦略(R-Drop)を用いる。
論文参考訳（メタデータ） (2023-01-31T07:31:34Z)
BJTU-WeChat's Systems for the WMT22 Chat Translation Task [66.81525961469494]
本稿では,WMT'22チャット翻訳タスクに対して,北京地東大学とWeChat AIを共同で提案する。 Transformerに基づいて、いくつかの有効な変種を適用します。本システムでは,0.810と0.946のCOMETスコアを達成している。
論文参考訳（メタデータ） (2022-11-28T02:35:04Z)
Alibaba-Translate China's Submission for WMT 2022 Metrics Shared Task [61.34108034582074]
私たちはUNITE(Unified Translation Evaluation)のコアアイデアに基づいてシステムを構築します。モデル事前学習の段階では、まず擬似ラベル付きデータ例をUNITEの継続事前訓練に適用する。微調整の段階では、過去のWMTコンペティションの直接評価(DA)と多次元品質メトリクス(MQM)のデータの両方を使用します。
論文参考訳（メタデータ） (2022-10-18T08:51:25Z)
Unifying Language Learning Paradigms [96.35981503087567]
データセットやセットアップ全体にわたって普遍的に有効である事前学習モデルのための統一的なフレームワークを提案する。本研究では, 事前学習対象を相互に配置し, 異なる対象間の補間を効果的に行う方法を示す。また,テキスト内学習において,ゼロショットSuperGLUEで175B GPT-3,ワンショット要約でT5-XXLの性能を3倍に向上させた。
論文参考訳（メタデータ） (2022-05-10T19:32:20Z)
RoBLEURT Submission for the WMT2021 Metrics Task [72.26898579202076]
本稿では,共有メトリクスタスクであるRoBLEURTについて紹介する。我々のモデルは10対の英語言語対のうち8対でWMT 2020の人間のアノテーションと最先端の相関に達する。
論文参考訳（メタデータ） (2022-04-28T08:49:40Z)
HFL at SemEval-2022 Task 8: A Linguistics-inspired Regression Model with Data Augmentation for Multilingual News Similarity [16.454545004093735]
本稿では,SemEval-2022 Task 8: Multilingual News Article similarityについて述べる。我々は,いくつかのタスク固有の戦略で訓練された言語モデルを提案した。 Pearson's correlation Coefficient of 0.818 on the official evaluation set。
論文参考訳（メタデータ） (2022-04-11T03:08:37Z)
FH-SWF SG at GermEval 2021: Using Transformer-Based Language Models to Identify Toxic, Engaging, & Fact-Claiming Comments [0.0]
我々はGermEval 2021への提出に使用した手法について述べる。 3つのサブタスクすべてに対して、Hugingfaceモデルハブから利用可能なトランスフォーマーベースのモデルを微調整しました。トレーニングデータの80%を微調整した後, 各種事前学習モデルの性能評価を行い, 得られた2つのモデルについて予測を行った。
論文参考訳（メタデータ） (2021-09-07T09:46:27Z)
Mixed-Lingual Pre-training for Cross-lingual Summarization [54.4823498438831]
言語間の要約は、ソース言語の記事に対する対象言語の要約を作成することを目的としている。本稿では,翻訳のような言語間タスクと,マスク付き言語モデルのようなモノリンガルタスクの両方を活用する混合言語事前学習に基づくソリューションを提案する。本モデルでは,2.82(中国語)と1.15(中国語,英語)のROUGE-1スコアを最先端の結果に対して改善する。
論文参考訳（メタデータ） (2020-10-18T00:21:53Z)
Gestalt: a Stacking Ensemble for SQuAD2.0 [0.0]
本稿では,文脈文中の質問に対する正しい回答を見つけ出し,提示する深層学習システムを提案する。我々のゴールは、各アンサンブルで最高のモデルを上回る異種SQuAD2.0モデルのアンサンブルを学習することである。
論文参考訳（メタデータ） (2020-04-02T08:09:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。