論文の概要: FHAC at GermEval 2021: Identifying German toxic, engaging, and
fact-claiming comments with ensemble learning
- arxiv url: http://arxiv.org/abs/2109.03094v1
- Date: Tue, 7 Sep 2021 13:52:39 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-08 14:42:40.419469
- Title: FHAC at GermEval 2021: Identifying German toxic, engaging, and
fact-claiming comments with ensemble learning
- Title（参考訳）: FHAC at GermEval 2021: アンサンブル学習によるドイツの有毒、エンゲージメント、事実を識別する
- Authors: Tobias Bornheim, Niklas Grieger, Stephan Bialonski
- Abstract要約: 我々は、GermEval 2021コンペティションが提供するFacebookデータにおいて、有毒(サブタスク1)、エンゲージメント(サブタスク2)、ファクトステートメント(サブタスク3)を識別するために、ドイツのBERTとドイツのELECTRAモデルを微調整した。
我々のベストアンサンブルは,全サブタスクで0.73点,サブタスクで0.72点,0.70点,サブタスクで0.76点を達成した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The availability of language representations learned by large pretrained
neural network models (such as BERT and ELECTRA) has led to improvements in
many downstream Natural Language Processing tasks in recent years. Pretrained
models usually differ in pretraining objectives, architectures, and datasets
they are trained on which can affect downstream performance. In this
contribution, we fine-tuned German BERT and German ELECTRA models to identify
toxic (subtask 1), engaging (subtask 2), and fact-claiming comments (subtask 3)
in Facebook data provided by the GermEval 2021 competition. We created
ensembles of these models and investigated whether and how classification
performance depends on the number of ensemble members and their composition. On
out-of-sample data, our best ensemble achieved a macro-F1 score of 0.73 (for
all subtasks), and F1 scores of 0.72, 0.70, and 0.76 for subtasks 1, 2, and 3,
respectively.
- Abstract（参考訳）: 大規模なトレーニング済みニューラルネットワークモデル(BERTやELECTRAなど)によって学習された言語表現の可用性は、近年、下流の自然言語処理タスクの改善につながっている。
事前訓練されたモデルは、通常、トレーニング対象、アーキテクチャ、トレーニング対象のデータセットが異なる。
この貢献により,ドイツのbertモデルとドイツのelectraモデルを微調整し,gergeval 2021コンペティションが提供するfacebookデータから有毒(subtask 1),関与(subtask 2),事実獲得コメント(subtask3)を同定した。
我々はこれらのモデルのアンサンブルを作成し、アンサンブルメンバーの数とその構成に依存する分類性能について検討した。
サンプル外データでは,サブタスク1,2,3では,マクロf1スコアが0.73点,f1スコアが0.72点,0.70点,0.76点をそれぞれ達成した。
関連論文リスト
- An Open Dataset and Model for Language Identification [84.15194457400253]
マクロ平均F1スコア0.93、偽陽性率0.033を201言語で達成するLIDモデルを提案する。
モデルとデータセットの両方を研究コミュニティに公開しています。
論文 参考訳（メタデータ） (2023-05-23T08:43:42Z) - Bag of Tricks for Effective Language Model Pretraining and Downstream
Adaptation: A Case Study on GLUE [93.98660272309974]
このレポートでは、ジェネラル言語理解評価のリーダーボードに関するVega v1を簡潔に紹介します。
GLUEは、質問応答、言語受容性、感情分析、テキスト類似性、パラフレーズ検出、自然言語推論を含む9つの自然言語理解タスクのコレクションである。
最適化された事前学習と微調整の戦略により、13億のモデルは4/9タスクに新しい最先端のタスクを設定し、91.3の平均スコアを達成しました。
論文 参考訳（メタデータ） (2023-02-18T09:26:35Z) - BJTU-WeChat's Systems for the WMT22 Chat Translation Task [66.81525961469494]
本稿では,WMT'22チャット翻訳タスクに対して,北京地東大学とWeChat AIを共同で提案する。
Transformerに基づいて、いくつかの有効な変種を適用します。
本システムでは,0.810と0.946のCOMETスコアを達成している。
論文 参考訳（メタデータ） (2022-11-28T02:35:04Z) - Exploring the Value of Pre-trained Language Models for Clinical Named
Entity Recognition [6.917786124918387]
我々は、スクラッチからトレーニングされたTransformerモデルと、細調整されたBERTベースのLLMを比較した。
文脈学習を促進するために,追加のCRF層がそのようなモデルに与える影響を検討する。
論文 参考訳（メタデータ） (2022-10-23T16:27:31Z) - UU-Tax at SemEval-2022 Task 3: Improving the generalizability of
language models for taxonomy classification through data augmentation [0.0]
本稿では,SemEval-2022 Task 3 PreTENS: Presuposed Taxonomies Evaluation Neural Network Semanticsについて述べる。
タスクの目標は、文に含まれる名詞対の間の分類学的関係によって、ある文が受け入れられているか否かを識別することである。
より優れた分類のための言語モデルの堅牢性と一般化性を高める効果的な方法を提案する。
論文 参考訳（メタデータ） (2022-10-07T07:41:28Z) - ANNA: Enhanced Language Representation for Question Answering [5.713808202873983]
事前学習モデルでは,各アプローチが個別にパフォーマンスにどう影響するかを示し,そのアプローチが共同で検討されている。
本稿では,事前学習タスクの拡張と,近隣のトークンにもっと参加して,事前学習言語モデリングのコンテキストの豊かさを把握できる新しい近隣認識機構を提案する。
我々の最良のモデルは、SQuAD 1.1上で95.7% F1と90.6% EMの新たな最先端結果を実現し、RoBERTa、ALBERT、ELECTRA、XLNetといった既存のトレーニング済み言語モデルよりも優れている。
論文 参考訳（メタデータ） (2022-03-28T05:26:52Z) - DeBERTaV3: Improving DeBERTa using ELECTRA-Style Pre-Training with
Gradient-Disentangled Embedding Sharing [117.41016786835452]
本稿では,DeBERTaモデルの改良を目的とした,事前学習型言語モデルDeBERTaV3を提案する。
ELECTRAでのバニラ埋め込み共有は、トレーニング効率とモデルパフォーマンスを損なう。
そこで本研究では、タグ・オブ・ウォーのダイナミクスを回避するために、新しい勾配距離の埋め込み方式を提案する。
論文 参考訳（メタデータ） (2021-11-18T06:48:00Z) - FH-SWF SG at GermEval 2021: Using Transformer-Based Language Models to
Identify Toxic, Engaging, & Fact-Claiming Comments [0.0]
我々はGermEval 2021への提出に使用した手法について述べる。
3つのサブタスクすべてに対して、Hugingfaceモデルハブから利用可能なトランスフォーマーベースのモデルを微調整しました。
トレーニングデータの80%を微調整した後, 各種事前学習モデルの性能評価を行い, 得られた2つのモデルについて予測を行った。
論文 参考訳（メタデータ） (2021-09-07T09:46:27Z) - Mixed-Lingual Pre-training for Cross-lingual Summarization [54.4823498438831]
言語間の要約は、ソース言語の記事に対する対象言語の要約を作成することを目的としている。
本稿では,翻訳のような言語間タスクと,マスク付き言語モデルのようなモノリンガルタスクの両方を活用する混合言語事前学習に基づくソリューションを提案する。
本モデルでは,2.82(中国語)と1.15(中国語,英語)のROUGE-1スコアを最先端の結果に対して改善する。
論文 参考訳（メタデータ） (2020-10-18T00:21:53Z) - SSMBA: Self-Supervised Manifold Based Data Augmentation for Improving
Out-of-Domain Robustness [66.37077266814822]
自然言語では、基礎となるデータ多様体に留まる新しい例を生成することは困難である。
本稿では,合成学習例を生成するためのデータ拡張手法であるSSMBAを紹介する。
3つのタスクと9つのデータセットにわたるベンチマークの実験では、SSMBAは既存のデータ拡張メソッドを一貫して上回っている。
論文 参考訳（メタデータ） (2020-09-21T22:02:33Z) - FiSSA at SemEval-2020 Task 9: Fine-tuned For Feelings [2.362412515574206]
本稿では,スペイン語と英語の混在するソーシャルメディアデータを用いた感情分類手法を提案する。
単言語モデルと多言語モデルの両方を標準微調整法を用いて検討する。
2段階の微調整により、ベースモデルよりも感情分類性能が向上するが、大規模多言語XLM-RoBERTaモデルではF1スコアが最適である。
論文 参考訳（メタデータ） (2020-07-24T14:48:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。