Fugu-MT 論文翻訳(概要): FH-SWF SG at GermEval 2021: Using Transformer-Based Language Models to Identify Toxic, Engaging, & Fact-Claiming Comments

論文の概要: FH-SWF SG at GermEval 2021: Using Transformer-Based Language Models to Identify Toxic, Engaging, & Fact-Claiming Comments

arxiv url: http://arxiv.org/abs/2109.02966v1
Date: Tue, 7 Sep 2021 09:46:27 GMT
ステータス: 処理完了
システム内更新日: 2021-09-08 14:43:09.442009
Title: FH-SWF SG at GermEval 2021: Using Transformer-Based Language Models to Identify Toxic, Engaging, & Fact-Claiming Comments
Title（参考訳）: FH-SWF SG at GermEval 2021: Using Transformer-based Language Models to Identification Toxic, Engaging, and Fact-Claiming Comments
Authors: Christian Gawron, Sebastian Schmidt
Abstract要約: 我々はGermEval 2021への提出に使用した手法について述べる。 3つのサブタスクすべてに対して、Hugingfaceモデルハブから利用可能なトランスフォーマーベースのモデルを微調整しました。トレーニングデータの80%を微調整した後, 各種事前学習モデルの性能評価を行い, 得られた2つのモデルについて予測を行った。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: In this paper we describe the methods we used for our submissions to the GermEval 2021 shared task on the identification of toxic, engaging, and fact-claiming comments. For all three subtasks we fine-tuned freely available transformer-based models from the Huggingface model hub. We evaluated the performance of various pre-trained models after fine-tuning on 80% of the training data with different hyperparameters and submitted predictions of the two best performing resulting models. We found that this approach worked best for subtask 3, for which we achieved an F1-score of 0.736.
Abstract（参考訳）: 本稿では,2021年病原体研究会への提出に用いた手法について,有害性,関与性,事実を訴えるコメントの同定に関するタスクについて述べる。 3つのサブタスクすべてに対して、Hugingfaceモデルハブから利用可能なトランスフォーマーベースのモデルを微調整しました。ハイパーパラメータの異なるトレーニングデータの80%を微調整した後,様々な事前学習モデルの性能を評価し,得られた2つの最良モデルの予測を行った。このアプローチはサブタスク3で一番うまくいき、F1スコアの0.736を達成しました。

関連論文リスト

On the Effects of Heterogeneous Data Sources on Speech-to-Text Foundation Models [57.97940182536942]
Open Whisperスタイルの音声モデル(OWSM)シリーズが導入された。 OWSMモデルは25の公開音声データセットに基づいて訓練される。 OWSM v3.2を導入し、このデータの不均一性の影響を調査し、対処することで、先行モデルを改善する。
論文参考訳（メタデータ） (2024-06-13T16:22:37Z)
Preserving Knowledge Invariance: Rethinking Robustness Evaluation of Open Information Extraction [50.62245481416744]
実世界におけるオープン情報抽出モデルの評価をシミュレートする最初のベンチマークを示す。我々は、それぞれの例が知識不変のcliqueである大規模なテストベッドを設計し、注釈付けする。さらにロバスト性計量を解明することにより、その性能が全体の傾きに対して一貫して正確であるならば、モデルはロバストであると判断される。
論文参考訳（メタデータ） (2023-05-23T12:05:09Z)
Adapted Multimodal BERT with Layer-wise Fusion for Sentiment Analysis [84.12658971655253]
本稿では,マルチモーダルタスクのためのBERTベースのアーキテクチャであるAdapted Multimodal BERTを提案する。アダプタはタスクの事前訓練された言語モデルを手動で調整し、融合層はタスク固有の層ワイドな音声視覚情報とテキストBERT表現を融合させる。われわれは、このアプローチがより効率的なモデルにつながり、微調整されたモデルよりも優れ、ノイズの入力に堅牢であることを示した。
論文参考訳（メタデータ） (2022-12-01T17:31:42Z)
Equi-Tuning: Group Equivariant Fine-Tuning of Pretrained Models [56.88106830869487]
我々は、(潜在的に非同変な)事前訓練されたモデルを群同変モデルに変換する新しい微調整法である、同調を導入する。本稿では、画像分類、合成言語における一般化、自然言語生成における公平性という3つの異なるタスクに対する等価チューニングの応用について述べる。
論文参考訳（メタデータ） (2022-10-13T08:45:23Z)
Detecting Generated Scientific Papers using an Ensemble of Transformer Models [4.56877715768796]
DAGPap22共有タスクのために開発されたニューラルモデルについて,Scholarly Document Processingの第3ワークショップで紹介した。我々の研究は、異なるトランスフォーマーベースのモデルの比較と、不均衡なクラスを扱うために追加のデータセットとテクニックの使用に焦点を当てている。
論文参考訳（メタデータ） (2022-09-17T08:43:25Z)
SFE-AI at SemEval-2022 Task 11: Low-Resource Named Entity Recognition using Large Pre-trained Language Models [14.94542859759424]
本稿では,SemEval 2022 task11: MultiCoNERのNERシステムについて述べる。異なる入力に対して各モデルに異なる重みを割り当てることで、多種多様なモデルの利点を効果的に統合するためにトランスフォーマー層を採用した。実験結果から,本手法はFarsiとオランダで優れた性能を発揮することが示された。
論文参考訳（メタデータ） (2022-05-29T13:40:14Z)
RoBLEURT Submission for the WMT2021 Metrics Task [72.26898579202076]
本稿では,共有メトリクスタスクであるRoBLEURTについて紹介する。我々のモデルは10対の英語言語対のうち8対でWMT 2020の人間のアノテーションと最先端の相関に達する。
論文参考訳（メタデータ） (2022-04-28T08:49:40Z)
DeBERTaV3: Improving DeBERTa using ELECTRA-Style Pre-Training with Gradient-Disentangled Embedding Sharing [117.41016786835452]
本稿では,DeBERTaモデルの改良を目的とした,事前学習型言語モデルDeBERTaV3を提案する。 ELECTRAでのバニラ埋め込み共有は、トレーニング効率とモデルパフォーマンスを損なう。そこで本研究では、タグ・オブ・ウォーのダイナミクスを回避するために、新しい勾配距離の埋め込み方式を提案する。
論文参考訳（メタデータ） (2021-11-18T06:48:00Z)
FHAC at GermEval 2021: Identifying German toxic, engaging, and fact-claiming comments with ensemble learning [0.0]
我々は、GermEval 2021コンペティションが提供するFacebookデータにおいて、有毒(サブタスク1)、エンゲージメント(サブタスク2)、ファクトステートメント(サブタスク3)を識別するために、ドイツのBERTとドイツのELECTRAモデルを微調整した。我々のベストアンサンブルは,全サブタスクで0.73点,サブタスクで0.72点,0.70点,サブタスクで0.76点を達成した。
論文参考訳（メタデータ） (2021-09-07T13:52:39Z)
FiSSA at SemEval-2020 Task 9: Fine-tuned For Feelings [2.362412515574206]
本稿では,スペイン語と英語の混在するソーシャルメディアデータを用いた感情分類手法を提案する。単言語モデルと多言語モデルの両方を標準微調整法を用いて検討する。 2段階の微調整により、ベースモデルよりも感情分類性能が向上するが、大規模多言語XLM-RoBERTaモデルではF1スコアが最適である。
論文参考訳（メタデータ） (2020-07-24T14:48:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。