論文の概要: SafeWebUH at SemEval-2023 Task 11: Learning Annotator Disagreement in
Derogatory Text: Comparison of Direct Training vs Aggregation
- arxiv url: http://arxiv.org/abs/2305.01050v1
- Date: Mon, 1 May 2023 19:30:32 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-03 16:21:15.843786
- Title: SafeWebUH at SemEval-2023 Task 11: Learning Annotator Disagreement in
Derogatory Text: Comparison of Direct Training vs Aggregation
- Title（参考訳）: SafeWebUH at SemEval-2023 Task 11: Learning Annotator Disagreement in Derogatory Text: Comparison of Direct Training vs Aggregation
- Authors: Sadat Shahriar, Thamar Solorio
- Abstract要約: SemEval-2023 Task 11で提供される4つのデータセットとBERTモデルを微調整して、アノテーションの不一致をキャプチャします。
個々のアノテータのモデリングとアグリゲーションにより,ソフトラベルの直接トレーニングと比較すると,クロスエントロピースコアは平均0.21低下する。
- 参考スコア（独自算出の注目度）: 11.15325528518444
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Subjectivity and difference of opinion are key social phenomena, and it is
crucial to take these into account in the annotation and detection process of
derogatory textual content. In this paper, we use four datasets provided by
SemEval-2023 Task 11 and fine-tune a BERT model to capture the disagreement in
the annotation. We find individual annotator modeling and aggregation lowers
the Cross-Entropy score by an average of 0.21, compared to the direct training
on the soft labels. Our findings further demonstrate that annotator metadata
contributes to the average 0.029 reduction in the Cross-Entropy score.
- Abstract（参考訳）: 主観性と意見の相違は重要な社会現象であり, 軽蔑的文章内容の注釈・検出過程を考慮に入れることが重要である。
本稿では,SemEval-2023 Task 11 で提供される4つのデータセットと BERT モデルを微調整してアノテーションの不一致を捉える。
個々のアノテータのモデリングとアグリゲーションにより,ソフトラベルの直接トレーニングと比較すると,クロスエントロピースコアは平均0.21低下する。
さらに,アノテータのメタデータが平均0.029のクロスエントロピースコアの低下に寄与することを示した。
関連論文リスト
- Evaluating Semantic Variation in Text-to-Image Synthesis: A Causal Perspective [50.261681681643076]
本稿では,SemVarEffectとSemVarBenchというベンチマークを用いて,テキスト・画像合成における入力のセマンティックな変化と出力の因果性を評価する。
本研究は,T2I合成コミュニティによるヒューマンインストラクション理解の探索を促進する効果的な評価枠組みを確立する。
論文 参考訳（メタデータ） (2024-10-14T08:45:35Z) - Trained Models Tell Us How to Make Them Robust to Spurious Correlation without Group Annotation [3.894771553698554]
経験的リスク最小化(ERM)モデルは、ターゲットと高い刺激的な相関を持つ属性に依存する傾向がある。
これにより、これらの属性を欠いた未表現(または'マイナー')グループのパフォーマンスを低下させることができる。
本稿では,環境に基づく検証と損失に基づくサンプリング(EVaLS)を提案する。
論文 参考訳（メタデータ） (2024-10-07T08:17:44Z) - Self-Training with Pseudo-Label Scorer for Aspect Sentiment Quad Prediction [54.23208041792073]
Aspect Sentiment Quad Prediction (ASQP) は、与えられたレビューに対して全てのクワッド(アスペクト項、アスペクトカテゴリー、意見項、感情極性)を予測することを目的としている。
ASQPタスクにおける重要な課題はラベル付きデータの不足であり、既存のメソッドのパフォーマンスを制限している。
そこで我々は,擬似ラベルスコアラーを用いた自己学習フレームワークを提案し,レビューと擬似ラベルの一致をスコアラーが評価する。
論文 参考訳（メタデータ） (2024-06-26T05:30:21Z) - NLU-STR at SemEval-2024 Task 1: Generative-based Augmentation and Encoder-based Scoring for Semantic Textual Relatedness [0.5461938536945721]
SemEval-2024の共有タスクであるSemRel-2024は、意味的関連性タスクのギャップを減らすことを目的としている。
本稿では,トラックA(アルジェリア方言とモロッコ方言)とトラックB(現代標準アラビア語)への参加について報告する。
スピアマン相関スコア0.49のSemRel-2024で1位となった。
論文 参考訳（メタデータ） (2024-05-01T17:44:05Z) - Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。
我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
論文 参考訳（メタデータ） (2023-12-27T09:03:43Z) - UZH_CLyp at SemEval-2023 Task 9: Head-First Fine-Tuning and ChatGPT Data
Generation for Cross-Lingual Learning in Tweet Intimacy Prediction [3.1798318618973362]
本稿では,SemEval 2023 Task 9「Multilingual Tweet Intimacy Analysis」に対するUZH_CLypの提出について述べる。
公式なピアソン相関回帰評価尺度により,全10言語で2番目に高い結果を得た。
論文 参考訳（メタデータ） (2023-03-02T12:18:53Z) - LENS: A Learnable Evaluation Metric for Text Simplification [17.48383068498169]
テキスト単純化のための学習可能な評価指標であるLENSを提案する。
また、ランクとレートについても紹介します。これは、リストワイドで複数のモデルから単純化を評価する人間の評価フレームワークです。
論文 参考訳（メタデータ） (2022-12-19T18:56:52Z) - COLO: A Contrastive Learning based Re-ranking Framework for One-Stage
Summarization [84.70895015194188]
コントラスト学習に基づく一段階要約フレームワークであるCOLOを提案する。
COLOはCNN/DailyMailベンチマークの1段階システムの抽出と抽象化結果を44.58と46.33ROUGE-1スコアに引き上げた。
論文 参考訳（メタデータ） (2022-09-29T06:11:21Z) - Bootstrapping Your Own Positive Sample: Contrastive Learning With
Electronic Health Record Data [62.29031007761901]
本稿では,新しいコントラスト型正規化臨床分類モデルを提案する。
EHRデータに特化した2つのユニークなポジティブサンプリング戦略を紹介します。
私たちのフレームワークは、現実世界のCOVID-19 EHRデータの死亡リスクを予測するために、競争の激しい実験結果をもたらします。
論文 参考訳（メタデータ） (2021-04-07T06:02:04Z) - Exploiting Sample Uncertainty for Domain Adaptive Person
Re-Identification [137.9939571408506]
各サンプルに割り当てられた擬似ラベルの信頼性を推定・活用し,ノイズラベルの影響を緩和する。
不確実性に基づく最適化は大幅な改善をもたらし、ベンチマークデータセットにおける最先端のパフォーマンスを達成します。
論文 参考訳（メタデータ） (2020-12-16T04:09:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。