論文の概要: XD at SemEval-2020 Task 12: Ensemble Approach to Offensive Language Identification in Social Media Using Transformer Encoders

• arxiv url: http://arxiv.org/abs/2007.10945v1
• Date: Tue, 21 Jul 2020 17:03:00 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-08 04:47:56.978280
• Title: XD at SemEval-2020 Task 12: Ensemble Approach to Offensive Language Identification in Social Media Using Transformer Encoders
• Title（参考訳）: xd at semeval-2020 task 12: ensemble approach to offensive language identification in social media using transformer encoder (英語)
• Authors: Xiangjue Dong and Jinho D. Choi
• Abstract要約: 本稿では,ソーシャルメディアにおける攻撃的言語識別のための最新のトランスフォーマーエンコーダと高性能アンサンブルモデルを用いた6つの文書分類モデルを提案する。 分析の結果,アンサンブルモデルでは開発セットの精度が大幅に向上するが,テストセットの精度はそれほど良くないことがわかった。
• 参考スコア（独自算出の注目度）: 17.14709845342071
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper presents six document classification models using the latest transformer encoders and a high-performing ensemble model for a task of offensive language identification in social media. For the individual models, deep transformer layers are applied to perform multi-head attentions. For the ensemble model, the utterance representations taken from those individual models are concatenated and fed into a linear decoder to make the final decisions. Our ensemble model outperforms the individual models and shows up to 8.6% improvement over the individual models on the development set. On the test set, it achieves macro-F1 of 90.9% and becomes one of the high performing systems among 85 participants in the sub-task A of this shared task. Our analysis shows that although the ensemble model significantly improves the accuracy on the development set, the improvement is not as evident on the test set.
• Abstract（参考訳）: 本稿では,ソーシャルメディアにおける攻撃的言語識別のための最新のトランスフォーマーエンコーダと高性能アンサンブルモデルを用いた6つの文書分類モデルを提案する。 個々のモデルに対して、ディープトランス層を適用してマルチヘッドアテンションを行う。 アンサンブルモデルでは、個々のモデルから抽出した発話表現を連結して線形デコーダに入力し、最終的な決定を行う。 我々のアンサンブルモデルは個々のモデルより優れており、開発セット上の個々のモデルよりも最大8.6%改善されている。 テストセットでは、90.9%のマクロF1を達成し、この共有タスクのサブタスクAの85人の参加者の中で、ハイパフォーマンスシステムの1つとなる。 分析の結果,アンサンブルモデルは開発セットの精度を大幅に向上させるが,テストセットでは改善が顕著ではないことがわかった。

関連論文リスト

• A Collaborative Ensemble Framework for CTR Prediction [73.59868761656317]
  我々は、複数の異なるモデルを活用するための新しいフレームワーク、CETNet(Collaborative Ensemble Training Network)を提案する。 ナイーブなモデルスケーリングとは違って,私たちのアプローチは,共同学習による多様性とコラボレーションを重視しています。 当社のフレームワークは,Metaの3つのパブリックデータセットと大規模産業データセットに基づいて検証する。
  論文  参考訳（メタデータ） (2024-11-20T20:38:56Z)
• Fluid: Scaling Autoregressive Text-to-image Generative Models with Continuous Tokens [53.99177152562075]
  視覚における自己回帰モデルのスケールアップは、大きな言語モデルほど有益でないことが証明されている。 モデルが離散トークンを使用するか、連続トークンを使用するか、BERTやGPTのようなトランスフォーマーアーキテクチャを用いてランダムまたは固定順序でトークンを生成するか、という2つの重要な要素に焦点を当てる。 その結果,すべてのモデルが検証損失の点で効果的にスケールしているのに対して,評価性能はFID,GenEvalスコア,視覚的品質などによって異なる傾向を呈することがわかった。
  論文  参考訳（メタデータ） (2024-10-17T17:59:59Z)
• FusionBench: A Comprehensive Benchmark of Deep Model Fusion [78.80920533793595]
  ディープモデル融合(Deep Model fusion)とは、複数のディープニューラルネットワークの予測やパラメータを単一のモデルに統合する手法である。 FusionBenchは、ディープモデル融合に特化した最初の包括的なベンチマークである。
  論文  参考訳（メタデータ） (2024-06-05T13:54:28Z)
• Domain Adaptation of Transformer-Based Models using Unlabeled Data for Relevance and Polarity Classification of German Customer Feedback [1.2999413717930817]
  この研究は、ドイツの顧客フィードバックデータセットを扱う際に、トランスフォーマーベースのモデルがいかに効率的であるかを調査する。 実験結果から,Transformerベースのモデルでは,fastTextベースラインに比べて大幅な改善が期待できることがわかった。
  論文  参考訳（メタデータ） (2022-12-12T08:32:28Z)
• Model ensemble instead of prompt fusion: a sample-specific knowledge transfer method for few-shot prompt tuning [85.55727213502402]
  我々は、ソースタスクのソフトプロンプトから知識を伝達することで、プロンプトチューニングにおける数ショットのパフォーマンスを改善することに集中する。 我々はソースモデル(SESoM)のサンプル固有アンサンブルを提案する。 SESoMは、ソースモデルが出力されるときに、ターゲットの各サンプルに対するソースモデルのコントリビューションを個別に調整することを学ぶ。
  論文  参考訳（メタデータ） (2022-10-23T01:33:16Z)
• Multi-Source Transformer Architectures for Audiovisual Scene Classification [14.160670979300628]
  映像シーン分類に関するDCASE 2021チャレンジのサブタスク1Bに提案したシステムについて詳述する。 基本的には、聴覚機能と視覚機能を組み合わせて予測を行うマルチソーストランスフォーマーである。
  論文  参考訳（メタデータ） (2022-10-18T23:42:42Z)
• A Study on Transformer Configuration and Training Objective [33.7272660870026]
  マスク付きオートエンコーダトレーニングにおいて,より深く狭いトランスフォーマー構成を用いるBambooを提案する。 ImageNetでは、そのような単純な構成変更により、再設計されたモデルは87.1%のトップ-1精度を達成する。 言語タスクでは、再設計されたモデルがBERTより優れ、デフォルト設定は平均1.1ポイント向上する。
  論文  参考訳（メタデータ） (2022-05-21T05:17:11Z)
• CAMERO: Consistency Regularized Ensemble of Perturbed Language Models with Weight Sharing [83.63107444454938]
  本稿では,CAMEROと呼ばれる摂動モデルに基づく一貫性規則化アンサンブル学習手法を提案する。 具体的には、すべてのモデルで底層重みを共有し、異なるモデルの隠れ表現に異なる摂動を適用し、モデルの多様性を効果的に促進することができる。 大規模言語モデルを用いた実験により,CAMEROはアンサンブルモデルの一般化性能を大幅に向上することが示された。
  論文  参考訳（メタデータ） (2022-04-13T19:54:51Z)
• Model soups: averaging weights of multiple fine-tuned models improves accuracy without increasing inference time [69.7693300927423]
  複数モデルの重み付けを異なるパラメータ構成で微調整することにより,精度とロバスト性が向上することを示す。 モデルスープ手法は,複数の画像分類や自然言語処理タスクにまで拡張されている。
  論文  参考訳（メタデータ） (2022-03-10T17:03:49Z)
• FiSSA at SemEval-2020 Task 9: Fine-tuned For Feelings [2.362412515574206]
  本稿では,スペイン語と英語の混在するソーシャルメディアデータを用いた感情分類手法を提案する。 単言語モデルと多言語モデルの両方を標準微調整法を用いて検討する。 2段階の微調整により、ベースモデルよりも感情分類性能が向上するが、大規模多言語XLM-RoBERTaモデルではF1スコアが最適である。
  論文  参考訳（メタデータ） (2020-07-24T14:48:27Z)
• Gestalt: a Stacking Ensemble for SQuAD2.0 [0.0]
  本稿では,文脈文中の質問に対する正しい回答を見つけ出し,提示する深層学習システムを提案する。 我々のゴールは、各アンサンブルで最高のモデルを上回る異種SQuAD2.0モデルのアンサンブルを学習することである。
  論文  参考訳（メタデータ） (2020-04-02T08:09:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。