論文の概要: HaT5: Hate Language Identification using Text-to-Text Transfer Transformer

• arxiv url: http://arxiv.org/abs/2202.05690v1
• Date: Fri, 11 Feb 2022 15:21:27 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-14 21:21:08.028647
• Title: HaT5: Hate Language Identification using Text-to-Text Transfer Transformer
• Title（参考訳）: HaT5:テキスト間転送変換器を用いたヘイト言語識別
• Authors: Sana Sabah Sabry, Tosin Adewumi, Nosheen Abid, Gy\"orgy Kovacs, Foteini Liwicki and Marcus Liwicki
• Abstract要約: 比較的多様な2つのデータセットから5つのタスクにまたがる最先端技術(SoTA)アーキテクチャT5の性能について検討する。 性能向上のために,自己回帰モデルを用いてトレーニングデータを増強する。 サンプルの小さなセットを使用することで、データアノテーションが貧弱であることの難しさを明らかにします。
• 参考スコア（独自算出の注目度）: 1.2532400738980594
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We investigate the performance of a state-of-the art (SoTA) architecture T5 (available on the SuperGLUE) and compare with it 3 other previous SoTA architectures across 5 different tasks from 2 relatively diverse datasets. The datasets are diverse in terms of the number and types of tasks they have. To improve performance, we augment the training data by using an autoregressive model. We achieve near-SoTA results on a couple of the tasks - macro F1 scores of 81.66% for task A of the OLID 2019 dataset and 82.54% for task A of the hate speech and offensive content (HASOC) 2021 dataset, where SoTA are 82.9% and 83.05%, respectively. We perform error analysis and explain why one of the models (Bi-LSTM) makes the predictions it does by using a publicly available algorithm: Integrated Gradient (IG). This is because explainable artificial intelligence (XAI) is essential for earning the trust of users. The main contributions of this work are the implementation method of T5, which is discussed; the data augmentation using a new conversational AI model checkpoint, which brought performance improvements; and the revelation on the shortcomings of HASOC 2021 dataset. It reveals the difficulties of poor data annotation by using a small set of examples where the T5 model made the correct predictions, even when the ground truth of the test set were incorrect (in our opinion). We also provide our model checkpoints on the HuggingFace hub1 to foster transparency.
• Abstract（参考訳）: 現状技術(SoTA)アーキテクチャT5(SuperGLUEで利用可能)の性能について検討し、比較的多様な2つのデータセットから5つのタスクにまたがる他の3つのSoTAアーキテクチャと比較する。 データセットは、それらが持つタスクの数と種類の観点から多種多様である。 性能向上のために,自己回帰モデルを用いてトレーニングデータを増強する。 OLID 2019データセットのタスクAのマクロF1スコアは81.66%、ヘイトスピーチと攻撃コンテンツ(HASOC)2021データセットのタスクAの82.54%であり、それぞれ82.9%と83.05%である。 エラー解析を行い,公開アルゴリズムである統合勾配(ig)を用いて,モデル(bi-lstm)の1つが予測を行う理由を説明する。 これは、ユーザーの信頼を得るためには説明可能な人工知能(XAI)が不可欠であるからである。 この研究の主な貢献は、議論されているT5の実装方法、新しい会話型AIモデルチェックポイントを用いたデータ拡張によるパフォーマンス改善、HASOC 2021データセットの欠点に関する啓示である。 テストセットの基本的な真実が正しくない場合でも(私たちの意見では)、T5モデルが正しい予測を行った少数の例を用いて、データアノテーションの貧弱さを明らかにします。 また透明性を高めるために、HuggingFace Hub1のモデルチェックポイントも提供しています。

関連論文リスト

• Data Interpreter: An LLM Agent For Data Science [43.13678782387546]
  LLM(Large Language Model)ベースのエージェントは多くのアプリケーションで有効性を示している。 しかし、長期的な相互接続タスク、動的なデータ調整、ドメインの専門知識の解決を必要とするデータサイエンスのシナリオでの利用は、依然として困難である。 本稿では,LLMをベースとしたエージェントであるData Interpreterについて述べる。
  論文  参考訳（メタデータ） (2024-02-28T19:49:55Z)
• Breaking Free Transformer Models: Task-specific Context Attribution Promises Improved Generalizability Without Fine-tuning Pre-trained LLMs [1.5138606851862884]
  本稿では,一般化性を維持し,下流タスクの性能を向上させるフレームワークを提案する。 タスク固有の概念演算子を用いて任意の変換器モデルからテキスト表現を線形変換すると、潜在概念空間に投影されることを示す。 HateXplain,IMDB Review,Social Media Attributionsという3つのデータセットの実験結果から,提案モデルが精度と一般化性に優れていたことが示唆された。
  論文  参考訳（メタデータ） (2024-01-30T00:23:29Z)
• Efficient Grammatical Error Correction Via Multi-Task Training and Optimized Training Schedule [55.08778142798106]
  原文と修正文のアライメントを利用する補助タスクを提案する。 我々は,各タスクをシーケンス・ツー・シーケンス問題として定式化し,マルチタスク・トレーニングを行う。 トレーニングに使用されるデータセットの順序や、データセット内の個々のインスタンスでさえ、最終的なパフォーマンスに重要な影響を与える可能性があることが分かりました。
  論文  参考訳（メタデータ） (2023-11-20T14:50:12Z)
• T5 for Hate Speech, Augmented Data and Ensemble [1.3445335428144554]
  我々は6つのデータセットの11のサブタスクに対して、異なる最先端(SoTA)ベースラインを使用して自動ヘイトスピーチ(HS)検出を行う。 我々のモチベーションは、最近のSoTAモデルのうちどれが、自動ヘイトスピーチ検出に最適なのか、データ拡張やアンサンブルのような利点のある方法が、もしあれば、最良のモデルに何があるかを決定することです。
  論文  参考訳（メタデータ） (2022-10-11T14:32:39Z)
• Comparing Test Sets with Item Response Theory [53.755064720563]
  我々は,18の事前学習トランスフォーマーモデルから予測した29のデータセットを個別のテスト例で評価した。 Quoref、HellaSwag、MC-TACOは最先端のモデルを区別するのに最適である。 また、QAMRやSQuAD2.0のようなQAデータセットに使用されるスパン選択タスク形式は、強いモデルと弱いモデルとの差別化に有効である。
  論文  参考訳（メタデータ） (2021-06-01T22:33:53Z)
• Learning to Perturb Word Embeddings for Out-of-distribution QA [55.103586220757464]
  本論文では,入力問題と文脈の単語埋め込みを意味論を変化させることなく学習するノイズ発生器に基づく簡便かつ効果的なDA法を提案する。 ひとつのソースデータセットに,5つの異なるターゲットドメインに埋め込むことで,トレーニングされたQAモデルのパフォーマンスを検証する。 特に、私たちのトレーニングを受けたモデルは、240K以上の人工的なQAペアでトレーニングされたモデルよりも優れています。
  論文  参考訳（メタデータ） (2021-05-06T14:12:26Z)
• When Can Models Learn From Explanations? A Formal Framework for Understanding the Roles of Explanation Data [84.87772675171412]
  個々のデータポイントの説明がモデリング性能を向上させる状況について検討する。 e-SNLI、TACRED、SemEvalの3つの既存のデータセットを使って説明します。
  論文  参考訳（メタデータ） (2021-02-03T18:57:08Z)
• Chatbot Interaction with Artificial Intelligence: Human Data Augmentation with T5 and Language Transformer Ensemble for Text Classification [2.492300648514128]
  本稿では,タスク分類のための深層学習チャットボットの訓練へのアプローチとして,人工知能(CI-AI)フレームワークを提案する。 このインテリジェントシステムは、大量のトレーニングデータを生成するために、人工的なパラフレーズによって人為的なデータを増強する。 トレーニングデータをT5モデルで拡張すると,すべてのモデルが改善されることがわかった。
  論文  参考訳（メタデータ） (2020-10-12T19:37:18Z)
• TACRED Revisited: A Thorough Evaluation of the TACRED Relation Extraction Task [80.38130122127882]
  TACREDはリレーショナル抽出(RE)において最も大きく、最も広く使われているクラウドソースデータセットの1つである パフォーマンスの天井に到達したのか、改善の余地はあるのか? ラベルエラーは絶対F1テストエラーの8%を占めており、例の50%以上を可逆化する必要がある。
  論文  参考訳（メタデータ） (2020-04-30T15:07:37Z)
• iTAML: An Incremental Task-Agnostic Meta-learning Approach [123.10294801296926]
  人間は経験が成長するにつれて、新しい知識を継続的に学ぶことができる。 ディープニューラルネットワークにおける以前の学習は、新しいタスクでトレーニングされたときにすぐに消えてしまう可能性がある。 遭遇した全てのタスク間の平衡を維持するために,新しいメタラーニング手法を導入する。
  論文  参考訳（メタデータ） (2020-03-25T21:42:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。