論文の概要: Mitigating Negative Transfer with Task Awareness for Sexism, Hate Speech, and Toxic Language Detection

• arxiv url: http://arxiv.org/abs/2307.03377v1
• Date: Fri, 7 Jul 2023 04:10:37 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-10 13:27:38.863186
• Title: Mitigating Negative Transfer with Task Awareness for Sexism, Hate Speech, and Toxic Language Detection
• Title（参考訳）: セクシズム, ヘイトスピーチ, および有害言語検出のためのタスク認識による否定伝達の軽減
• Authors: Angel Felipe Magnoss\~ao de Paula, Paolo Rosso and Damiano Spina
• Abstract要約: 本稿では,タスク認知概念に基づく負の伝達問題を緩和するための新しいアプローチを提案する。 提案手法は,従来のMTLソリューションよりも性能が向上すると共に,負の転送を減少させる。 提案手法はSexism, Hate Speech, Toxic Languageをテキストコメントで検出するために, 2つの統一アーキテクチャで実装されている。
• 参考スコア（独自算出の注目度）: 7.661927086611542
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper proposes a novelty approach to mitigate the negative transfer problem. In the field of machine learning, the common strategy is to apply the Single-Task Learning approach in order to train a supervised model to solve a specific task. Training a robust model requires a lot of data and a significant amount of computational resources, making this solution unfeasible in cases where data are unavailable or expensive to gather. Therefore another solution, based on the sharing of information between tasks, has been developed: Multi-Task Learning (MTL). Despite the recent developments regarding MTL, the problem of negative transfer has still to be solved. Negative transfer is a phenomenon that occurs when noisy information is shared between tasks, resulting in a drop in performance. This paper proposes a new approach to mitigate the negative transfer problem based on the task awareness concept. The proposed approach results in diminishing the negative transfer together with an improvement of performance over classic MTL solution. Moreover, the proposed approach has been implemented in two unified architectures to detect Sexism, Hate Speech, and Toxic Language in text comments. The proposed architectures set a new state-of-the-art both in EXIST-2021 and HatEval-2019 benchmarks.
• Abstract（参考訳）: 本稿では, 負の伝達問題を緩和する新しい手法を提案する。 機械学習の分野では、特定のタスクを解決するために教師付きモデルをトレーニングするために、シングルタスク学習アプローチを適用することが一般的な戦略である。 堅牢なモデルをトレーニングするには、大量のデータと大量の計算リソースが必要です。 したがって、タスク間の情報共有に基づく別のソリューション、マルチタスク学習(mtl)が開発されている。 MTLに関する最近の進展にもかかわらず、負転移の問題はまだ解決されていない。 負の伝達は、ノイズの多い情報がタスク間で共有され、結果としてパフォーマンスが低下する現象である。 本稿では,タスク認識概念に基づく負の伝達問題を緩和する新しい手法を提案する。 提案手法は,従来のMTLソリューションよりも性能の向上とともに,負の転送を減少させる。 さらに,提案手法は,テキストコメント中のセクシズム,ヘイトスピーチ,トキシック言語を検出するために,二つの統一アーキテクチャで実装されている。 提案されたアーキテクチャは、EXIST-2021とHatEval-2019ベンチマークの両方で、新しい最先端技術が設定された。

関連論文リスト

• Beyond Anti-Forgetting: Multimodal Continual Instruction Tuning with Positive Forward Transfer [21.57847333976567]
  MCIT(Multimodal Continual Instruction Tuning)は、Multimodal Large Language Models(MLLM)が、高価なリトレーニングなしで継続的な要求を満たすことを可能にする。 MCITは、破滅的な忘れ(古い知識が忘れられている)と負の転送という2つの大きな障害に直面している。 本稿では,これらの問題に対処するため,Pwd-Prompt Forward Transfer(Pwd-Prompt)を用いたPrompt Tuningを提案する。
  論文  参考訳（メタデータ） (2024-01-17T12:44:17Z)
• Data-CUBE: Data Curriculum for Instruction-based Sentence Representation Learning [85.66907881270785]
  本稿では,学習用マルチタスクデータの順序を列挙するデータカリキュラム,すなわちData-CUBEを提案する。 タスクレベルでは、タスク間の干渉リスクを最小化するために最適なタスクオーダーを見つけることを目的としている。 インスタンスレベルでは、タスク毎のすべてのインスタンスの難易度を測定し、トレーニングのためにそれらを簡単に微分できるミニバッチに分割します。
  論文  参考訳（メタデータ） (2024-01-07T18:12:20Z)
• Task-Distributionally Robust Data-Free Meta-Learning [99.56612787882334]
  Data-Free Meta-Learning (DFML)は、複数の事前学習モデルを活用することで、独自のトレーニングデータを必要とせずに、新しいタスクを効率的に学習することを目的としている。 TDS(Task-Distribution Shift)とTDC(Task-Distribution Corruption)の2つの大きな課題を初めて明らかにした。
  論文  参考訳（メタデータ） (2023-11-23T15:46:54Z)
• Feature Decomposition for Reducing Negative Transfer: A Novel Multi-task Learning Method for Recommender System [35.165907482126464]
  特徴分解ネットワーク(FDN)と呼ばれる新しいマルチタスク学習手法を提案する。 提案するFDNの鍵となる考え方は,特徴をタスク固有機能とタスク共有機能に明示的に分解することで,特徴冗長性の現象を小さくすることである。 実験結果から,提案するFDN法は最先端(SOTA)法よりも顕著なマージンで優れていることがわかった。
  論文  参考訳（メタデータ） (2023-02-10T03:08:37Z)
• ForkMerge: Mitigating Negative Transfer in Auxiliary-Task Learning [59.08197876733052]
  補助タスク学習(ATL)は、関連するタスクから得られる知識を活用することにより、目標タスクの性能を向上させることを目的としている。 複数のタスクを同時に学習すると、ターゲットタスクのみを学習するよりも精度が低下することがある。 ForkMergeは、モデルを定期的に複数のブランチにフォークし、タスクの重みを自動的に検索する新しいアプローチである。
  論文  参考訳（メタデータ） (2023-01-30T02:27:02Z)
• Sequential Reptile: Inter-Task Gradient Alignment for Multilingual Learning [61.29879000628815]
  知識伝達を最大化するためには,タスク間の勾配の整合が不可欠であることを示す。 本稿では,タスク間の勾配を効率よく調整する,シンプルで効果的な手法を提案する。 様々なマルチタスク学習やゼロショット言語間移動タスクにおいて,提案手法を広範囲に検証する。
  論文  参考訳（メタデータ） (2021-10-06T09:10:10Z)
• On-edge Multi-task Transfer Learning: Model and Practice with Data-driven Task Allocation [20.20889051697198]
  マルチタスク・トランスファー・ラーニング(MTL)におけるタスク・アロケーションは,NP完全Knapsack問題の変種であることを示す。 我々は,データ駆動型協調作業割当(DCTA)アプローチを提案し,高い計算効率でTATIMを解く。 我々のDCTAは処理時間の3.24倍を削減し、TATIMを解く際の最先端技術と比較して48.4%の省エネを図っている。
  論文  参考訳（メタデータ） (2021-07-06T08:24:25Z)
• Towards Accurate Knowledge Transfer via Target-awareness Representation Disentanglement [56.40587594647692]
  本稿では,TRED(Target-Awareness Representation Disentanglement)の概念を取り入れた新しいトランスファー学習アルゴリズムを提案する。 TREDは、対象のタスクに関する関連する知識を元のソースモデルから切り離し、ターゲットモデルを微調整する際、レギュレータとして使用する。 各種実世界のデータセットを用いた実験により,本手法は標準微調整を平均2%以上安定的に改善することが示された。
  論文  参考訳（メタデータ） (2020-10-16T17:45:08Z)
• Learning Boost by Exploiting the Auxiliary Task in Multi-task Domain [1.2183405753834562]
  ひとつの共有関数で2つのタスクを学ぶことは、いくつかの利点があります。 これは、両方のタスクに対して一般的に適用可能な情報を使って学習できる関数を一般化するのに役立ちます。 しかし、現実の環境では、タスクは必然的に、負の移動と呼ばれる学習フェーズにおいてそれらの間に衝突する。 本稿では, 学習過程におけるクラスワイドの活用により, 肯定的な伝達を促進し, 負の伝達を抑制する新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-08-05T10:56:56Z)
• Task-Feature Collaborative Learning with Application to Personalized Attribute Prediction [166.87111665908333]
  本稿では,TFCL(Task-Feature Collaborative Learning)と呼ばれる新しいマルチタスク学習手法を提案する。 具体的には、まず、特徴とタスクの協調的なグループ化を活用するために、不均一なブロック対角構造正規化器を用いたベースモデルを提案する。 実際の拡張として,重なり合う機能と難易度を区別することで,基本モデルを拡張します。
  論文  参考訳（メタデータ） (2020-04-29T02:32:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。