論文の概要: The Hateful Memes Challenge: Detecting Hate Speech in Multimodal Memes

• arxiv url: http://arxiv.org/abs/2005.04790v3
• Date: Wed, 7 Apr 2021 18:43:54 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-05 01:20:41.772489
• Title: The Hateful Memes Challenge: Detecting Hate Speech in Multimodal Memes
• Title（参考訳）: ヘイトフルミームチャレンジ:マルチモーダルミームにおけるヘイトスピーチの検出
• Authors: Douwe Kiela, Hamed Firooz, Aravind Mohan, Vedanuj Goswami, Amanpreet Singh, Pratik Ringshia, Davide Testuggine
• Abstract要約: 本研究は,マルチモーダルなミームにおけるヘイトスピーチの検出に着目した,マルチモーダルな分類のための新しい課題セットを提案する。 ユニモーダルモデルが苦戦し、マルチモーダルモデルのみが成功するように構築されている。 最先端の手法は人間に比べて性能が劣ることがわかった。
• 参考スコア（独自算出の注目度）: 43.778346545763654
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This work proposes a new challenge set for multimodal classification, focusing on detecting hate speech in multimodal memes. It is constructed such that unimodal models struggle and only multimodal models can succeed: difficult examples ("benign confounders") are added to the dataset to make it hard to rely on unimodal signals. The task requires subtle reasoning, yet is straightforward to evaluate as a binary classification problem. We provide baseline performance numbers for unimodal models, as well as for multimodal models with various degrees of sophistication. We find that state-of-the-art methods perform poorly compared to humans (64.73% vs. 84.7% accuracy), illustrating the difficulty of the task and highlighting the challenge that this important problem poses to the community.
• Abstract（参考訳）: 本稿では,マルチモーダルミームにおけるヘイトスピーチの検出に着目した,マルチモーダル分類のための新しい課題セットを提案する。 ユニモーダルなモデルが苦労し、マルチモーダルなモデルだけが成功するように構築されている: 難しい例(良性共起者)がデータセットに追加され、ユニモーダルな信号に頼ることが困難になる。 このタスクは微妙な推論を必要とするが、バイナリ分類問題として簡単に評価できる。 我々は,ユニモーダルモデルおよび様々な洗練度を持つマルチモーダルモデルに対して,ベースライン性能数を提供する。 最先端の手法は人間に比べて性能が低く(64.73%対84.7%の精度)、作業の難しさを示し、この重要な問題がコミュニティに与える影響を強調する。

関連論文リスト

• Multi-modal Crowd Counting via a Broker Modality [64.5356816448361]
  マルチモーダルな群衆カウントは、視覚画像と熱/深度画像の両方から群衆密度を推定する。 本稿では,補助的ブローカーのモダリティを導入し,そのタスクを3つのモーダル学習問題とする新しい手法を提案する。 我々はこのブローカーのモダリティを生成するための融合法を考案し、近代的な拡散に基づく核融合モデルの非拡散的軽量化を生かした。
  論文  参考訳（メタデータ） (2024-07-10T10:13:11Z)
• Multimodal Prompt Learning with Missing Modalities for Sentiment Analysis and Emotion Recognition [52.522244807811894]
  本稿では,欠落したモダリティの問題に対処するために,即時学習を用いた新しいマルチモーダルトランスフォーマーフレームワークを提案する。 提案手法では,生成的プロンプト,欠信号プロンプト,欠信号プロンプトの3種類のプロンプトを導入している。 迅速な学習を通じて、トレーニング可能なパラメータの数を大幅に削減する。
  論文  参考訳（メタデータ） (2024-07-07T13:55:56Z)
• Generative Multimodal Models are In-Context Learners [60.50927925426832]
  我々は37億のパラメータを持つ生成的マルチモーダルモデルであるEmu2を紹介し、大規模マルチモーダルシーケンスで訓練する。 Emu2は、マルチモーダルなインコンテキスト学習能力を示し、オンザフライ推論を必要とするタスクを解決しようとさえしている。
  論文  参考訳（メタデータ） (2023-12-20T18:59:58Z)
• MMoE: Enhancing Multimodal Models with Mixtures of Multimodal Interaction Experts [92.76662894585809]
  MMOE(Multimodal Mixtures of Experts)と呼ばれるマルチモーダルモデルの拡張手法を導入する。 MMoEは様々な種類のモデルに適用でき、改善できる。
  論文  参考訳（メタデータ） (2023-11-16T05:31:21Z)
• Robustness of Fusion-based Multimodal Classifiers to Cross-Modal Content Dilutions [27.983902791798965]
  画像と既存のテキストとの関連性やトピックのコヒーレンスを維持する希釈テキストを生成するモデルを開発する。 その結果,タスク固有の融合型マルチモーダル分類器の性能はそれぞれ23.3%,22.5%低下することがわかった。 我々の研究は、深いマルチモーダルモデルの現実的な変動に対する堅牢性について、さらなる研究をハイライトし、奨励することを目的としている。
  論文  参考訳（メタデータ） (2022-11-04T17:58:02Z)
• Deciphering Implicit Hate: Evaluating Automated Detection Algorithms for Multimodal Hate [2.68137173219451]
  本稿では,暗黙的かつ明示的な憎悪を検出するための意味的・マルチモーダル的文脈の役割を評価する。 テキストと視覚の豊かさがモデル性能を向上させることを示す。 すべてのモデルが完全なアノテータ契約でコンテンツ上でより優れた性能を発揮しており、マルチモーダルモデルはアノテータが同意しないコンテントの分類に最適であることがわかった。
  論文  参考訳（メタデータ） (2021-06-10T16:29:42Z)
• Detecting Hate Speech in Multi-modal Memes [14.036769355498546]
  我々は,マルチモーダルミームにおけるヘイトスピーチ検出に着目し,ミームが興味深いマルチモーダル融合問題を引き起こす。 Facebook Meme Challenge citekiela 2020hatefulは、ミームが憎悪であるかどうかを予測するバイナリ分類問題を解決することを目的としている。
  論文  参考訳（メタデータ） (2020-12-29T18:30:00Z)
• A Multimodal Framework for the Detection of Hateful Memes [16.7604156703965]
  我々は憎しみのあるミームを検出するフレームワークの開発を目指している。 マルチモーダルとアンサンブル学習を促進するために,比較例のアップサンプリングの有効性を示す。 私たちの最良のアプローチは、UNITERベースのモデルのアンサンブルで構成され、80.53のAUROCスコアを達成し、Facebookが主催する2020 Hateful Memes Challengeのフェーズ2で4位になります。
  論文  参考訳（メタデータ） (2020-12-23T18:37:11Z)
• Classification of Multimodal Hate Speech -- The Winning Solution of Hateful Memes Challenge [0.0]
  Hateful Memesは、マルチモーダル分類のための新しい課題セットである。 データセットに難易度のある例を追加して、ユニモーダル信号への依存を難しくする。 本稿では,マルチモーダルとルールを組み合わせた新しいモデルを提案し,それぞれ86.8%,0.923の精度でAUROCをランク付けする。
  論文  参考訳（メタデータ） (2020-12-02T07:38:26Z)
• ManyModalQA: Modality Disambiguation and QA over Diverse Inputs [73.93607719921945]
  本稿では, エージェントが3つの異なるモダリティを考慮し, 質問に答えなければならない, マルチモーダルな質問応答課題, ManyModalQAを提案する。 われわれはウィキペディアをスクラップしてデータを収集し、クラウドソーシングを利用して質問と回答のペアを収集する。
  論文  参考訳（メタデータ） (2020-01-22T14:39:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。