論文の概要: A Multimodal Framework for the Detection of Hateful Memes

• arxiv url: http://arxiv.org/abs/2012.12871v2
• Date: Thu, 24 Dec 2020 14:28:17 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-25 18:23:25.148431
• Title: A Multimodal Framework for the Detection of Hateful Memes
• Title（参考訳）: ヘイトフルミーム検出のためのマルチモーダルフレームワーク
• Authors: Phillip Lippe, Nithin Holla, Shantanu Chandra, Santhosh Rajamanickam, Georgios Antoniou, Ekaterina Shutova, Helen Yannakoudakis
• Abstract要約: 我々は憎しみのあるミームを検出するフレームワークの開発を目指している。 マルチモーダルとアンサンブル学習を促進するために,比較例のアップサンプリングの有効性を示す。 私たちの最良のアプローチは、UNITERベースのモデルのアンサンブルで構成され、80.53のAUROCスコアを達成し、Facebookが主催する2020 Hateful Memes Challengeのフェーズ2で4位になります。
• 参考スコア（独自算出の注目度）: 16.7604156703965
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: An increasingly common expression of online hate speech is multimodal in nature and comes in the form of memes. Designing systems to automatically detect hateful content is of paramount importance if we are to mitigate its undesirable effects on the society at large. The detection of multimodal hate speech is an intrinsically difficult and open problem: memes convey a message using both images and text and, hence, require multimodal reasoning and joint visual and language understanding. In this work, we seek to advance this line of research and develop a multimodal framework for the detection of hateful memes. We improve the performance of existing multimodal approaches beyond simple fine-tuning and, among others, show the effectiveness of upsampling of contrastive examples to encourage multimodality and ensemble learning based on cross-validation to improve robustness. We furthermore analyze model misclassifications and discuss a number of hypothesis-driven augmentations and their effects on performance, presenting important implications for future research in the field. Our best approach comprises an ensemble of UNITER-based models and achieves an AUROC score of 80.53, placing us 4th on phase 2 of the 2020 Hateful Memes Challenge organized by Facebook.
• Abstract（参考訳）: オンラインヘイトスピーチの一般的な表現は、本質的にマルチモーダルであり、ミームの形で現れる。 ヘイトフルコンテンツを自動的に検出するシステムの設計は、社会全体に望ましくない影響を和らげる上で、最重要課題である。 ミームは、画像とテキストの両方を使ってメッセージを伝達し、それゆえ、マルチモーダル推論と共同視覚と言語理解を必要とする。 本研究では,この一連の研究を進め,憎悪のあるミームの検出のためのマルチモーダルフレームワークの開発を目指す。 我々は,単純な微調整以上の既存マルチモーダルアプローチの性能を向上させるとともに,マルチモーダルとアンサンブル学習を奨励し,ロバスト性を向上させるために比較例のアップサンプリングの有効性を示す。 さらに,モデルの誤分類を分析し,様々な仮説に基づく拡張とその性能への影響を考察し,この分野における今後の研究に重要な意味を示している。 我々の最良のアプローチは、UNITERベースのモデルのアンサンブルで構成され、AUROCスコア80.53を達成し、Facebookが主催する2020 Hateful Memes Challengeの第2フェーズに私たちを配置する。

関連論文リスト

• MHS-STMA: Multimodal Hate Speech Detection via Scalable Transformer-Based Multilevel Attention Framework [15.647035299476894]
  本稿では,変換器を用いたマルチレベルアテンション(STMA)と呼ばれるマルチモーダルヘイトコンテンツ検出のためのスケーラブルアーキテクチャを提案する。 それは、注意に基づく深層学習機構、視覚的注意機構エンコーダ、キャプション的注意機構エンコーダの3つの主要な部分で構成されている。 Hateful memes、MultiOff、MMHS150Kといった3つのヘイトスピーチデータセットに対する複数の評価基準を用いて、提案されたアーキテクチャの有効性を検証する。
  論文  参考訳（メタデータ） (2024-09-08T15:42:18Z)
• PanoSent: A Panoptic Sextuple Extraction Benchmark for Multimodal Conversational Aspect-based Sentiment Analysis [74.41260927676747]
  本稿では,マルチモーダル対話感分析(ABSA)を導入することでギャップを埋める。 タスクをベンチマークするために、手動と自動の両方で注釈付けされたデータセットであるPanoSentを構築し、高品質、大規模、マルチモーダル、マルチ言語主義、マルチシナリオを特徴とし、暗黙の感情要素と明示的な感情要素の両方をカバーする。 課題を効果的に解決するために,新しい多モーダルな大規模言語モデル(すなわちSentica)とパラフレーズベースの検証機構とともに,新しい感覚の連鎖推論フレームワークを考案した。
  論文  参考訳（メタデータ） (2024-08-18T13:51:01Z)
• Multimodal Prompt Learning with Missing Modalities for Sentiment Analysis and Emotion Recognition [52.522244807811894]
  本稿では,欠落したモダリティの問題に対処するために,即時学習を用いた新しいマルチモーダルトランスフォーマーフレームワークを提案する。 提案手法では,生成的プロンプト,欠信号プロンプト,欠信号プロンプトの3種類のプロンプトを導入している。 迅速な学習を通じて、トレーニング可能なパラメータの数を大幅に削減する。
  論文  参考訳（メタデータ） (2024-07-07T13:55:56Z)
• Meme-ingful Analysis: Enhanced Understanding of Cyberbullying in Memes Through Multimodal Explanations [48.82168723932981]
  Em MultiBully-Exは、コード混在型サイバーいじめミームからマルチモーダルな説明を行うための最初のベンチマークデータセットである。 ミームの視覚的およびテキスト的説明のために,コントラスト言語-画像事前学習 (CLIP) アプローチが提案されている。
  論文  参考訳（メタデータ） (2024-01-18T11:24:30Z)
• DeepSpeed-VisualChat: Multi-Round Multi-Image Interleave Chat via Multi-Modal Causal Attention [55.2825684201129]
  DeepSpeed-VisualChatは、マルチモーダル機能を組み込むことで、LLM(Large Language Models)を最適化するように設計されている。 筆者らのフレームワークは,(1)マルチラウンド・マルチイメージ対話のオープンソースサポート,(2)革新的なマルチモーダル因果注意機構の導入,(3)既存のデータセットにデータブレンディング技術を活用してシームレスな対話を実現すること,などが特徴である。
  論文  参考訳（メタデータ） (2023-09-25T17:53:29Z)
• ARC-NLP at Multimodal Hate Speech Event Detection 2023: Multimodal Methods Boosted by Ensemble Learning, Syntactical and Entity Features [1.3190581566723918]
  ロシア・ウクライナ戦争では、両派ともプロパガンダやヘイトスピーチを広める手段として、テキストに埋め込まれた画像に大きく依存していた。 本稿では,マルチモーダル・ヘイト・スピーチ・イベント検出2023の2つのサブタスクについて概説する。 最初のサブタスクであるヘイトスピーチ検出では、アンサンブル学習と構文テキスト属性によって強化されたマルチモーダルディープラーニングモデルを利用する。 第2のサブタスク、ターゲット検出では、名前付きエンティティ機能によって強化されたマルチモーダルディープラーニングモデルを採用する。
  論文  参考訳（メタデータ） (2023-07-25T21:56:14Z)
• Multimodal and Explainable Internet Meme Classification [3.4690152926833315]
  インターネットのミーム理解のためのモジュールで説明可能なアーキテクチャを設計し実装する。 本研究では,Hate Speech Detection と Misogyny Classification の2つの既存のタスクにおいて,有害なミームを検出するためのモジュールモデルと説明可能なモデルの有効性について検討する。 ユーザフレンドリーなインターフェースを考案し、任意のミームに対してすべてのモデルから検索したサンプルの比較分析を容易にする。
  論文  参考訳（メタデータ） (2022-12-11T21:52:21Z)
• Caption Enriched Samples for Improving Hateful Memes Detection [78.5136090997431]
  憎しみのあるミームの挑戦は、ミームが憎悪であるか否かを決定するのが困難であることを示している。 ユニモーダル言語モデルとマルチモーダル視覚言語モデルの両方が人間のパフォーマンスレベルに到達できない。
  論文  参考訳（メタデータ） (2021-09-22T10:57:51Z)
• Detecting Hate Speech in Multi-modal Memes [14.036769355498546]
  我々は,マルチモーダルミームにおけるヘイトスピーチ検出に着目し,ミームが興味深いマルチモーダル融合問題を引き起こす。 Facebook Meme Challenge citekiela 2020hatefulは、ミームが憎悪であるかどうかを予測するバイナリ分類問題を解決することを目的としている。
  論文  参考訳（メタデータ） (2020-12-29T18:30:00Z)
• The Hateful Memes Challenge: Detecting Hate Speech in Multimodal Memes [43.778346545763654]
  本研究は,マルチモーダルなミームにおけるヘイトスピーチの検出に着目した,マルチモーダルな分類のための新しい課題セットを提案する。 ユニモーダルモデルが苦戦し、マルチモーダルモデルのみが成功するように構築されている。 最先端の手法は人間に比べて性能が劣ることがわかった。
  論文  参考訳（メタデータ） (2020-05-10T21:31:00Z)
• Multimodal Categorization of Crisis Events in Social Media [81.07061295887172]
  本稿では,画像とテキストの両方を入力として利用するマルチモーダル融合法を提案する。 特に、弱モダリティから非形式的および誤解を招くコンポーネントをフィルタリングできるクロスアテンションモジュールを導入する。 本手法は,3つの危機関連タスクにおいて,一様アプローチと強いマルチモーダルベースラインを大きなマージンで上回ることを示す。
  論文  参考訳（メタデータ） (2020-04-10T06:31:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。