論文の概要: Hateful Memes Challenge: An Enhanced Multimodal Framework

• arxiv url: http://arxiv.org/abs/2112.11244v1
• Date: Mon, 20 Dec 2021 07:47:17 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-22 13:22:50.086485
• Title: Hateful Memes Challenge: An Enhanced Multimodal Framework
• Title（参考訳）: Hateful Memes Challenge: 強化されたマルチモーダルフレームワーク
• Authors: Aijing Gao, Bingjun Wang, Jiaqi Yin, Yating Tian
• Abstract要約: Facebook AIが提案したHateful Meme Challengeは、世界中の参加者を惹きつけている。 この問題に対して様々な最先端のディープラーニングモデルが適用されている。 本稿では,特徴抽出にTectronを活用することを含め,ヘイトフル検出の枠組みを強化する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hateful Meme Challenge proposed by Facebook AI has attracted contestants around the world. The challenge focuses on detecting hateful speech in multimodal memes. Various state-of-the-art deep learning models have been applied to this problem and the performance on challenge's leaderboard has also been constantly improved. In this paper, we enhance the hateful detection framework, including utilizing Detectron for feature extraction, exploring different setups of VisualBERT and UNITER models with different loss functions, researching the association between the hateful memes and the sensitive text features, and finally building ensemble method to boost model performance. The AUROC of our fine-tuned VisualBERT, UNITER, and ensemble method achieves 0.765, 0.790, and 0.803 on the challenge's test set, respectively, which beats the baseline models. Our code is available at https://github.com/yatingtian/hateful-meme
• Abstract（参考訳）: Facebook AIが提案したHateful Meme Challengeは、世界中の参加者を惹きつけている。 この課題は、マルチモーダルミームにおけるヘイトフルスピーチの検出に焦点を当てている。 さまざまな最先端ディープラーニングモデルがこの問題に適用され、challengeのleaderboardのパフォーマンスも常に改善されている。 本稿では,特徴抽出に detectionron を活用すること,損失関数の異なる visualbert と uniter モデルの異なるセットアップを検討すること,ヘイトフルなミームとセンシティブなテキスト特徴の関係を研究すること,最後にはモデル性能を向上させるアンサンブル法を構築すること,など,ヘイトフル検出フレームワークを強化する。 細調整した VisualBERT, UNITER, およびアンサンブル法のAUROC は, それぞれ0.765, 0.790, 0.803 であり, ベースラインモデルを上回っている。 私たちのコードはhttps://github.com/yatingtian/hateful-memeで利用可能です。

関連論文リスト

• ReconBoost: Boosting Can Achieve Modality Reconcilement [89.4377895465204]
  我々は、調和を達成するために、モダリティ代替学習パラダイムについて研究する。 固定モードを毎回更新するReconBoostと呼ばれる新しい手法を提案する。 提案手法はFriedman's Gradient-Boosting (GB) アルゴリズムに似ており,更新された学習者が他者による誤りを訂正できることを示す。
  論文  参考訳（メタデータ） (2024-05-15T13:22:39Z)
• A Study of Dropout-Induced Modality Bias on Robustness to Missing Video Frames for Audio-Visual Speech Recognition [53.800937914403654]
  AVSR(Advanced Audio-Visual Speech Recognition)システムは、欠落したビデオフレームに敏感であることが観察されている。 ビデオモダリティにドロップアウト技術を適用することで、フレーム不足に対するロバスト性が向上する一方、完全なデータ入力を扱う場合、同時に性能損失が発生する。 本稿では,MDA-KD(Multimodal Distribution Approximation with Knowledge Distillation)フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-07T06:06:55Z)
• Dissecting Multimodality in VideoQA Transformer Models by Impairing Modality Fusion [54.33764537135906]
  VideoQA Transformerモデルは標準ベンチマークで競合性能を示す。 これらのモデルはビデオとテキストからリッチなマルチモーダル構造とダイナミックスを一緒に捉えていますか? 彼らはバイアスと刺激的な特徴を利用して高いスコアを達成していますか?
  論文  参考訳（メタデータ） (2023-06-15T06:45:46Z)
• Clover: Towards A Unified Video-Language Alignment and Fusion Model [154.1070559563592]
  我々は,Corver,Correlated Video-Language Pre-Torning法を紹介する。 クロスモーダルな特徴アライメントと融合を、新しい3モーダルアライメント事前訓練タスクを通じて改善する。 Cloverは、複数のダウンストリームタスクに新しい最先端技術を確立する。
  論文  参考訳（メタデータ） (2022-07-16T09:38:52Z)
• Caption Enriched Samples for Improving Hateful Memes Detection [78.5136090997431]
  憎しみのあるミームの挑戦は、ミームが憎悪であるか否かを決定するのが困難であることを示している。 ユニモーダル言語モデルとマルチモーダル視覚言語モデルの両方が人間のパフォーマンスレベルに到達できない。
  論文  参考訳（メタデータ） (2021-09-22T10:57:51Z)
• Enhance Multimodal Model Performance with Data Augmentation: Facebook Hateful Meme Challenge Solution [3.8325907381729496]
  Facebookのヘイトフルミームチャレンジ(Hateful Memes Challenge)は、ヘイトフルスピーチを検出するために競技者に挑戦することで、そのような可能性を達成するのに役立つ。 本稿では,VilBERT と Visual BERT を用いたマルチモーダル・事前学習モデルを提案する。 提案手法は0.7439 AUROCを精度0.7037で達成し,顕著な進歩を示した。
  論文  参考訳（メタデータ） (2021-05-25T01:07:09Z)
• Detecting Hate Speech in Multi-modal Memes [14.036769355498546]
  我々は,マルチモーダルミームにおけるヘイトスピーチ検出に着目し,ミームが興味深いマルチモーダル融合問題を引き起こす。 Facebook Meme Challenge citekiela 2020hatefulは、ミームが憎悪であるかどうかを予測するバイナリ分類問題を解決することを目的としている。
  論文  参考訳（メタデータ） (2020-12-29T18:30:00Z)
• Detecting Hate Speech in Memes Using Multimodal Deep Learning Approaches: Prize-winning solution to Hateful Memes Challenge [0.0]
  Hateful Memes Challengeは、マルチモーダルミームでヘイトスピーチを検出することに焦点を当てた、初めてのコンペティションです。 画像やキャプションをマルチモーダルにトレーニングした VisualBERT -- 視覚と言語のBERT - を活用しています。 提案手法は,チャレンジテストセットの精度0.765の0.811 AUROCを達成し,Hateful Memes Challengeの参加者3,173名中3位に位置づけた。
  論文  参考訳（メタデータ） (2020-12-23T21:09:52Z)
• A Multimodal Framework for the Detection of Hateful Memes [16.7604156703965]
  我々は憎しみのあるミームを検出するフレームワークの開発を目指している。 マルチモーダルとアンサンブル学習を促進するために,比較例のアップサンプリングの有効性を示す。 私たちの最良のアプローチは、UNITERベースのモデルのアンサンブルで構成され、80.53のAUROCスコアを達成し、Facebookが主催する2020 Hateful Memes Challengeのフェーズ2で4位になります。
  論文  参考訳（メタデータ） (2020-12-23T18:37:11Z)
• The Hateful Memes Challenge: Detecting Hate Speech in Multimodal Memes [43.778346545763654]
  本研究は,マルチモーダルなミームにおけるヘイトスピーチの検出に着目した,マルチモーダルな分類のための新しい課題セットを提案する。 ユニモーダルモデルが苦戦し、マルチモーダルモデルのみが成功するように構築されている。 最先端の手法は人間に比べて性能が劣ることがわかった。
  論文  参考訳（メタデータ） (2020-05-10T21:31:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。