論文の概要: Validating Multimedia Content Moderation Software via Semantic Fusion

• arxiv url: http://arxiv.org/abs/2305.13623v1
• Date: Tue, 23 May 2023 02:44:15 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-24 19:32:12.614564
• Title: Validating Multimedia Content Moderation Software via Semantic Fusion
• Title（参考訳）: semantic fusion によるマルチメディアコンテンツモデレーションソフトの検証
• Authors: Wenxuan Wang, Jingyuan Huang, Chang Chen, Jiazhen Gu, Jianping Zhang, Weibin Wu, Pinjia He, Michael Lyu
• Abstract要約: 本稿では,マルチメディアコンテンツモデレーションソフトウェアの検証方法として,セマンティックフュージョンを紹介する。 5種類の商用コンテンツモデレーションソフトウェアと2種類の最先端モデルを3種類の有毒コンテンツに対してテストするためにDUOを使用している。 その結果,モード化ソフトウェアのテストでは,最大100%エラー検出率(EFR)が達成されることがわかった。
• 参考スコア（独自算出の注目度）: 16.322773343799575
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The exponential growth of social media platforms, such as Facebook and TikTok, has revolutionized communication and content publication in human society. Users on these platforms can publish multimedia content that delivers information via the combination of text, audio, images, and video. Meanwhile, the multimedia content release facility has been increasingly exploited to propagate toxic content, such as hate speech, malicious advertisements, and pornography. To this end, content moderation software has been widely deployed on these platforms to detect and blocks toxic content. However, due to the complexity of content moderation models and the difficulty of understanding information across multiple modalities, existing content moderation software can fail to detect toxic content, which often leads to extremely negative impacts. We introduce Semantic Fusion, a general, effective methodology for validating multimedia content moderation software. Our key idea is to fuse two or more existing single-modal inputs (e.g., a textual sentence and an image) into a new input that combines the semantics of its ancestors in a novel manner and has toxic nature by construction. This fused input is then used for validating multimedia content moderation software. We realized Semantic Fusion as DUO, a practical content moderation software testing tool. In our evaluation, we employ DUO to test five commercial content moderation software and two state-of-the-art models against three kinds of toxic content. The results show that DUO achieves up to 100% error finding rate (EFR) when testing moderation software. In addition, we leverage the test cases generated by DUO to retrain the two models we explored, which largely improves model robustness while maintaining the accuracy on the original test set.
• Abstract（参考訳）: FacebookやTikTokのようなソーシャルメディアプラットフォームの指数関数的な成長は、人間社会におけるコミュニケーションとコンテンツ出版に革命をもたらした。 これらのプラットフォームのユーザーは、テキスト、オーディオ、画像、ビデオの組み合わせで情報を配信するマルチメディアコンテンツを公開することができる。 一方、マルチメディアコンテンツリリース施設は、ヘイトスピーチ、悪意のある広告、ポルノグラフィなどの有害コンテンツを広めるために、ますます利用されてきた。 この目的のために、コンテンツモデレーションソフトウェアは有害なコンテンツを検出しブロックするためにこれらのプラットフォームに広くデプロイされている。 しかし、コンテンツモデレーションモデルの複雑さと複数のモダリティにわたる情報を理解するのが難しいため、既存のコンテンツモデレーションソフトウェアは有害なコンテンツの検出に失敗し、しばしば非常にネガティブな影響をもたらす。 本稿では,マルチメディアコンテンツモデレーションソフトウェアを検証する汎用的手法であるsemantic fusionを提案する。 私たちのキーとなるアイデアは、2つ以上の既存の単一モーダル入力(例:テキスト文と画像)を、その祖先のセマンティクスを新しい方法で組み合わせ、建設によって有害な性質を持つ新しいインプットに融合させることです。 この融合された入力は、マルチメディアコンテンツモデレーションソフトウェアの検証に使用される。 実用的なコンテンツモデレーションソフトウェアテストツールであるduoとして,semantic fusionを実現しました。 我々はduoを用いて,3種類の有害コンテンツに対して5つの商用コンテンツモデレーションソフトウェアと2つの最新モデルの試験を行った。 その結果,モデレーションソフトウェアをテストする場合,duoは最大100%エラー検出率(efr)を達成した。 さらに、DUOが生成したテストケースを活用して、調査した2つのモデルを再トレーニングし、元のテストセットの精度を維持しながら、モデルの堅牢性を大幅に改善します。

関連論文リスト

• Advancing Content Moderation: Evaluating Large Language Models for Detecting Sensitive Content Across Text, Images, and Videos [0.1399948157377307]
  政府、教育者、そして親はしばしば、そのようなコンテンツの拡散を規制し、制御し、制限する方法についてメディアプラットフォームと対立している。 自然言語処理やコンピュータビジョンといった技術は、センシティブなコンテンツを自動的に識別し、フィルタリングするために広く使われている。 テキストと画像の両方のコンテキストを理解するためのより洗練されたアルゴリズムは、コンテンツ検閲の改善のための部屋を開くかもしれない。
  論文  参考訳（メタデータ） (2024-11-26T05:29:18Z)
• ToxVidLM: A Multimodal Framework for Toxicity Detection in Code-Mixed Videos [46.148023197749396]
  ToxVidLMには、マルチモーダルモジュール、クロスモーダルシンクロナイゼーションモジュール、マルチタスクモジュールという3つの重要なモジュールが含まれている。 本稿では,YouTubeから収集した931の動画と4021のコード混成ヒンディー語発話からなるベンチマークデータセットを提案する。
  論文  参考訳（メタデータ） (2024-05-31T05:40:56Z)
• Detecting and Grounding Multi-Modal Media Manipulation and Beyond [93.08116982163804]
  マルチモーダルフェイクメディア(DGM4)の新たな研究課題について述べる。 DGM4は、マルチモーダルメディアの真正性を検出するだけでなく、操作されたコンテンツも検出することを目的としている。 本稿では,異なるモーダル間のきめ細かい相互作用を完全に捉えるために,新しい階層型マルチモーダルマニピュレーションrEasoning tRansformer(HAMMER)を提案する。
  論文  参考訳（メタデータ） (2023-09-25T15:05:46Z)
• An Image is Worth a Thousand Toxic Words: A Metamorphic Testing Framework for Content Moderation Software [64.367830425115]
  ソーシャルメディアプラットフォームは、ヘイトスピーチ、悪意のある広告、ポルノなど、有害なコンテンツを拡散するためにますます悪用されている。 コンテンツモデレーション手法の開発と展開に多大な努力を払っているにもかかわらず、悪意のあるユーザは、テキストを画像に埋め込むことでモデレーションを回避することができる。 コンテンツモデレーションソフトウェアのためのメタモルフィックテストフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-18T20:33:06Z)
• Inconsistent Matters: A Knowledge-guided Dual-consistency Network for Multi-modal Rumor Detection [53.48346699224921]
  マルチメディアコンテンツによる噂を検出するために,知識誘導型二元整合ネットワークを提案する。 2つの一貫性検出ツールを使用して、クロスモーダルレベルとコンテント知識レベルの不整合を同時にキャプチャする。 また、異なる視覚的モダリティ条件下で頑健なマルチモーダル表現学習を可能にする。
  論文  参考訳（メタデータ） (2023-06-03T15:32:20Z)
• Multi-modal Fake News Detection on Social Media via Multi-grained Information Fusion [21.042970740577648]
  偽ニュース検出のためのMMFN(Multi-fine Multi-modal Fusion Network)を提案する。 そこで我々は,トランスフォーマーを用いた事前学習モデルを用いて,テキストと画像からトークンレベルの特徴を符号化する。 マルチモーダルモジュールは、CLIPエンコーダでエンコードされた粗い機能を考慮して、きめ細かい機能をフューズする。
  論文  参考訳（メタデータ） (2023-04-03T09:13:59Z)
• MTTM: Metamorphic Testing for Textual Content Moderation Software [11.759353169546646]
  ソーシャルメディアプラットフォームは、有害なコンテンツを広めるためにますます利用されてきた。 悪意のあるユーザは、有害なコンテンツの中で数単語だけを変更することで、モデレーションを回避することができる。 テキストコンテンツモデレーションソフトウェアのためのメタモルフィックテスティングフレームワークMTTMを提案する。
  論文  参考訳（メタデータ） (2023-02-11T14:44:39Z)
• Countering Malicious Content Moderation Evasion in Online Social Networks: Simulation and Detection of Word Camouflage [64.78260098263489]
  ツイストとカモフラージュキーワードは、プラットフォームコンテンツモデレーションシステムを回避する最もよく使われるテクニックである。 本稿では,コンテンツ回避の新たな手法をシミュレートし,検出する多言語ツールを開発することにより,悪意ある情報に対する対処に大きく貢献する。
  論文  参考訳（メタデータ） (2022-12-27T16:08:49Z)
• GAME-ON: Graph Attention Network based Multimodal Fusion for Fake News Detection [6.037721620350107]
  我々は,マルチモーダルフェイクニュース検出のためのより堅牢なデータ表現を学習するための,グラフニューラルネットワークに基づくエンドツーエンドトレーニング可能なフレームワークであるGAME-ONを提案する。 当社のモデルはTwitter上で平均11%向上し、Weiboでは2.6%のマージンで競争力を維持する一方で、最も優れた最先端ベースラインよりも65%少ないパラメータを使用する。
  論文  参考訳（メタデータ） (2022-02-25T03:27:37Z)
• VMSMO: Learning to Generate Multimodal Summary for Video-based News Articles [63.32111010686954]
  マルチモーダル出力(VMSMO)を用いたビデオベースマルチモーダル要約の課題を提案する。 このタスクの主な課題は、ビデオの時間的依存性と記事の意味を共同でモデル化することである。 本稿では,デュアルインタラクションモジュールとマルチモーダルジェネレータからなるDual-Interaction-based Multimodal Summarizer (DIMS)を提案する。
  論文  参考訳（メタデータ） (2020-10-12T02:19:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。