論文の概要: GOAT-Bench: Safety Insights to Large Multimodal Models through
Meme-Based Social Abuse
- arxiv url: http://arxiv.org/abs/2401.01523v1
- Date: Wed, 3 Jan 2024 03:28:55 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-04 15:23:52.852540
- Title: GOAT-Bench: Safety Insights to Large Multimodal Models through
Meme-Based Social Abuse
- Title（参考訳）: GOAT-Bench:ミームベースの社会的虐待による大規模マルチモーダルモデルの安全性
- Authors: Hongzhan Lin, Ziyang Luo, Bo Wang, Ruichao Yang and Jing Ma
- Abstract要約: 我々は、暗黙のヘイトスピーチ、性差別、サイバーいじめなどのテーマをカプセル化した6K以上の様々なミームからなる包括的なミームベンチマークGOAT-Benchを紹介した。
我々はLMMがヘイトフルネス、軽蔑、攻撃性、皮肉、有害なコンテンツを正確に評価する能力について検討した。
LMMの幅広い実験により、現在のモデルは安全意識に欠けており、様々な形態の暗黙的虐待に敏感であることが明らかとなった。
- 参考スコア（独自算出の注目度）: 15.632755242069729
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The exponential growth of social media has profoundly transformed how
information is created, disseminated, and absorbed, exceeding any precedent in
the digital age. Regrettably, this explosion has also spawned a significant
increase in the online abuse of memes. Evaluating the negative impact of memes
is notably challenging, owing to their often subtle and implicit meanings,
which are not directly conveyed through the overt text and imagery. In light of
this, large multimodal models (LMMs) have emerged as a focal point of interest
due to their remarkable capabilities in handling diverse multimodal tasks. In
response to this development, our paper aims to thoroughly examine the capacity
of various LMMs (e.g. GPT-4V) to discern and respond to the nuanced aspects of
social abuse manifested in memes. We introduce the comprehensive meme
benchmark, GOAT-Bench, comprising over 6K varied memes encapsulating themes
such as implicit hate speech, sexism, and cyberbullying, etc. Utilizing
GOAT-Bench, we delve into the ability of LMMs to accurately assess hatefulness,
misogyny, offensiveness, sarcasm, and harmful content. Our extensive
experiments across a range of LMMs reveal that current models still exhibit a
deficiency in safety awareness, showing insensitivity to various forms of
implicit abuse. We posit that this shortfall represents a critical impediment
to the realization of safe artificial intelligence. The GOAT-Bench and
accompanying resources are publicly accessible at https://goatlmm.github.io/,
contributing to ongoing research in this vital field.
- Abstract（参考訳）: ソーシャルメディアの指数関数的な成長は、デジタル時代のあらゆる先例を超えて、情報の創造、普及、吸収の方法を大きく変えた。
残念なことに、この爆発はミームのオンライン乱用を大幅に増加させた。
ミームのネガティブな影響を評価することは、しばしば微妙で暗黙的な意味を持つため、特に難しい。
これを踏まえて、大規模マルチモーダルモデル(LMM)は、多様なマルチモーダルタスクを扱う際、顕著な能力のために注目の的となっている。
本研究の目的は,様々なLMM(例えば GPT-4V)が,ミームに現れる社会虐待の微妙な側面を識別し,それに対応する能力について,徹底的に検討することである。
我々は、暗黙のヘイトスピーチ、性差別、サイバーいじめなどのテーマをカプセル化した6K以上の様々なミームからなる包括的なミームベンチマークGOAT-Benchを紹介する。
GOAT-Benchを用いて、憎悪、悪行、攻撃性、皮肉、有害なコンテンツを正確に評価するLMMの能力を探求する。
LMMの幅広い実験により、現在のモデルは安全意識に欠けており、様々な形態の暗黙的虐待に敏感であることが明らかとなった。
この欠点は、安全な人工知能を実現する上で重要な障害であると考えています。
GOAT-Benchと関連するリソースはhttps://goatlmm.github.io/で公開されている。
関連論文リスト
- Evolver: Chain-of-Evolution Prompting to Boost Large Multimodal Models for Hateful Meme Detection [49.122777764853055]
ヘイトフルミーム検出のためのLMM(Large Multimodal Models)の可能性を探る。
提案するEvolverは,Chain-of-Evolution (CoE) Promptingを介してLMMを組み込む。
Evolverは、ステップバイステップでLMMを通してミームと理由の進化と表現のプロセスをシミュレートする。
論文 参考訳（メタデータ） (2024-07-30T17:51:44Z) - MOSSBench: Is Your Multimodal Language Model Oversensitive to Safe Queries? [70.77691645678804]
人間は認知の歪みに傾向があり、特定の刺激に対する過大な反応を引き起こす偏見のある思考パターンがある。
本稿では,高度マルチモーダル言語モデル (MLLM) が同様の傾向を示すことを示す。
既存のMLLMの過敏性を引き起こす3種類の刺激を同定する。
論文 参考訳（メタデータ） (2024-06-22T23:26:07Z) - Towards Explainable Harmful Meme Detection through Multimodal Debate
between Large Language Models [18.181154544563416]
ソーシャルメディアの時代はインターネットのミームで溢れており、有害なものを明確に把握し、効果的に識別する必要がある。
既存の有害なミーム検出手法では、検出決定を支援するためにそのような暗黙的な意味を明らかにする読みやすい説明は提示されない。
本研究では,無害な位置と有害な位置の両方から矛盾する合理性を推論することで,有害なミームを検出するための説明可能なアプローチを提案する。
論文 参考訳（メタデータ） (2024-01-24T08:37:16Z) - Meme-ingful Analysis: Enhanced Understanding of Cyberbullying in Memes
Through Multimodal Explanations [48.82168723932981]
Em MultiBully-Exは、コード混在型サイバーいじめミームからマルチモーダルな説明を行うための最初のベンチマークデータセットである。
ミームの視覚的およびテキスト的説明のために,コントラスト言語-画像事前学習 (CLIP) アプローチが提案されている。
論文 参考訳（メタデータ） (2024-01-18T11:24:30Z) - Characterizing the Entities in Harmful Memes: Who is the Hero, the
Villain, the Victim? [39.55435707149863]
我々は、ミームが参照するエンティティを栄光し、悪用し、または犠牲にするかどうかを理解することを目指している。
提案モデルでは,最高のベースラインに対して4%,最も競合するスタンドアローンのサブミッションに対して1%の改善が達成されている。
論文 参考訳（メタデータ） (2023-01-26T16:55:15Z) - DisinfoMeme: A Multimodal Dataset for Detecting Meme Intentionally
Spreading Out Disinformation [72.18912216025029]
偽情報ミームの検出を支援するためにDisinfoMemeを提案する。
このデータセットには、COVID-19パンデミック、Black Lives Matter運動、ベジタリアン/ベジタリアンという3つのトピックをカバーするRedditのミームが含まれている。
論文 参考訳（メタデータ） (2022-05-25T09:54:59Z) - DISARM: Detecting the Victims Targeted by Harmful Memes [49.12165815990115]
DISARMは、有害なミームを検出するために名前付きエンティティ認識と個人識別を使用するフレームワークである。
DISARMは10の単一モーダル・マルチモーダルシステムより著しく優れていることを示す。
複数の強力なマルチモーダルライバルに対して、有害なターゲット識別の相対誤差率を最大9ポイントまで下げることができる。
論文 参考訳（メタデータ） (2022-05-11T19:14:26Z) - Detecting and Understanding Harmful Memes: A Survey [48.135415967633676]
我々は有害なミームに焦点を当てた総合的な調査を行っている。
興味深い発見の1つは、多くの有害ミームが実際には研究されていないことである。
別の観察では、ミームは異なる言語で再パッケージ化することでグローバルに伝播し、多言語化することもできる。
論文 参考訳（メタデータ） (2022-05-09T13:43:27Z) - Detecting Harmful Memes and Their Targets [27.25262711136056]
COVID-19に関連する3,544のミームを含む最初のベンチマークデータセットであるHarMemeを紹介します。
第1段階では、ミームを非常に有害、部分的に有害、または無害とラベル付けし、第2段階では、有害ミームが示す標的の種類をさらにアノテートした。
10の単一モーダルモデルとマルチモーダルモデルによる評価結果は、両方のタスクにマルチモーダル信号を使用することの重要性を強調している。
論文 参考訳（メタデータ） (2021-09-24T17:11:42Z) - MOMENTA: A Multimodal Framework for Detecting Harmful Memes and Their
Targets [28.877314859737197]
我々は,有害ミームの検出と,対象とする社会的実体の特定という,新たな2つの課題を解決しようとしている。
特に,有害ミームの検出と,対象とする社会的実体の特定という,新たな2つの課題の解決を目指す。
我々は,世界的および地域的視点を用いて有害ミームを検出する,新しいマルチモーダル(テキスト+画像)ディープニューラルモデルMOMENTAを提案する。
論文 参考訳（メタデータ） (2021-09-11T04:29:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。