論文の概要: MemeCap: A Dataset for Captioning and Interpreting Memes
- arxiv url: http://arxiv.org/abs/2305.13703v1
- Date: Tue, 23 May 2023 05:41:18 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-24 18:56:17.685896
- Title: MemeCap: A Dataset for Captioning and Interpreting Memes
- Title（参考訳）: MemeCap: ミームのキャプションと解釈のためのデータセット
- Authors: EunJeong Hwang and Vered Shwartz
- Abstract要約: 我々はミームキャプションのタスクを提示し、新しいデータセットMemeCapをリリースする。
我々のデータセットには、6.3Kミームと、ミーム、ミームキャプション、リテラルイメージキャプション、ビジュアルメタファを含む投稿のタイトルが含まれています。
- 参考スコア（独自算出の注目度）: 11.188548484391978
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Memes are a widely popular tool for web users to express their thoughts using
visual metaphors. Understanding memes requires recognizing and interpreting
visual metaphors with respect to the text inside or around the meme, often
while employing background knowledge and reasoning abilities. We present the
task of meme captioning and release a new dataset, MemeCap. Our dataset
contains 6.3K memes along with the title of the post containing the meme, the
meme captions, the literal image caption, and the visual metaphors. Despite the
recent success of vision and language (VL) models on tasks such as image
captioning and visual question answering, our extensive experiments using
state-of-the-art VL models show that they still struggle with visual metaphors,
and perform substantially worse than humans.
- Abstract（参考訳）: ミームは、視覚的なメタファーを使って自分の思考を表現するWebユーザにとって、広く普及しているツールである。
ミームを理解するには、しばしば背景知識と推論能力を使用しながら、ミームの中や周囲のテキストに関する視覚的メタファーを認識し解釈する必要がある。
memeキャプションのタスクを提示し,新しいデータセットであるmemecapをリリースする。
我々のデータセットには、6.3Kミームと、ミーム、ミームキャプション、リテラルイメージキャプション、ビジュアルメタファを含む投稿のタイトルが含まれています。
近年、画像キャプションや視覚的質問応答といったタスクにおける視覚と言語(VL)モデルの成功にもかかわらず、最先端のVLモデルを用いた広範な実験により、彼らはまだ視覚的なメタファーに苦しんでおり、人間よりもはるかに酷いパフォーマンスを示した。
関連論文リスト
- XMeCap: Meme Caption Generation with Sub-Image Adaptability [53.2509590113364]
社会的な意味や文化的な詳細に深く根ざした噂は、機械にとってユニークな挑戦である。
我々は、教師付き微調整と強化学習を採用するtextscXMeCapフレームワークを紹介した。
textscXMeCapは、シングルイメージのミームの平均評価スコアが75.85で、マルチイメージのミームは66.32で、それぞれ3.71%と4.82%で最高のベースラインを上回っている。
論文 参考訳（メタデータ） (2024-07-24T10:51:46Z) - What Makes a Meme a Meme? Identifying Memes for Memetics-Aware Dataset Creation [0.9217021281095907]
マルチモーダルインターネットミームは現在、オンライン談話におけるユビキタスなフィクスチャとなっている。
ミームはミームを模倣してシンボルに変換する過程である。
我々は,ミームと非ミームコンテンツとを識別するミーム識別プロトコルを開発した。
論文 参考訳（メタデータ） (2024-07-16T15:48:36Z) - Meme-ingful Analysis: Enhanced Understanding of Cyberbullying in Memes
Through Multimodal Explanations [48.82168723932981]
Em MultiBully-Exは、コード混在型サイバーいじめミームからマルチモーダルな説明を行うための最初のベンチマークデータセットである。
ミームの視覚的およびテキスト的説明のために,コントラスト言語-画像事前学習 (CLIP) アプローチが提案されている。
論文 参考訳（メタデータ） (2024-01-18T11:24:30Z) - A Template Is All You Meme [83.05919383106715]
我々は,54,000枚以上の画像からなる www.knowyourme.com で発見されたミームと情報の知識ベースをリリースする。
我々は、ミームテンプレートが、以前のアプローチから欠落したコンテキストでモデルを注入するのに使えると仮定する。
論文 参考訳（メタデータ） (2023-11-11T19:38:14Z) - Multi-modal application: Image Memes Generation [13.043370069398916]
エンド・ツー・エンドのエンコーダ・デコーダ・アーキテクチャ・ミーム・ジェネレータを提案する。
インターネットミームは一般的にイメージの形をとり、ミームテンプレート(画像)とキャプション(自然言語文)を組み合わせて作成される。
論文 参考訳（メタデータ） (2021-12-03T00:17:44Z) - Caption Enriched Samples for Improving Hateful Memes Detection [78.5136090997431]
憎しみのあるミームの挑戦は、ミームが憎悪であるか否かを決定するのが困難であることを示している。
ユニモーダル言語モデルとマルチモーダル視覚言語モデルの両方が人間のパフォーマンスレベルに到達できない。
論文 参考訳（メタデータ） (2021-09-22T10:57:51Z) - Memes in the Wild: Assessing the Generalizability of the Hateful Memes
Challenge Dataset [47.65948529524281]
Pinterestからヘイトフルで非ヘイトフルなミームを収集して、Facebookデータセットで事前トレーニングされたモデルで、サンプル外のパフォーマンスを評価します。
1) キャプションをOCRで抽出しなければならない,2) ミームは従来のミームよりも多様であり, 会話のスクリーンショットやテキストをプレーンな背景に表示する,という2つの重要な側面がある。
論文 参考訳（メタデータ） (2021-07-09T09:04:05Z) - Entropy and complexity unveil the landscape of memes evolution [105.59074436693487]
われわれは、2011年から2020年までの10年間で、Redditから200万のビジュアルミームの進化を研究した。
ミームは新たなインターネットメタ言語の一部であるという仮説を支持する。
論文 参考訳（メタデータ） (2021-05-26T07:41:09Z) - Multimodal Learning for Hateful Memes Detection [6.6881085567421605]
本稿では,画像キャプション処理をミーム検出プロセスに組み込む新しい手法を提案する。
本モデルは,Hateful Memes Detection Challengeにおける有望な結果を得る。
論文 参考訳（メタデータ） (2020-11-25T16:49:15Z) - memeBot: Towards Automatic Image Meme Generation [24.37035046107127]
モデルはミームキャプションとミームテンプレートイメージの依存関係を学習し、新しいミームを生成する。
Twitterデータを用いた実験では、オンラインソーシャルインタラクションにおける文のミーム生成におけるモデルの有効性が示されている。
論文 参考訳（メタデータ） (2020-04-30T03:48:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。