論文の概要: memeBot: Towards Automatic Image Meme Generation

• arxiv url: http://arxiv.org/abs/2004.14571v1
• Date: Thu, 30 Apr 2020 03:48:14 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-08 04:07:11.921111
• Title: memeBot: Towards Automatic Image Meme Generation
• Title（参考訳）: memebot: 画像自動ミーム生成に向けて
• Authors: Aadhavan Sadasivam, Kausic Gunasekar, Hasan Davulcu, Yezhou Yang
• Abstract要約: モデルはミームキャプションとミームテンプレートイメージの依存関係を学習し、新しいミームを生成する。 Twitterデータを用いた実験では、オンラインソーシャルインタラクションにおける文のミーム生成におけるモデルの有効性が示されている。
• 参考スコア（独自算出の注目度）: 24.37035046107127
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Image memes have become a widespread tool used by people for interacting and exchanging ideas over social media, blogs, and open messengers. This work proposes to treat automatic image meme generation as a translation process, and further present an end to end neural and probabilistic approach to generate an image-based meme for any given sentence using an encoder-decoder architecture. For a given input sentence, an image meme is generated by combining a meme template image and a text caption where the meme template image is selected from a set of popular candidates using a selection module, and the meme caption is generated by an encoder-decoder model. An encoder is used to map the selected meme template and the input sentence into a meme embedding and a decoder is used to decode the meme caption from the meme embedding. The generated natural language meme caption is conditioned on the input sentence and the selected meme template. The model learns the dependencies between the meme captions and the meme template images and generates new memes using the learned dependencies. The quality of the generated captions and the generated memes is evaluated through both automated and human evaluation. An experiment is designed to score how well the generated memes can represent the tweets from Twitter conversations. Experiments on Twitter data show the efficacy of the model in generating memes for sentences in online social interaction.
• Abstract（参考訳）: 画像ミームは、ソーシャルメディア、ブログ、オープンメッセンジャー上でのアイデアのやりとりや交換に広く使われているツールとなっている。 本研究は,自動画像ミーム生成を翻訳処理として扱うこと,さらにエンコーダ・デコーダアーキテクチャを用いて任意の文に対する画像ベースミームを生成するために,エンドツーエンドのニューラルおよび確率的アプローチを提案する。 所定の入力文に対して、選択モジュールを用いて人気候補の集合からミームテンプレート画像とミームテンプレート画像が選択されたテキストキャプションとを組み合わせて画像ミームを生成し、エンコーダ・デコーダモデルによりミームキャプションを生成する。 選択されたミームテンプレートと入力文をミーム埋め込みにマッピングするためにエンコーダを使用し、ミーム埋め込みからミームキャプションをデコードするためにデコーダを使用する。 生成された自然言語ミームキャプションは、入力文及び選択されたミームテンプレートに条件付けされる。 モデルはミームキャプションとミームテンプレートイメージの依存関係を学習し、学習した依存関係を使って新しいミームを生成する。 自動評価と人的評価の両方により、生成されたキャプションと生成されたミームの品質を評価する。 実験は、生成したミームがtwitterの会話のツイートをいかにうまく表現できるかを評価するために行われる。 Twitterデータを用いた実験では、オンラインソーシャルインタラクションにおける文のミーム生成におけるモデルの有効性が示されている。

関連論文リスト

• Evolver: Chain-of-Evolution Prompting to Boost Large Multimodal Models for Hateful Meme Detection [49.122777764853055]
  ヘイトフルミーム検出のためのLMM(Large Multimodal Models)の可能性を探る。 提案するEvolverは,Chain-of-Evolution (CoE) Promptingを介してLMMを組み込む。 Evolverは、ステップバイステップでLMMを通してミームと理由の進化と表現のプロセスをシミュレートする。
  論文  参考訳（メタデータ） (2024-07-30T17:51:44Z)
• XMeCap: Meme Caption Generation with Sub-Image Adaptability [53.2509590113364]
  社会的な意味や文化的な詳細に深く根ざした噂は、機械にとってユニークな挑戦である。 我々は、教師付き微調整と強化学習を採用するtextscXMeCapフレームワークを紹介した。 textscXMeCapは、シングルイメージのミームの平均評価スコアが75.85で、マルチイメージのミームは66.32で、それぞれ3.71%と4.82%で最高のベースラインを上回っている。
  論文  参考訳（メタデータ） (2024-07-24T10:51:46Z)
• What Makes a Meme a Meme? Identifying Memes for Memetics-Aware Dataset Creation [0.9217021281095907]
  マルチモーダルインターネットミームは現在、オンライン談話におけるユビキタスなフィクスチャとなっている。 ミームはミームを模倣してシンボルに変換する過程である。 我々は,ミームと非ミームコンテンツとを識別するミーム識別プロトコルを開発した。
  論文  参考訳（メタデータ） (2024-07-16T15:48:36Z)
• Meme-ingful Analysis: Enhanced Understanding of Cyberbullying in Memes Through Multimodal Explanations [48.82168723932981]
  Em MultiBully-Exは、コード混在型サイバーいじめミームからマルチモーダルな説明を行うための最初のベンチマークデータセットである。 ミームの視覚的およびテキスト的説明のために,コントラスト言語-画像事前学習 (CLIP) アプローチが提案されている。
  論文  参考訳（メタデータ） (2024-01-18T11:24:30Z)
• A Template Is All You Meme [83.05919383106715]
  我々は,54,000枚以上の画像からなる www.knowyourme.com で発見されたミームと情報の知識ベースをリリースする。 我々は、ミームテンプレートが、以前のアプローチから欠落したコンテキストでモデルを注入するのに使えると仮定する。
  論文  参考訳（メタデータ） (2023-11-11T19:38:14Z)
• MemeCap: A Dataset for Captioning and Interpreting Memes [11.188548484391978]
  我々はミームキャプションのタスクを提示し、新しいデータセットMemeCapをリリースする。 我々のデータセットには、6.3Kミームと、ミーム、ミームキャプション、リテラルイメージキャプション、ビジュアルメタファを含む投稿のタイトルが含まれています。
  論文  参考訳（メタデータ） (2023-05-23T05:41:18Z)
• Multi-modal application: Image Memes Generation [13.043370069398916]
  エンド・ツー・エンドのエンコーダ・デコーダ・アーキテクチャ・ミーム・ジェネレータを提案する。 インターネットミームは一般的にイメージの形をとり、ミームテンプレート(画像)とキャプション(自然言語文)を組み合わせて作成される。
  論文  参考訳（メタデータ） (2021-12-03T00:17:44Z)
• Caption Enriched Samples for Improving Hateful Memes Detection [78.5136090997431]
  憎しみのあるミームの挑戦は、ミームが憎悪であるか否かを決定するのが困難であることを示している。 ユニモーダル言語モデルとマルチモーダル視覚言語モデルの両方が人間のパフォーマンスレベルに到達できない。
  論文  参考訳（メタデータ） (2021-09-22T10:57:51Z)
• Memes in the Wild: Assessing the Generalizability of the Hateful Memes Challenge Dataset [47.65948529524281]
  Pinterestからヘイトフルで非ヘイトフルなミームを収集して、Facebookデータセットで事前トレーニングされたモデルで、サンプル外のパフォーマンスを評価します。 1) キャプションをOCRで抽出しなければならない,2) ミームは従来のミームよりも多様であり, 会話のスクリーンショットやテキストをプレーンな背景に表示する,という2つの重要な側面がある。
  論文  参考訳（メタデータ） (2021-07-09T09:04:05Z)
• Multimodal Learning for Hateful Memes Detection [6.6881085567421605]
  本稿では,画像キャプション処理をミーム検出プロセスに組み込む新しい手法を提案する。 本モデルは,Hateful Memes Detection Challengeにおける有望な結果を得る。
  論文  参考訳（メタデータ） (2020-11-25T16:49:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。