論文の概要: Do Images really do the Talking? Analysing the significance of Images in
Tamil Troll meme classification
- arxiv url: http://arxiv.org/abs/2108.03886v1
- Date: Mon, 9 Aug 2021 09:04:42 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-11 00:41:42.020744
- Title: Do Images really do the Talking? Analysing the significance of Images in
Tamil Troll meme classification
- Title（参考訳）: イメージは本当に話すのか?
タミル・トロルミーム分類における画像の意義の解析
- Authors: Siddhanth U Hegde and Adeep Hande and Ruba Priyadharshini and Sajeetha
Thavareesan and Ratnasingam Sakuntharaj and Sathiyaraj Thangasamy and B
Bharathi and Bharathi Raja Chakravarthi
- Abstract要約: 我々は,ミームの分類における画像の視覚的特徴の重要性を探究する。
画像とテキストに基づいて,ミームをトロール・ノントロールのミームとして組み込もうとする。
- 参考スコア（独自算出の注目度）: 0.16863755729554888
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A meme is an part of media created to share an opinion or emotion across the
internet. Due to its popularity, memes have become the new forms of
communication on social media. However, due to its nature, they are being used
in harmful ways such as trolling and cyberbullying progressively. Various data
modelling methods create different possibilities in feature extraction and
turning them into beneficial information. The variety of modalities included in
data plays a significant part in predicting the results. We try to explore the
significance of visual features of images in classifying memes. Memes are a
blend of both image and text, where the text is embedded into the image. We try
to incorporate the memes as troll and non-trolling memes based on the images
and the text on them. However, the images are to be analysed and combined with
the text to increase performance. Our work illustrates different textual
analysis methods and contrasting multimodal methods ranging from simple merging
to cross attention to utilising both worlds' - best visual and textual
features. The fine-tuned cross-lingual language model, XLM, performed the best
in textual analysis, and the multimodal transformer performs the best in
multimodal analysis.
- Abstract（参考訳）: ミームは、インターネットを通じて意見や感情を共有するために作られたメディアの一部です。
その人気により、ミームはソーシャルメディア上での新しいコミュニケーション形態となった。
しかし、その性質上、荒らしやサイバーいじめといった有害な方法で徐々に使われている。
様々なデータモデリング手法は、特徴抽出において異なる可能性を生み出し、それらを有益な情報に変換する。
データに含まれる様々なモダリティは、結果を予測する上で重要な役割を果たす。
我々は,ミームの分類における画像の視覚的特徴の重要性を探究する。
ミームは画像とテキストの混合であり、テキストは画像に埋め込まれている。
我々は,これらのミームをトロールと非トロールミームとして,画像とテキストに基づいて組み込もうとする。
しかし、画像は分析され、テキストと組み合わせて性能を高める必要がある。
本研究は、異なるテキスト分析手法を示し、単純なマージから横断的注意まで、世界の最良の視覚とテキストの特徴を活用できるマルチモーダル手法を対比する。
微調整言語モデルであるXLMはテキスト解析において最善を尽くし,マルチモーダル変換器はマルチモーダル解析において最善を尽くした。
関連論文リスト
- XMeCap: Meme Caption Generation with Sub-Image Adaptability [53.2509590113364]
社会的な意味や文化的な詳細に深く根ざした噂は、機械にとってユニークな挑戦である。
我々は、教師付き微調整と強化学習を採用するtextscXMeCapフレームワークを紹介した。
textscXMeCapは、シングルイメージのミームの平均評価スコアが75.85で、マルチイメージのミームは66.32で、それぞれ3.71%と4.82%で最高のベースラインを上回っている。
論文 参考訳（メタデータ） (2024-07-24T10:51:46Z) - Meme-ingful Analysis: Enhanced Understanding of Cyberbullying in Memes
Through Multimodal Explanations [48.82168723932981]
Em MultiBully-Exは、コード混在型サイバーいじめミームからマルチモーダルな説明を行うための最初のベンチマークデータセットである。
ミームの視覚的およびテキスト的説明のために,コントラスト言語-画像事前学習 (CLIP) アプローチが提案されている。
論文 参考訳（メタデータ） (2024-01-18T11:24:30Z) - PromptMTopic: Unsupervised Multimodal Topic Modeling of Memes using
Large Language Models [7.388466146105024]
テキストと視覚の両方からトピックを学習する新しいマルチモーダルプロンプトベースモデルであるtextPromptMTopicを提案する。
本モデルは,テキストと視覚的モダリティ間の意味的相互作用を考慮して,ミームから学習したトピックを効果的に抽出し,クラスタ化する。
我々の研究は、今日の社会における重要なコミュニケーション形態であるミームの話題とテーマの理解に寄与する。
論文 参考訳（メタデータ） (2023-12-11T03:36:50Z) - Social Meme-ing: Measuring Linguistic Variation in Memes [24.226580919186613]
我々は,ミームの個々のインスタンスをテンプレートやセマンティック変数にクラスタリングする計算パイプラインを構築した。
それらのセマンティック関数によってクラスタ化された3.8MイメージのtextscSemanticMemesデータセットを利用可能にしています。
我々はこれらのクラスターを用いて、ミームの言語的変化を分析し、サブレディット間でのミーム使用の社会的意義のある変動が存在することを発見するだけでなく、これらのコミュニティにおけるミームの革新と文化のパターンが、以前の文章言語での発見と一致していることを発見した。
論文 参考訳（メタデータ） (2023-11-15T17:20:20Z) - Mapping Memes to Words for Multimodal Hateful Meme Classification [26.101116761577796]
一部のミームは悪意があり、ヘイトフルなコンテンツを宣伝し、差別を永続させる。
マルチモーダルヘイトフルミーム分類のためのISSUESという新しい手法を提案する。
提案手法は,Hateful Memes Challenge と HarMeme データセットの最先端化を実現する。
論文 参考訳（メタデータ） (2023-10-12T14:38:52Z) - MemeGraphs: Linking Memes to Knowledge Graphs [5.857287622337647]
本稿では,映像をオブジェクトとその視覚的関係で表現するシーングラフと,トランスフォーマーアーキテクチャを用いたミーム分類のための構造化表現として知識グラフを提案する。
提案手法を,ミームの学習(構造化)表現のみを用いるマルチモーダルモデルImgBERTと比較し,一貫した改善を観察する。
分析により、人間のアノテーションよりも多くのエンティティをリンクする自動手法が示され、自動的に生成されたグラフはミームのヘイトフルネス分類に適していることが示された。
論文 参考訳（メタデータ） (2023-05-28T11:17:30Z) - Detecting and Understanding Harmful Memes: A Survey [48.135415967633676]
我々は有害なミームに焦点を当てた総合的な調査を行っている。
興味深い発見の1つは、多くの有害ミームが実際には研究されていないことである。
別の観察では、ミームは異なる言語で再パッケージ化することでグローバルに伝播し、多言語化することもできる。
論文 参考訳（メタデータ） (2022-05-09T13:43:27Z) - Exploiting BERT For Multimodal Target SentimentClassification Through
Input Space Translation [75.82110684355979]
オブジェクト認識変換器を用いて入力空間内の画像を変換する2ストリームモデルを提案する。
次に、翻訳を利用して、言語モデルに多モーダル情報を提供する補助文を構築する。
2つのマルチモーダルTwitterデータセットで最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2021-08-03T18:02:38Z) - Memes in the Wild: Assessing the Generalizability of the Hateful Memes
Challenge Dataset [47.65948529524281]
Pinterestからヘイトフルで非ヘイトフルなミームを収集して、Facebookデータセットで事前トレーニングされたモデルで、サンプル外のパフォーマンスを評価します。
1) キャプションをOCRで抽出しなければならない,2) ミームは従来のミームよりも多様であり, 会話のスクリーンショットやテキストをプレーンな背景に表示する,という2つの重要な側面がある。
論文 参考訳（メタデータ） (2021-07-09T09:04:05Z) - Multimodal Learning for Hateful Memes Detection [6.6881085567421605]
本稿では,画像キャプション処理をミーム検出プロセスに組み込む新しい手法を提案する。
本モデルは,Hateful Memes Detection Challengeにおける有望な結果を得る。
論文 参考訳（メタデータ） (2020-11-25T16:49:15Z) - Text as Neural Operator: Image Manipulation by Text Instruction [68.53181621741632]
本稿では、複雑なテキスト命令を用いて複数のオブジェクトで画像を編集し、オブジェクトの追加、削除、変更を可能にする設定について検討する。
タスクの入力は、(1)参照画像を含むマルチモーダルであり、(2)所望の修正を記述した自然言語の命令である。
提案モデルは,最近の3つの公開データセットの強いベースラインに対して良好に動作することを示す。
論文 参考訳（メタデータ） (2020-08-11T07:07:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。