論文の概要: MemeGraphs: Linking Memes to Knowledge Graphs

• arxiv url: http://arxiv.org/abs/2305.18391v2
• Date: Mon, 26 Jun 2023 16:15:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-27 22:32:41.835341
• Title: MemeGraphs: Linking Memes to Knowledge Graphs
• Title（参考訳）: MemeGraphs: ミームを知識グラフにリンクする
• Authors: Vasiliki Kougia, Simon Fetzel, Thomas Kirchmair, Erion \c{C}ano, Sina Moayed Baharlou, Sahand Sharifzadeh, Benjamin Roth
• Abstract要約: 本稿では,映像をオブジェクトとその視覚的関係で表現するシーングラフと,トランスフォーマーアーキテクチャを用いたミーム分類のための構造化表現として知識グラフを提案する。 提案手法を,ミームの学習(構造化)表現のみを用いるマルチモーダルモデルImgBERTと比較し,一貫した改善を観察する。 分析により、人間のアノテーションよりも多くのエンティティをリンクする自動手法が示され、自動的に生成されたグラフはミームのヘイトフルネス分類に適していることが示された。
• 参考スコア（独自算出の注目度）: 5.857287622337647
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Memes are a popular form of communicating trends and ideas in social media and on the internet in general, combining the modalities of images and text. They can express humor and sarcasm but can also have offensive content. Analyzing and classifying memes automatically is challenging since their interpretation relies on the understanding of visual elements, language, and background knowledge. Thus, it is important to meaningfully represent these sources and the interaction between them in order to classify a meme as a whole. In this work, we propose to use scene graphs, that express images in terms of objects and their visual relations, and knowledge graphs as structured representations for meme classification with a Transformer-based architecture. We compare our approach with ImgBERT, a multimodal model that uses only learned (instead of structured) representations of the meme, and observe consistent improvements. We further provide a dataset with human graph annotations that we compare to automatically generated graphs and entity linking. Analysis shows that automatic methods link more entities than human annotators and that automatically generated graphs are better suited for hatefulness classification in memes.
• Abstract（参考訳）: ミームは、ソーシャルメディアやインターネット全般において、画像とテキストのモダリティを組み合わせることで、トレンドやアイデアを伝える一般的な形態である。 ユーモアや皮肉を表現できるが、不快な内容を持つこともある。 ミームの自動分析と分類は、その解釈が視覚要素、言語、背景知識の理解に依存しているため、難しい。 したがって、ミーム全体を分類するために、これらのソースとそれらの相互作用を有意義に表現することが重要である。 本研究では,映像をオブジェクトとその視覚的関係で表現するシーングラフと,トランスフォーマーアーキテクチャを用いたミーム分類のための構造化表現として知識グラフを提案する。 提案手法を,ミームの学習(構造化)表現のみを用いるマルチモーダルモデルImgBERTと比較し,一貫した改善を観察する。 さらに、自動生成されたグラフとエンティティリンクを比較した、人間のグラフアノテーションによるデータセットも提供します。 分析により、人間のアノテーションよりも多くのエンティティをリンクする自動手法が示され、自動的に生成されたグラフはミームのヘイトフルネス分類に適していることが示された。

関連論文リスト

• Decoding Memes: A Comparative Study of Machine Learning Models for Template Identification [0.0]
  ミームテンプレート(meme template)は、ミームを作成するのに使用されるレイアウトまたはフォーマットである。 ミームのバイラル性に関する広範な研究にもかかわらず、ミームのテンプレートを自動的に識別する作業は依然として課題である。 本稿では,既存のmemeテンプレート識別手法の総合的な比較と評価を行う。
  論文  参考訳（メタデータ） (2024-08-15T12:52:06Z)
• XMeCap: Meme Caption Generation with Sub-Image Adaptability [53.2509590113364]
  社会的な意味や文化的な詳細に深く根ざした噂は、機械にとってユニークな挑戦である。 我々は、教師付き微調整と強化学習を採用するtextscXMeCapフレームワークを紹介した。 textscXMeCapは、シングルイメージのミームの平均評価スコアが75.85で、マルチイメージのミームは66.32で、それぞれ3.71%と4.82%で最高のベースラインを上回っている。
  論文  参考訳（メタデータ） (2024-07-24T10:51:46Z)
• A Template Is All You Meme [83.05919383106715]
  我々は,54,000枚以上の画像からなる www.knowyourme.com で発見されたミームと情報の知識ベースをリリースする。 我々は、ミームテンプレートが、以前のアプローチから欠落したコンテキストでモデルを注入するのに使えると仮定する。
  論文  参考訳（メタデータ） (2023-11-11T19:38:14Z)
• MEMEX: Detecting Explanatory Evidence for Memes via Knowledge-Enriched Contextualization [31.209594252045566]
  本稿では,ミームと関連する文書を与えられた新しいタスクMEMEXを提案し,ミームの背景を簡潔に説明するコンテキストを掘り下げることを目的とする。 MCCをベンチマークするために,共通感覚に富んだミーム表現を用いたマルチモーダル・ニューラル・フレームワークであるMIMEと,ミームとコンテキスト間の相互モーダルなセマンティック依存関係を捉える階層的アプローチを提案する。
  論文  参考訳（メタデータ） (2023-05-25T10:19:35Z)
• Coarse-to-Fine Contrastive Learning in Image-Text-Graph Space for Improved Vision-Language Compositionality [50.48859793121308]
  対照的に訓練された視覚言語モデルは、視覚と言語表現学習において顕著な進歩を遂げた。 近年の研究では、対象、属性、関係性に対して構成的推論を行う能力に厳しい制限が強調されている。
  論文  参考訳（メタデータ） (2023-05-23T08:28:38Z)
• MemeTector: Enforcing deep focus for meme detection [8.794414326545697]
  オンライン現象の文化的・社会的側面をより正確に把握するために、ソーシャルメディアから画像ミームを正確に回収することが重要である。 本稿では,画像ミームの視覚的部分を正規画像クラスと初期画像ミームのインスタンスとして利用する手法を提案する。 我々は、これらの重要な部分にフォーカスするモデルの能力を高めるために、標準のViTアーキテクチャの上にトレーニング可能なアテンションメカニズムを使用します。
  論文  参考訳（メタデータ） (2022-05-26T10:50:29Z)
• Transformer-based Dual Relation Graph for Multi-label Image Recognition [56.12543717723385]
  本稿では,トランスフォーマーをベースとしたデュアルリレーショナル学習フレームワークを提案する。 相関の2つの側面、すなわち構造関係グラフと意味関係グラフについて検討する。 提案手法は,2つのポピュラーなマルチラベル認識ベンチマークにおいて,最先端性を実現する。
  論文  参考訳（メタデータ） (2021-10-10T07:14:52Z)
• Do Images really do the Talking? Analysing the significance of Images in Tamil Troll meme classification [0.16863755729554888]
  我々は,ミームの分類における画像の視覚的特徴の重要性を探究する。 画像とテキストに基づいて,ミームをトロール・ノントロールのミームとして組み込もうとする。
  論文  参考訳（メタデータ） (2021-08-09T09:04:42Z)
• Sketching Image Gist: Human-Mimetic Hierarchical Scene Graph Generation [98.34909905511061]
  望ましいシーングラフは階層的に構築されるべきであり,シーングラフをモデル化するための新しいスキームを導入する。 HETに基づいてシーングラフを生成するために,階層と兄弟関係を具体的にエンコードするHETをHybrid-LSTM(Hybrid-LSTM)で解析する。 シーングラフにおける重要な関係性をさらに優先順位付けするために、関係ランク付けモジュール(RRM)を考案し、それらのランク付けを動的に調整する。
  論文  参考訳（メタデータ） (2020-07-17T05:12:13Z)
• Bridging Knowledge Graphs to Generate Scene Graphs [49.69377653925448]
  本稿では,2つのグラフ間の情報伝達を反復的に行う新しいグラフベースニューラルネットワークを提案する。 我々のグラフブリッジネットワークであるGB-Netは、エッジとノードを連続的に推論し、相互接続されたシーンとコモンセンスグラフのリッチでヘテロジニアスな構造を同時に活用し、洗練する。
  論文  参考訳（メタデータ） (2020-01-07T23:35:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。