論文の概要: Hummus: A Dataset of Humorous Multimodal Metaphor Use

• arxiv url: http://arxiv.org/abs/2504.02983v1
• Date: Thu, 03 Apr 2025 19:15:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-07 14:49:33.785804
• Title: Hummus: A Dataset of Humorous Multimodal Metaphor Use
• Title（参考訳）: Hummus:Humrous Multimodal Metaphorのデータセット
• Authors: Xiaoyu Tong, Zhi Zhang, Martha Lewis, Ekaterina Shutova,
• Abstract要約: 本研究は,コミュニティで注目されていないマルチモーダルメタファーのユーモラスな能力に焦点を当てたものである。 我々は、ユーモアの特異性理論、概念メタファー理論、VUアムステルダムメタファーコーパスの背後にあるアノテーションスキームからインスピレーションを得る。 データセットとコードを.com/xiaoyuisrain/humorous-multimodal-metaphor-useでリリースします。
• 参考スコア（独自算出の注目度）: 16.681140545036186
• License:
• Abstract: Metaphor and humor share a lot of common ground, and metaphor is one of the most common humorous mechanisms. This study focuses on the humorous capacity of multimodal metaphors, which has not received due attention in the community. We take inspiration from the Incongruity Theory of humor, the Conceptual Metaphor Theory, and the annotation scheme behind the VU Amsterdam Metaphor Corpus, and developed a novel annotation scheme for humorous multimodal metaphor use in image-caption pairs. We create the Hummus Dataset of Humorous Multimodal Metaphor Use, providing expert annotation on 1k image-caption pairs sampled from the New Yorker Caption Contest corpus. Using the dataset, we test state-of-the-art multimodal large language models (MLLMs) on their ability to detect and understand humorous multimodal metaphor use. Our experiments show that current MLLMs still struggle with processing humorous multimodal metaphors, particularly with regard to integrating visual and textual information. We release our dataset and code at github.com/xiaoyuisrain/humorous-multimodal-metaphor-use.
• Abstract（参考訳）: メタファーとユーモアは多くの共通基盤を共有しており、メタファーは最も一般的なユーモアのメカニズムの1つである。 本研究は,コミュニティで注目されていないマルチモーダルメタファーのユーモラスな能力に焦点を当てたものである。 我々は、ユーモアのインコングルティ理論、概念メタファー理論、VUアムステルダムメタファーコーパスの背後にあるアノテーションスキームからインスピレーションを得て、画像キャプチャー対で使用されるユーモラスなマルチモーダルメタファーのための新しいアノテーションスキームを開発した。 我々はHummus Dataset of Humorous Multimodal Metaphor Useを作成し、New Yorker Caption Contest corpusからサンプリングされた1kイメージキャプチャペアに関する専門家アノテーションを提供する。 このデータセットを用いて、ユーモラスなマルチモーダルメタファーの使用を検出し、理解する能力に基づいて、最先端のマルチモーダル言語モデル(MLLM)をテストする。 実験の結果,現在のMLLMはユーモラスなマルチモーダルメタファーの処理に苦慮し,特に視覚情報とテキスト情報の統合に苦慮していることがわかった。 データセットとコードはgithub.com/xiaoyuisrain/humorous-multimodal-metaphor-useで公開しています。

関連論文リスト

• NYK-MS: A Well-annotated Multi-modal Metaphor and Sarcasm Understanding Benchmark on Cartoon-Caption Dataset [11.453576424853749]
  我々は、メタファー理解タスクのための1,583のサンプルを含むNYK-MSという新しいベンチマークを作成する。 課題にはメタファ/サルカズムが含まれているか、どの単語やオブジェクトがメタファ/サルカズムを含んでいるか、何が風刺されているのか、なぜなのかなどが含まれる。 7つのタスクはすべて、少なくとも3つのアノテータによって十分に注釈付けされている。
  論文  参考訳（メタデータ） (2024-09-02T08:14:49Z)
• CMDAG: A Chinese Metaphor Dataset with Annotated Grounds as CoT for Boosting Metaphor Generation [35.14142183519002]
  本稿では,28Kの文からなる中国語メタファーコーパスについて紹介する。 アノテーションの正確性と一貫性を確保するため、包括的なガイドラインのセットを導入します。 伝統を破り、メタファー生成への我々のアプローチは、従来のテナーと車両の組み合わせよりも、その基盤と特徴を強調します。
  論文  参考訳（メタデータ） (2024-02-20T17:00:41Z)
• Multi-source Semantic Graph-based Multimodal Sarcasm Explanation Generation [53.97962603641629]
  本稿では,mulTi-source sEmantic grAph-based Multimodal sarcasm explanation scheme, TEAMを提案する。 TEAMは、入力画像から従来のグローバルな視覚的特徴の代わりに、オブジェクトレベルのセマンティックメタデータを抽出する。 TEAMはマルチソース意味関係を包括的に特徴付けるマルチソース意味グラフを導入している。
  論文  参考訳（メタデータ） (2023-06-29T03:26:10Z)
• The Hidden Language of Diffusion Models [70.03691458189604]
  本稿では,テキスト概念の内部表現を拡散モデルで解釈する新しい手法であるConceptorを提案する。 概念間の驚くべき視覚的つながりは、それらのテキスト意味論を超越している。 我々はまた、模範的、偏見、名高い芸術様式、あるいは複数の意味の同時融合に依存する概念も発見する。
  論文  参考訳（メタデータ） (2023-06-01T17:57:08Z)
• I Spy a Metaphor: Large Language Models and Diffusion Models Co-Create Visual Metaphors [38.70166865926743]
  言語メタファーから視覚的メタファーを生成するための新しい課題を提案する。 これは、暗黙的な意味と構成性をモデル化する能力を必要とするため、拡散ベースのテキスト-画像モデルにとって難しいタスクである。 我々は1,540の言語メタファーとそれに関連する視覚的エラボレートのための6,476の視覚的メタファーを含む高品質なデータセットを作成する。
  論文  参考訳（メタデータ） (2023-05-24T05:01:10Z)
• IRFL: Image Recognition of Figurative Language [20.472997304393413]
  図形は、しばしば複数のモダリティ(例えば、テキストと画像の両方)を通して伝達される。 我々は、図形言語データセットの画像認識を開発する。 マルチモーダルな図形言語理解のためのベンチマークとして,2つの新しいタスクを導入する。
  論文  参考訳（メタデータ） (2023-03-27T17:59:55Z)
• Do Androids Laugh at Electric Sheep? Humor "Understanding" Benchmarks from The New Yorker Caption Contest [70.40189243067857]
  大きめのニューラルネットワークがジョークを生成できるようになったが、本当にユーモアを「理解」しているのだろうか? 私たちは、New Yorker Cartoon Caption Contestから派生した3つのタスクでAIモデルに挑戦します。 どちらのモデルも3つのタスクすべてで苦労しています。
  論文  参考訳（メタデータ） (2022-09-13T20:54:00Z)
• M2H2: A Multimodal Multiparty Hindi Dataset For Humor Recognition in Conversations [72.81164101048181]
  テレビシリーズ『Shrimaan Shrimati Phir Se』の13話から6,191発の発声を含む会話におけるマルチモーダル・マルチパーティ・ヒンディー・ヒューム(M2H2)認識のためのデータセットを提案する。 それぞれの発話はユーモア/非感情ラベルでアノテートされ、音響、視覚、テキストのモダリティを含む。 M2H2データセットにおける実験結果から,マルチモーダル情報はユーモア認識のための単調な情報を補完することが示された。
  論文  参考訳（メタデータ） (2021-08-03T02:54:09Z)
• Metaphor Generation with Conceptual Mappings [58.61307123799594]
  我々は、関連する動詞を置き換えることで、リテラル表現を与えられた比喩文を生成することを目指している。 本稿では,認知領域間の概念マッピングを符号化することで生成過程を制御することを提案する。 教師なしCM-Lexモデルは,近年のディープラーニングメタファ生成システムと競合することを示す。
  論文  参考訳（メタデータ） (2021-06-02T15:27:05Z)
• MERMAID: Metaphor Generation with Symbolism and Discriminative Decoding [22.756157298168127]
  メタファーとシンボル間の理論的に基底的な接続に基づいて,並列コーパスを自動構築する手法を提案する。 生成タスクには、並列データに微調整されたシーケンスモデルへのシーケンスの復号を導くためのメタファ判別器を組み込んだ。 課題に基づく評価では、比喩のない詩に比べて、比喩で強化された人文詩が68%の時間を好むことが示されている。
  論文  参考訳（メタデータ） (2021-03-11T16:39:19Z)
• Metaphoric Paraphrase Generation [58.592750281138265]
  クラウドソーシングを用いてその結果を評価し,メタファー的パラフレーズを評価するための自動指標を開発する。 語彙置換ベースラインは正確なパラフレーズを生成できるが、比喩的でないことが多い。 メタファーマスキングモデルでは,メタファー文の生成に優れ,流布やパラフレーズの品質に関してはほぼ同等に機能する。
  論文  参考訳（メタデータ） (2020-02-28T16:30:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。