論文の概要: Can Large Vision-Language Models Understand Multimodal Sarcasm?

• arxiv url: http://arxiv.org/abs/2508.03654v1
• Date: Tue, 05 Aug 2025 17:05:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-06 18:18:56.093378
• Title: Can Large Vision-Language Models Understand Multimodal Sarcasm?
• Title（参考訳）: マルチモーダルサーカスムに対する大規模視線探索モデルの適用可能性
• Authors: Xinyu Wang, Yue Zhang, Liqiang Jing,
• Abstract要約: サルカスム(Sarcasm)は、リテラルと意図された意味の相違を含む複雑な言語現象である。 マルチモーダルサルカズム解析(MSA)タスクにおける大規模視覚言語モデル(LVLM)の評価を行った。 深度オブジェクト抽出と外部概念知識を統合した学習自由フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 14.863320201956963
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sarcasm is a complex linguistic phenomenon that involves a disparity between literal and intended meanings, making it challenging for sentiment analysis and other emotion-sensitive tasks. While traditional sarcasm detection methods primarily focus on text, recent approaches have incorporated multimodal information. However, the application of Large Visual Language Models (LVLMs) in Multimodal Sarcasm Analysis (MSA) remains underexplored. In this paper, we evaluate LVLMs in MSA tasks, specifically focusing on Multimodal Sarcasm Detection and Multimodal Sarcasm Explanation. Through comprehensive experiments, we identify key limitations, such as insufficient visual understanding and a lack of conceptual knowledge. To address these issues, we propose a training-free framework that integrates in-depth object extraction and external conceptual knowledge to improve the model's ability to interpret and explain sarcasm in multimodal contexts. The experimental results on multiple models show the effectiveness of our proposed framework. The code is available at https://github.com/cp-cp/LVLM-MSA.
• Abstract（参考訳）: サルカスムは、リテラルと意図された意味の相違を含む複雑な言語現象であり、感情分析やその他の感情に敏感なタスクに挑戦する。 従来のサルカズム検出法は主にテキストに焦点をあてるが、近年のアプローチではマルチモーダル情報を取り入れている。 しかし,Multimodal Sarcasm Analysis (MSA) におけるLVLM(Large Visual Language Models)の適用はいまだ検討されていない。 本稿では,MSAタスクにおけるLVLMの評価を行い,特にマルチモーダルサルカスム検出とマルチモーダルサルカスム記述に着目した。 包括的実験を通じて、視覚的理解の不足や概念的知識の欠如など、重要な制約を識別する。 これらの課題に対処するために,モデルがマルチモーダルな文脈でSarcasmを解釈・説明する能力を向上させるために,深度オブジェクト抽出と外部概念知識を統合した学習自由フレームワークを提案する。 複数のモデルに対する実験結果から,提案手法の有効性が示された。 コードはhttps://github.com/cp-cp/LVLM-MSAで公開されている。

関連論文リスト

• True Multimodal In-Context Learning Needs Attention to the Visual Context [69.63677595066012]
  MLLM(Multimodal Large Language Models)は、新しいタスクに適応したMICL(Multimodal In-Context Learning)を実現する。 現在のMLLMは、視覚的手がかりを無視し、テキストパターンを過度に無視する傾向にあり、真のマルチモーダル適応よりも単なるテキスト模倣に繋がる。 視覚的コンテキストへのモデルへの参加を促す,効率的な微調整戦略であるDynamic Attention Reallocation (DARA)を紹介した。
  論文  参考訳（メタデータ） (2025-07-21T17:08:18Z)
• Seeing Sarcasm Through Different Eyes: Analyzing Multimodal Sarcasm Perception in Large Vision-Language Models [18.15726815994039]
  本稿では,既存のマルチモーダルサルカムデータセット上で,システマティックに設計されたプロンプトを用いた分析フレームワークを提案する。 以上の結果より,LVLMと同一モデル内における顕著な相違が認められた。 これらの結果は、サルカズムの主観性を強調することによってバイナリラベリングパラダイムに挑戦する。
  論文  参考訳（メタデータ） (2025-03-15T14:10:25Z)
• Can MLLMs Reason in Multimodality? EMMA: An Enhanced MultiModal ReAsoning Benchmark [73.27104042215207]
  EMMAは,数学,物理,化学,コーディングにまたがる有機マルチモーダル推論を対象とするベンチマークである。 EMMAタスクは、各モードで独立に推論することで対処できない高度なクロスモーダル推論を要求する。 EMMA上での最先端MLLMの評価は、複雑なマルチモーダルおよびマルチステップ推論タスクの処理において、重大な制限を生じさせる。
  論文  参考訳（メタデータ） (2025-01-09T18:55:52Z)
• RCLMuFN: Relational Context Learning and Multiplex Fusion Network for Multimodal Sarcasm Detection [1.023096557577223]
  マルチモーダルサルカズム検出のための関係文脈学習と多重化融合ネットワーク(RCLMuFN)を提案する。 まず,4つの特徴抽出器を用いて,原文や画像から特徴を包括的に抽出する。 次に,関係文脈学習モジュールを用いて,テキストや画像の文脈情報を学習する。
  論文  参考訳（メタデータ） (2024-12-17T15:29:31Z)
• RA-BLIP: Multimodal Adaptive Retrieval-Augmented Bootstrapping Language-Image Pre-training [55.54020926284334]
  近年,MLLM (Multimodal Large Language Models) が注目されている。 検索拡張技術はLLMとMLLMの両方に有効なプラグインであることが証明されている。 本研究では,MLLMの新しい検索支援フレームワークであるRA-BLIP(Retrieval-Augmented Bootstrapping Language-Image Pre-training)を提案する。
  論文  参考訳（メタデータ） (2024-10-18T03:45:19Z)
• A Concept-Based Explainability Framework for Large Multimodal Models [52.37626977572413]
  本稿では,トークン表現に適用した辞書学習に基づくアプローチを提案する。 これらの概念は、視覚とテキストの両方に意味論的に根ざしていることを示す。 抽出したマルチモーダル概念は,テストサンプルの表現の解釈に有用であることを示す。
  論文  参考訳（メタデータ） (2024-06-12T10:48:53Z)
• CofiPara: A Coarse-to-fine Paradigm for Multimodal Sarcasm Target Identification with Large Multimodal Models [14.453131020178564]
  本稿では,大きめのパラダイムを持つ多目的MSTIフレームワークを提案する。 マルチモーダル推論におけるLMM(Large Multimodal Models)の強力な能力に着想を得て、まずLMMに取り組み、マルチモーダルサルカズム検出における小言語モデルの粗粒化事前学習のための競合する有理性を生成する。 そこで本稿では,LMM に内在する潜在的なノイズによる負の影響を緩和し,より微細な目標同定モデルを提案する。
  論文  参考訳（メタデータ） (2024-05-01T08:44:44Z)
• What Makes Multimodal In-Context Learning Work? [58.48612721156335]
  本稿では,M-ICL(Multimodal ICL)を大規模マルチモーダルモデルで検討するための枠組みを提案する。 M-ICLは主にテキスト駆動機構に依存しており、画像のモダリティからはほとんど影響を受けない。 我々は、M-ICLのいくつかのバイアスと限界を特定し、デプロイメント前に考慮することを保証している。
  論文  参考訳（メタデータ） (2024-04-24T08:50:45Z)
• Multi-modal Semantic Understanding with Contrastive Cross-modal Feature Alignment [11.897888221717245]
  マルチモーダルな特徴アライメントを実現するためのCLIP誘導型コントラスト学習型アーキテクチャを提案する。 我々のモデルはタスク固有の外部知識を使わずに実装が簡単であり、そのため、他のマルチモーダルタスクに容易に移行できる。
  論文  参考訳（メタデータ） (2024-03-11T01:07:36Z)
• Exploring Multi-Modal Contextual Knowledge for Open-Vocabulary Object Detection [72.36017150922504]
  教師の融合変換器から学生検出器へ学習した文脈知識を伝達するためのマルチモーダルな文脈知識蒸留フレームワーク MMC-Det を提案する。 多様なマルチモーダルマスキング言語モデリングは、従来のマルチモーダルマスキング言語モデリング(MLM)に基づくオブジェクト分散制約により実現される。
  論文  参考訳（メタデータ） (2023-08-30T08:33:13Z)
• Multi-source Semantic Graph-based Multimodal Sarcasm Explanation Generation [53.97962603641629]
  本稿では,mulTi-source sEmantic grAph-based Multimodal sarcasm explanation scheme, TEAMを提案する。 TEAMは、入力画像から従来のグローバルな視覚的特徴の代わりに、オブジェクトレベルのセマンティックメタデータを抽出する。 TEAMはマルチソース意味関係を包括的に特徴付けるマルチソース意味グラフを導入している。
  論文  参考訳（メタデータ） (2023-06-29T03:26:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。