論文の概要: Seeing Sarcasm Through Different Eyes: Analyzing Multimodal Sarcasm Perception in Large Vision-Language Models

• arxiv url: http://arxiv.org/abs/2503.12149v1
• Date: Sat, 15 Mar 2025 14:10:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-18 15:58:58.328105
• Title: Seeing Sarcasm Through Different Eyes: Analyzing Multimodal Sarcasm Perception in Large Vision-Language Models
• Title（参考訳）: 異なる目を通してサルカズムを見る:大規模視覚言語モデルにおけるマルチモーダルサルカズム知覚の分析
• Authors: Junjie Chen, Xuyang Liu, Subin Huang, Linfeng Zhang, Hang Yu,
• Abstract要約: 本稿では,既存のマルチモーダルサルカムデータセット上で,システマティックに設計されたプロンプトを用いた分析フレームワークを提案する。 以上の結果より,LVLMと同一モデル内における顕著な相違が認められた。 これらの結果は、サルカズムの主観性を強調することによってバイナリラベリングパラダイムに挑戦する。
• 参考スコア（独自算出の注目度）: 18.15726815994039
• License:
• Abstract: With the advent of large vision-language models (LVLMs) demonstrating increasingly human-like abilities, a pivotal question emerges: do different LVLMs interpret multimodal sarcasm differently, and can a single model grasp sarcasm from multiple perspectives like humans? To explore this, we introduce an analytical framework using systematically designed prompts on existing multimodal sarcasm datasets. Evaluating 12 state-of-the-art LVLMs over 2,409 samples, we examine interpretive variations within and across models, focusing on confidence levels, alignment with dataset labels, and recognition of ambiguous "neutral" cases. Our findings reveal notable discrepancies -- across LVLMs and within the same model under varied prompts. While classification-oriented prompts yield higher internal consistency, models diverge markedly when tasked with interpretive reasoning. These results challenge binary labeling paradigms by highlighting sarcasm's subjectivity. We advocate moving beyond rigid annotation schemes toward multi-perspective, uncertainty-aware modeling, offering deeper insights into multimodal sarcasm comprehension. Our code and data are available at: https://github.com/CoderChen01/LVLMSarcasmAnalysis
• Abstract（参考訳）: 大きな視覚言語モデル(LVLM)の出現によって、人間のような能力が増すにつれて、重要な疑問が浮かび上がってくる: 異なるLVLMは多モードの皮肉を異なる解釈し、単一のモデルが人間のような複数の視点から皮肉を把握できるのか? そこで本研究では,既存のマルチモーダルサルカムデータセットを体系的に設計したプロンプトを用いた分析フレームワークを提案する。 12の最先端のLVLMを2,409以上のサンプルで評価し,信頼度,データセットラベルとの整合性,曖昧な「中立的」ケースの認識に着目し,モデル内およびモデル間の解釈的変動を検討した。 以上の結果より,LVLMと同一モデル内における顕著な相違が認められた。 分類指向のプロンプトはより高い内部整合性をもたらすが、解釈的推論を扱う場合、モデルは顕著に分岐する。 これらの結果は、サルカズムの主観性を強調することによってバイナリラベリングパラダイムに挑戦する。 我々は、厳密なアノテーションスキームを超えて、マルチパースペクティブな不確実性を考慮したモデリングへと移行し、マルチモーダルサルカズムの理解に関する深い洞察を提供する。 私たちのコードとデータは、https://github.com/CoderChen01/LVLMSarcasmAnalysisで利用可能です。

関連論文リスト

• NEMO: Can Multimodal LLMs Identify Attribute-Modified Objects? [19.525612393979777]
  我々は,オリギナル果実とそれに対応するアトリビュート修飾果実の900枚の画像からなる新しいベンチマークNEMOを紹介する。 ベンチマークを用いて26の最近のオープンソースおよび商用モデルを評価した。 本研究は,NEMOにおける物体認識における性能差を明らかにするとともに,異なるモデル間で異なる解の選好を明らかにすることを目的とした。
  論文  参考訳（メタデータ） (2024-11-26T17:47:34Z)
• VHELM: A Holistic Evaluation of Vision Language Models [75.88987277686914]
  視覚言語モデル(VHELM)の全体的評価について述べる。 VHELMは、視覚的知覚、知識、推論、バイアス、公平性、多言語性、堅牢性、毒性、安全性の9つの側面の1つ以上をカバーするために、さまざまなデータセットを集約する。 私たちのフレームワークは軽量で自動で、評価の実行が安価で高速に行えるように設計されています。
  論文  参考訳（メタデータ） (2024-10-09T17:46:34Z)
• Eagle: Exploring The Design Space for Multimodal LLMs with Mixture of Encoders [89.41055673919895]
  本研究では,視覚エンコーダと解像度の混合を用いたMLLMの設計空間について検討する。 視覚トークンを補完的な視覚エンコーダの集合から簡単に結合することは、より複雑な混合アーキテクチャや戦略と同じくらい効果的であることがわかった。 その結果生まれたMLLMのファミリーであるEagleは、MLLMベンチマークで他の主要なオープンソースモデルを上回っている。
  論文  参考訳（メタデータ） (2024-08-28T17:59:31Z)
• CofiPara: A Coarse-to-fine Paradigm for Multimodal Sarcasm Target Identification with Large Multimodal Models [14.453131020178564]
  本稿では,大きめのパラダイムを持つ多目的MSTIフレームワークを提案する。 マルチモーダル推論におけるLMM(Large Multimodal Models)の強力な能力に着想を得て、まずLMMに取り組み、マルチモーダルサルカズム検出における小言語モデルの粗粒化事前学習のための競合する有理性を生成する。 そこで本稿では,LMM に内在する潜在的なノイズによる負の影響を緩和し,より微細な目標同定モデルを提案する。
  論文  参考訳（メタデータ） (2024-05-01T08:44:44Z)
• Quantifying and Mitigating Unimodal Biases in Multimodal Large Language Models: A Causal Perspective [9.633811630889237]
  本稿では,視覚質問応答(VQA)問題におけるバイアスを解釈するための因果的枠組みを提案する。 マルチホップ推論を必要とする12,000の挑戦VQAインスタンスを備えた新しいデータセットを導入する。 実験の結果, MLLMはMOREに悪影響を及ぼし, 強い一方向偏差と限定的な意味理解を示すことがわかった。
  論文  参考訳（メタデータ） (2024-03-27T08:38:49Z)
• Multi-modal Auto-regressive Modeling via Visual Words [96.25078866446053]
  本稿では,視覚的特徴を大規模多モードモデルの語彙上の確率分布にマッピングする視覚トークンの概念を提案する。 さらに、LMM内の意味空間における視覚的特徴の分布と、視覚情報を表現するためにテキスト埋め込みを使用することの可能性について検討する。
  論文  参考訳（メタデータ） (2024-03-12T14:58:52Z)
• CODIS: Benchmarking Context-Dependent Visual Comprehension for Multimodal Large Language Models [58.95889895912716]
  我々は、自由形式のテキストで提供されるコンテキストを用いて視覚的理解を高めるモデルの有効性を評価するために、CODISと名付けられた新しいベンチマークを導入する。 以上の結果から,MLLMは必ずしも人体性能に劣っていることが示唆された。 このことは、MLLMが視覚を文脈依存的に理解する能力を高めることの必要性を浮き彫りにする。
  論文  参考訳（メタデータ） (2024-02-21T08:21:12Z)
• Eyes Wide Shut? Exploring the Visual Shortcomings of Multimodal LLMs [50.77984109941538]
  近年のマルチモーダル LLM の視覚能力は, いまだに系統的な欠点を呈している。 CLIP-blind pairs'(CLIP-blind pairs)を識別する。 様々なCLIPに基づく視覚・言語モデルの評価を行い、CLIPモデルに挑戦する視覚パターンとマルチモーダルLLMの問題との間に顕著な相関関係を見出した。
  論文  参考訳（メタデータ） (2024-01-11T18:58:36Z)
• Multi-Modal Sarcasm Detection Based on Contrastive Attention Mechanism [7.194040730138362]
  本研究では、モーダリティ間コントラストアテンションに基づくSarcasm Detection(ConAttSD)モデルを構築し、モーダリティ間コントラストアテンション機構を用いて発話のコントラスト特徴を抽出する。 ベンチマークマルチモーダルサルカズムデータセットであるMUStARDに関する実験により,提案したConAttSDモデルの有効性を実証した。
  論文  参考訳（メタデータ） (2021-09-30T14:17:51Z)
• AES Systems Are Both Overstable And Oversensitive: Explaining Why And Proposing Defenses [66.49753193098356]
  スコアリングモデルの驚くべき逆方向の脆さの原因について検討する。 のモデルとして訓練されているにもかかわらず、単語の袋のように振る舞うことを示唆している。 高い精度で試料を発生させる過敏性と過敏性を検出できる検出ベース保護モデルを提案する。
  論文  参考訳（メタデータ） (2021-09-24T03:49:38Z)
• Interpretable Multi-Head Self-Attention model for Sarcasm Detection in social media [0.0]
  sarcastic expressionの曖昧さは、sarcasmの発見を非常に困難にしている。 マルチヘッドセルフアテンションとゲートリカレントユニットを用いた解釈可能なディープラーニングモデルを開発する。 本稿では,複数のデータセットで最新の結果を得る手法の有効性を示す。
  論文  参考訳（メタデータ） (2021-01-14T21:39:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。