論文の概要: Focus on What You Need: Global-to-Local Dynamic Attention for Multimodal Sarcasm Detection

• arxiv url: http://arxiv.org/abs/2610.17707v1
• Date: Tue, 13 Oct 2026 04:35:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 17:37:33.706767
• Title: Focus on What You Need: Global-to-Local Dynamic Attention for Multimodal Sarcasm Detection
• Title（参考訳）: 必要なものに着目して:マルチモーダルサーカスム検出のためのグローバル・ローカル・ダイナミック・アテンション
• Abstract要約: ソーシャルメディアプラットフォームにおける画像やテキストの普及により,マルチモーダルサルカズム検出が注目されている。 既存の研究では、画像とテキスト間の意味的不整合や感情的不整合を、皮肉な表現を識別するための重要な手がかりとして扱うのが一般的である。 現実のシナリオにおける画像は、しばしば複数の視覚的オブジェクトを含むが、その多くは、皮肉に関連する意味論とは無関係である。 本稿では,グローバル・ローカル・パースペクティブから相互モーダル・インタラクションをモデル化するマルチモーダル・サルカズム検出フレームワークであるGLDAを提案する。
• 参考スコア（独自算出の注目度）: 6.245075188230803
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal sarcasm detection has attracted increasing attention due to the widespread use of images and text on social media platforms. Existing studies generally treat the semantic or emotional inconsistency between images and text as a key cue for identifying sarcastic expressions. However, images in real-world scenarios often contain multiple visual objects, many of which are irrelevant to sarcasm-related semantics. Such redundant visual information may introduce noise during cross-modal interaction, distracting models from focusing on critical sarcasm cues and potentially leading to inaccurate predictions. To address this issue, we propose GLDA (Global-to-Local Dynamic Attention), a multimodal sarcasm detection framework that models cross-modal interactions from a global-to-local perspective. Specifically, GLDA first employs a global multimodal fusion module to capture high-level semantic interactions between visual and textual modalities, enabling the model to identify coarse-grained cross-modal inconsistencies. To further reduce the influence of irrelevant objects, GLDA introduces a local gated cross-modal attention mechanism that dynamically filters redundant visual and textual features and refines multimodal representations at a finer granularity. In addition, a multi-branch learning objective is designed to jointly optimize unimodal and multimodal representations. Experimental results demonstrate that GLDA effectively improves sarcasm detection performance and achieves competitive results compared with existing approaches. The code will be available at https://anonymous.4open.science/r/GLDA-DBE6.
• Abstract（参考訳）: ソーシャルメディアプラットフォームにおける画像やテキストの普及により,マルチモーダルサルカズム検出が注目されている。 既存の研究では、画像とテキスト間の意味的不整合や感情的不整合を、皮肉な表現を識別するための重要な手がかりとして扱うのが一般的である。 しかし、現実のシナリオにおける画像は、しばしば複数の視覚的オブジェクトを含んでおり、その多くがサルカズムに関連する意味論とは無関係である。 このような冗長な視覚情報は、クロスモーダル相互作用中にノイズを生じさせ、重要なサルカズムの手がかりに焦点を合わせることを妨げ、不正確な予測につながる可能性がある。 この問題に対処するために,グローバル・ローカルの観点からの相互モーダル相互作用をモデル化するマルチモーダル・サルカズム検出フレームワークであるGLDA(Global-to-Local Dynamic Attention)を提案する。 具体的には、GLDAはまずグローバルなマルチモーダル融合モジュールを使用して、視覚とテキストのモダリティ間の高レベルなセマンティックな相互作用をキャプチャし、粗い粒度のクロスモーダルの不整合を識別する。 無関係な物体の影響をさらに軽減するため、GLDAは、冗長な視覚的特徴とテキスト的特徴を動的にフィルタリングし、より微細な粒度でマルチモーダル表現を洗練する、局所的なゲート・クロスモーダルアテンション機構を導入している。 さらに,マルチブランチ学習の目的は,非モーダル表現とマルチモーダル表現を協調的に最適化することを目的としている。 実験により,GLDAはサルカズム検出性能を効果的に向上し,既存の手法と比較して競合的な結果が得られることが示された。 コードはhttps://anonymous.4open.science/r/GLDA-DBE6で入手できる。

関連論文リスト

• Dynamic Gated Cross-Modal Fusion with Sarcastic-aware Contrastive Regularization for Multimodal Sarcasm Detection [8.747820204756566]
  マルチモーダルサルカズム検出は、マルチモーダルコンテンツからサーカティックインテントを特定することを目的としている。 新しいフレームワークは動的Gated Cross-Modal FusionとSarcastic-aware Contrastive Regularizationを統合している。
  論文  参考訳（メタデータ） (2026-08-20T12:02:06Z)
• GDCNet: Generative Discrepancy Comparison Network for Multimodal Sarcasm Detection [7.415126751461174]
  マルチモーダルsarcasm Detection (MSD) は、モダリティ間の意味的不一致をモデル化することによって、画像とテキストのペア内のsarcasmを識別することを目的としている。 本稿では,GDCNet(Generative Discrepancy Comparison Network)を提案する。 GDCNetは、生成した目的記述と原文間の意味的・感情的不一致を、視覚的・テキスト的忠実度の測定とともに計算する。
  論文  参考訳（メタデータ） (2026-01-28T13:51:34Z)
• Dual Modality-Aware Gated Prompt Tuning for Few-Shot Multimodal Sarcasm Detection [1.515687944002438]
  本稿では, DMDP (Deep Modality-Disentangled Prompt Tuning) を紹介した。 DMPは、テキストとビジュアルエンコーダに対して、ゲート付き、モダリティ固有のディーププロンプトを使用する。 レイヤ間でのプロンプト共有機構を導入し、低レベルと高レベルのセマンティックキューの両方をモデルに集約する。
  論文  参考訳（メタデータ） (2025-07-06T17:16:34Z)
• RCLMuFN: Relational Context Learning and Multiplex Fusion Network for Multimodal Sarcasm Detection [1.023096557577223]
  マルチモーダルサルカズム検出のための関係文脈学習と多重化融合ネットワーク(RCLMuFN)を提案する。 まず,4つの特徴抽出器を用いて,原文や画像から特徴を包括的に抽出する。 次に,関係文脈学習モジュールを用いて,テキストや画像の文脈情報を学習する。
  論文  参考訳（メタデータ） (2024-12-17T15:29:31Z)
• ZoomNeXt: A Unified Collaborative Pyramid Network for Camouflaged Object Detection [70.11264880907652]
  最近のオブジェクト(COD)は、現実のシナリオでは極めて複雑で難しい、視覚的にブレンドされたオブジェクトを周囲に分割しようと試みている。 本研究では,不明瞭な画像を観察したり,ズームインしたりアウトしたりする際の人間の行動を模倣する,効果的な統合協調ピラミッドネットワークを提案する。 我々のフレームワークは、画像とビデオのCODベンチマークにおいて、既存の最先端の手法を一貫して上回っている。
  論文  参考訳（メタデータ） (2023-10-31T06:11:23Z)
• Exploiting Modality-Specific Features For Multi-Modal Manipulation Detection And Grounding [54.49214267905562]
  マルチモーダルな操作検出とグラウンド処理のためのトランスフォーマーベースのフレームワークを構築する。 本フレームワークは,マルチモーダルアライメントの能力を維持しながら,モダリティ特有の特徴を同時に探求する。 本稿では,グローバルな文脈的キューを各モーダル内に適応的に集約する暗黙的操作クエリ(IMQ)を提案する。
  論文  参考訳（メタデータ） (2023-09-22T06:55:41Z)
• FiLMing Multimodal Sarcasm Detection with Attention [0.7340017786387767]
  サルカスムの検出は、意図された意味がその表面的な意味によって示されるものと異なる自然言語表現を特定する。 本稿では,入力テキストと画像属性のコンテキスト不整合を組み込むために,RoBERTaモデルとコアテンション層を用いた新しいアーキテクチャを提案する。 提案手法は,Twitterのマルチモーダル検出データセットの6.14%のF1スコアにおいて,既存の最先端手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-08-09T06:33:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。