論文の概要: Token-Region Guided Cross-Attention Fusion for Multimodal Affect Interpretation

• arxiv url: http://arxiv.org/abs/2607.23493v1
• Date: Sun, 26 Jul 2026 06:36:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-28 22:34:15.130664
• Title: Token-Region Guided Cross-Attention Fusion for Multimodal Affect Interpretation
• Title（参考訳）: マルチモーダルAffect InterpretationのためのToken-Region Guided Cross-Attention Fusion
• Abstract要約: 本稿では,ベンガル・ミームにおける政治的意図の検出について,マルチモーダル・クロス・アテンション・フュージョン(Multimodal Cross-Attention Fusion)フレームワークを導入して論じる。 まず視覚言語モデルを用いて,ノイズの多いミーム画像から高忠実度OCRテキストを抽出する。 次に、視覚的特徴とテキスト的特徴を符号化し、モーダルなマルチヘッドアテンション機構により合成する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Automated analysis of multimodal content on social networks has become a critical task for understanding public sentiment and information diffusion in the digital age. However, classifying internet memes remains computationally challenging due to the intricate interplay between visual cues and embedded, often stylized, text, particularly in low-resource languages like Bengali Language. This paper addresses the detection of political intent in Bengali memes by introducing Multimodal Cross-Attention Fusion framework. We first leverage a Vision-Language Model to extract high-fidelity OCR text from noisy meme images. Subsequently, we encode visual and textual features and synthesize them through a cross-modal multi-head attention mechanism that aligns semantic tokens with visual regions. We also investigate the integration of a domain-specific political lexicon as a knowledge prior. Experimental evaluation on the PoliMemeDecode1 dataset shows that our attention-based fusion significantly outperforms unimodal baselines and standard concatenation methods, achieving a state-of-the-art Macro-F1 of approximately 0.94. Interpretability analyzes further confirm that the model effectively learns to ground textual semantics in visual evidence.
• Abstract（参考訳）: ソーシャルネットワーク上でのマルチモーダルコンテンツの自動分析は,デジタル時代の世論や情報拡散を理解する上で重要な課題となっている。 しかしながら、インターネットミームの分類は、特にベンガル語のような低リソース言語において、視覚的手がかりと組込み型テキストとの複雑な相互作用のため、計算的に難しいままである。 本稿では,ベンガル・ミームにおける政治的意図の検出について,マルチモーダル・クロス・アテンション・フュージョン(Multimodal Cross-Attention Fusion)フレームワークを導入して論じる。 まず視覚言語モデルを用いて,ノイズの多いミーム画像から高忠実度OCRテキストを抽出する。 その後、視覚的特徴とテキスト的特徴をエンコードし、意味的トークンと視覚的領域を整合させるマルチヘッドアテンション機構を通じて合成する。 また、それまでの知識として、ドメイン固有の政治レキシコンの統合についても検討する。 PoliMemeDecode1データセットの実験的評価により、我々の注意に基づく融合は単調なベースラインと標準連結法を著しく上回り、最先端のマクロF1は約0.94であることがわかった。 解釈可能性分析は、モデルが視覚的証拠のテキスト意味論を効果的に学習することを確認する。

関連論文リスト

• Deeply Interleaved Text-Image Contexts for Multimodal LLMs Assessment [57.41731607488101]
  TIC-Benchは、テキストイメージの手がかりを統合し、深くインターリーブされたコンテキストの中で真実の事実を復元するモデルの能力を評価するように設計されている。 また,10種類のMLLMを評価し,人的専門家と比較してかなりの性能差が認められた。
  論文  参考訳（メタデータ） (2026-09-02T13:19:51Z)
• Unifying Scientific Communication: Fine-Grained Correspondence Across Scientific Media [40.40617019402065]
  科学知識のコミュニケーションはますます多モーダルになりつつある。 フォーマット間の明示的なリンクの欠如は、概念、視覚、説明がどのように対応するかを追跡するのを難しくする。 研究論文、プレゼンテーションビデオ、解説ビデオ、同じ作品のスライドを統合する最初のベンチマーク。 我々は, 埋め込み型および視覚言語モデルを用いて, 微粒なクロスフォーマット対応を見つける能力を評価する。
  論文  参考訳（メタデータ） (2026-05-07T08:04:50Z)
• Two Stage Context Learning with Large Language Models for Multimodal Stance Detection on Climate Change [3.563409707133756]
  本稿では,階層的融合によるテキスト情報と視覚情報を統合したマルチモーダル姿勢検出フレームワークを提案する。 提案手法はまず,テキストから姿勢関連要約を検索するためにLarge Language Modelを用いており,ドメイン認識画像キャプション生成器は対象トピックのコンテキストで視覚的内容を解釈する。 気候変化関連姿勢検出のベンチマークであるMultiClimate データセットへのアプローチについて検討した。
  論文  参考訳（メタデータ） (2025-09-09T10:22:10Z)
• MGCR-Net:Multimodal Graph-Conditioned Vision-Language Reconstruction Network for Remote Sensing Change Detection [55.702662643521265]
  マルチモーダルデータのセマンティックインタラクション機能を検討するために,マルチモーダルグラフ条件付き視覚言語再構成ネットワーク(MGCR-Net)を提案する。 4つの公開データセットによる実験結果から,MGCRは主流CD法に比べて優れた性能を示した。
  論文  参考訳（メタデータ） (2025-08-03T02:50:08Z)
• Towards Explainable Bilingual Multimodal Misinformation Detection and Localization [64.37162720126194]
  BiMiは、地域レベルのローカライゼーション、言語間および言語間整合性検出、誤情報解析のための自然言語説明を共同で行うフレームワークである。 BiMiBenchは、実際のニュース画像とサブタイトルを体系的に編集するベンチマークである。 BiMiは、分類精度が+8.9で、ローカライゼーション精度が+15.9で、BERTScoreを+2.5で上回る。
  論文  参考訳（メタデータ） (2025-06-28T15:43:06Z)
• Contrastive Learning-based Multi Modal Architecture for Emoticon Prediction by Employing Image-Text Pairs [13.922091192207718]
  本研究の目的は,文,視覚,エモティコン間の関係を分析することである。 我々は,新しいコントラスト学習に基づくマルチモーダルアーキテクチャを提案する。 提案モデルの精度は91%,MCCスコアは90%,エモティコンは90%であった。
  論文  参考訳（メタデータ） (2024-08-05T15:45:59Z)
• Fuse & Calibrate: A bi-directional Vision-Language Guided Framework for Referring Image Segmentation [8.383431263616105]
  FCNetは,視覚と言語の両方が役割を担っている,双方向誘導融合方式のフレームワークである。 具体的には、視覚誘導方式を用いて初期マルチモーダル融合を行い、キービジョン情報に焦点を当てたマルチモーダル特徴を得る。 次に,言語誘導型キャリブレーションモジュールを提案し,これらのマルチモーダル特徴をキャリブレーションし,入力文の文脈を確実に理解する。
  論文  参考訳（メタデータ） (2024-05-18T07:21:12Z)
• WisdoM: Improving Multimodal Sentiment Analysis by Fusing Contextual World Knowledge [73.76722241704488]
  大規模視覚言語モデル(LVLM)から引き起こされる文脈的世界知識を利用してマルチモーダル感情分析を行うプラグインフレームワークWisdoMを提案する。 我々の手法は、いくつかの最先端手法よりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2024-01-12T16:08:07Z)
• Multi-source Semantic Graph-based Multimodal Sarcasm Explanation Generation [53.97962603641629]
  本稿では,mulTi-source sEmantic grAph-based Multimodal sarcasm explanation scheme, TEAMを提案する。 TEAMは、入力画像から従来のグローバルな視覚的特徴の代わりに、オブジェクトレベルのセマンティックメタデータを抽出する。 TEAMはマルチソース意味関係を包括的に特徴付けるマルチソース意味グラフを導入している。
  論文  参考訳（メタデータ） (2023-06-29T03:26:10Z)
• Information Screening whilst Exploiting! Multimodal Relation Extraction with Feature Denoising and Multimodal Topic Modeling [96.75821232222201]
  既存のマルチモーダル関係抽出(MRE)研究は、内部情報過剰利用と外部情報過多という2つの共存課題に直面している。 内部情報スクリーニングと外部情報活用を同時に実現する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-19T14:56:57Z)
• OCRBench: On the Hidden Mystery of OCR in Large Multimodal Models [122.27878464009181]
  テキスト関連視覚タスクにおいて, GPT4V や Gemini などの大規模マルチモーダルモデルの包括的評価を行った。 OCRBenchには29のデータセットがあり、最も包括的なOCR評価ベンチマークが利用できる。
  論文  参考訳（メタデータ） (2023-05-13T11:28:37Z)
• A Multi-Modal Context Reasoning Approach for Conditional Inference on Joint Textual and Visual Clues [23.743431157431893]
  共同文と視覚的手がかりの条件推論は多モーダル推論タスクである。 我々はModCRというマルチモーダルコンテキスト推論手法を提案する。 2つの対応するデータセットに対して広範囲な実験を行い、実験結果により性能が大幅に向上した。
  論文  参考訳（メタデータ） (2023-05-08T08:05:40Z)
• Cross-Media Keyphrase Prediction: A Unified Framework with Multi-Modality Multi-Head Attention and Image Wordings [63.79979145520512]
  マルチメディア投稿におけるキーワード予測におけるテキストと画像の併用効果について検討する。 複雑なマルチメディアインタラクションを捉えるために,M3H-Att(Multi-Modality Multi-Head Attention)を提案する。 我々のモデルは,従来の注目ネットワークに基づいて,過去の技術状況よりも大幅に優れていた。
  論文  参考訳（メタデータ） (2020-11-03T08:44:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。