論文の概要: Shapley Value-based Contrastive Alignment for Multimodal Information Extraction
- arxiv url: http://arxiv.org/abs/2407.17854v1
- Date: Thu, 25 Jul 2024 08:15:43 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-26 14:48:09.273154
- Title: Shapley Value-based Contrastive Alignment for Multimodal Information Extraction
- Title（参考訳）: 共有価値に基づくマルチモーダル情報抽出のためのコントラストアライメント
- Authors: Wen Luo, Yu Xia, Shen Tianshu, Sujian Li,
- Abstract要約: 我々は、画像-コンテキスト-テキストインタラクションの新しいパラダイムを導入する。
本稿では,新しいシェープ値に基づくコントラストアライメント(Shap-CA)法を提案する。
我々の手法は既存の最先端手法を著しく上回っている。
- 参考スコア（独自算出の注目度）: 17.04865437165252
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The rise of social media and the exponential growth of multimodal communication necessitates advanced techniques for Multimodal Information Extraction (MIE). However, existing methodologies primarily rely on direct Image-Text interactions, a paradigm that often faces significant challenges due to semantic and modality gaps between images and text. In this paper, we introduce a new paradigm of Image-Context-Text interaction, where large multimodal models (LMMs) are utilized to generate descriptive textual context to bridge these gaps. In line with this paradigm, we propose a novel Shapley Value-based Contrastive Alignment (Shap-CA) method, which aligns both context-text and context-image pairs. Shap-CA initially applies the Shapley value concept from cooperative game theory to assess the individual contribution of each element in the set of contexts, texts and images towards total semantic and modality overlaps. Following this quantitative evaluation, a contrastive learning strategy is employed to enhance the interactive contribution within context-text/image pairs, while minimizing the influence across these pairs. Furthermore, we design an adaptive fusion module for selective cross-modal fusion. Extensive experiments across four MIE datasets demonstrate that our method significantly outperforms existing state-of-the-art methods.
- Abstract（参考訳）: ソーシャルメディアの興隆とマルチモーダルコミュニケーションの指数的成長は、マルチモーダル情報抽出(MIE)の先進的な技術を必要とする。
しかし、既存の方法論は主にイメージとテキストの相互作用に依存しており、画像とテキスト間のセマンティクスとモダリティのギャップによってしばしば大きな課題に直面している。
本稿では,大規模なマルチモーダルモデル(LMM)を用いて,これらのギャップを埋める記述的テキストコンテキストを生成する,画像-コンテキスト-テキストインタラクションの新しいパラダイムを提案する。
このパラダイムに則り、コンテキストコンテキストとコンテキストイメージのペアを整合させる新しい共有価値に基づくコントラストアライメント(Shap-CA)手法を提案する。
Shap-CAは当初、協調ゲーム理論からShapley値の概念を適用し、コンテキスト、テキスト、画像の集合における各要素の個々のコントリビューションを、全体意味とモダリティのオーバーラップに対して評価する。
この定量的評価の後、コントラスト学習戦略を用いて、コンテキストテキスト/イメージペア間の対話的コントリビューションを強化するとともに、これらのペア間の影響を最小限に抑える。
さらに, 選択的クロスモーダル核融合のための適応核融合モジュールを設計する。
4つのMIEデータセットにわたる大規模な実験により、我々の手法が既存の最先端手法を著しく上回ることを示した。
関連論文リスト
- ModalChorus: Visual Probing and Alignment of Multi-modal Embeddings via Modal Fusion Map [1.6570772838074355]
マルチモーダル埋め込みの視覚的探索とアライメントのための対話型システムであるModalChorusを設計する。
1) モーダル・フュージョン・マップ (MFM) を埋め込んだ新しい次元減少法である。
ケーススタディでは、ゼロショット分類からクロスモーダル検索と生成までのシナリオにおいて、ModalChorusが直感的に誤調整と効率的な再調整の発見を容易にすることが示されている。
論文 参考訳（メタデータ） (2024-07-17T04:49:56Z) - Advanced Multimodal Deep Learning Architecture for Image-Text Matching [33.8315200009152]
画像テキストマッチングは、画像とテキスト間の意味的関連をマッチング関係としてモデル化することを目的とした、重要なマルチモーダルタスクである。
本稿では、視覚情報のための深層ニューラルネットワークの高レベル抽象表現能力と、テキスト意味理解のための自然言語処理モデルの利点を組み合わせた高度なマルチモーダルディープラーニングアーキテクチャを提案する。
実験の結果、既存の画像テキストマッチングモデルと比較して、最適化された新しいモデルは一連のベンチマークデータセットの性能を大幅に改善した。
論文 参考訳（メタデータ） (2024-06-13T08:32:24Z) - From Text to Pixels: A Context-Aware Semantic Synergy Solution for
Infrared and Visible Image Fusion [66.33467192279514]
我々は、テキスト記述から高レベルなセマンティクスを活用し、赤外線と可視画像のセマンティクスを統合するテキスト誘導多モード画像融合法を提案する。
本手法は,視覚的に優れた融合結果を生成するだけでなく,既存の手法よりも高い検出mAPを達成し,最先端の結果を得る。
論文 参考訳（メタデータ） (2023-12-31T08:13:47Z) - OT-Attack: Enhancing Adversarial Transferability of Vision-Language
Models via Optimal Transport Optimization [65.57380193070574]
視覚言語事前学習モデルは、マルチモーダル対逆例に対して脆弱である。
近年の研究では、データ拡張と画像-テキストのモーダル相互作用を活用することで、対向的な例の転送可能性を高めることが示されている。
本稿では,OT-Attack と呼ばれる最適輸送方式の敵攻撃を提案する。
論文 参考訳（メタデータ） (2023-12-07T16:16:50Z) - NEUCORE: Neural Concept Reasoning for Composed Image Retrieval [16.08214739525615]
NEUral Concept Reasoning モデルを提案する。
提案手法は3つのデータセットで評価し,最先端の結果を得る。
論文 参考訳（メタデータ） (2023-10-02T17:21:25Z) - Improving Multimodal Classification of Social Media Posts by Leveraging
Image-Text Auxiliary Tasks [38.943074586111564]
微調整型マルチモーダルモデルにおいて,主課題と協調して2つの補助的損失を用いることの有効性について検討した。
第一に、画像テキストコントラスト(ITC)は、投稿内の画像テキスト表現間の距離を最小化するように設計されている。
第2に、画像テキストマッチング(ITM)は、画像とテキスト間の意味的関係を理解するモデルの能力を高める。
論文 参考訳（メタデータ） (2023-09-14T15:30:59Z) - Multimodal Relation Extraction with Cross-Modal Retrieval and Synthesis [89.04041100520881]
本研究は,対象物,文,画像全体に基づいて,テキストおよび視覚的証拠を検索することを提案する。
我々は,オブジェクトレベル,画像レベル,文レベル情報を合成し,同一性と異なるモダリティ間の推論を改善する新しい手法を開発した。
論文 参考訳（メタデータ） (2023-05-25T15:26:13Z) - Learning to Model Multimodal Semantic Alignment for Story Visualization [58.16484259508973]
ストーリービジュアライゼーションは、複数文のストーリーで各文をナレーションする一連の画像を生成することを目的としている。
現在の作業は、その固定されたアーキテクチャと入力モダリティの多様性のため、セマンティックなミスアライメントの問題に直面している。
GANに基づく生成モデルにおいて,テキストと画像表現のセマンティックアライメントを学習し,それらのセマンティックレベルを一致させる方法について検討する。
論文 参考訳（メタデータ） (2022-11-14T11:41:44Z) - Abstractive Sentence Summarization with Guidance of Selective Multimodal
Reference [3.505062507621494]
モーダル間の相互関係を考慮したマルチモーダル階層選択変換器(mhsf)モデルを提案する。
提案したmhsfモデルの汎用性を,事前学習+微調整および新鮮トレーニング戦略を用いて評価した。
論文 参考訳（メタデータ） (2021-08-11T09:59:34Z) - Learning Relation Alignment for Calibrated Cross-modal Retrieval [52.760541762871505]
言語的・視覚的関係のセマンティックな距離を計測し,関係の一貫性を定量化するための新しい指標ISD(Intra-modal Self-attention Distance)を提案する。
ISDを最適化し、モダル間アライメントを介してモダル内アライメントを相互に調整するための正規化訓練法である、モダル内アライメント(IAIS)について述べる。
論文 参考訳（メタデータ） (2021-05-28T14:25:49Z) - Linguistic Structure Guided Context Modeling for Referring Image
Segmentation [61.701577239317785]
本稿では,マルチモーダルコンテキストを相互モーダル相互作用によりモデル化する「ガザ・プロパゲート・ディストリビュート」方式を提案する。
我々のLSCMモジュールは依存パーシングツリーワードグラフ(DPT-WG)を構築し、文の有効なマルチモーダルコンテキストを含むようにすべての単語を誘導する。
論文 参考訳（メタデータ） (2020-10-01T16:03:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。