論文の概要: Towards Deconfounded Image-Text Matching with Causal Inference

• arxiv url: http://arxiv.org/abs/2408.12292v1
• Date: Thu, 22 Aug 2024 11:04:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-23 14:23:36.749147
• Title: Towards Deconfounded Image-Text Matching with Causal Inference
• Title（参考訳）: 因果推論を用いた画像テキストマッチングの廃止に向けて
• Authors: Wenhui Li, Xinqi Su, Dan Song, Lanjun Wang, Kun Zhang, An-An Liu,
• Abstract要約: 本稿では、画像テキストマッチングタスクのための革新的なDecon founded Causal Inference Network(DCIN)を提案する。 DCINは、モダル内およびモダル間共同創設者を分解し、それらを視覚的およびテキスト的特徴のエンコーディングステージに組み込む。 データセットバイアスによって引き起こされる刺激的な相関ではなく、因果関係を学ぶことができる。
• 参考スコア（独自算出の注目度）: 36.739004282369656
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Prior image-text matching methods have shown remarkable performance on many benchmark datasets, but most of them overlook the bias in the dataset, which exists in intra-modal and inter-modal, and tend to learn the spurious correlations that extremely degrade the generalization ability of the model. Furthermore, these methods often incorporate biased external knowledge from large-scale datasets as prior knowledge into image-text matching model, which is inevitable to force model further learn biased associations. To address above limitations, this paper firstly utilizes Structural Causal Models (SCMs) to illustrate how intra- and inter-modal confounders damage the image-text matching. Then, we employ backdoor adjustment to propose an innovative Deconfounded Causal Inference Network (DCIN) for image-text matching task. DCIN (1) decomposes the intra- and inter-modal confounders and incorporates them into the encoding stage of visual and textual features, effectively eliminating the spurious correlations during image-text matching, and (2) uses causal inference to mitigate biases of external knowledge. Consequently, the model can learn causality instead of spurious correlations caused by dataset bias. Extensive experiments on two well-known benchmark datasets, i.e., Flickr30K and MSCOCO, demonstrate the superiority of our proposed method.
• Abstract（参考訳）: 従来の画像テキストマッチング手法は、多くのベンチマークデータセットで顕著な性能を示してきたが、そのほとんどは、モーダル内およびモーダル間に存在するデータセットのバイアスを見落とし、モデルの一般化能力を著しく低下させる素早い相関を学習する傾向にある。 さらに、これらの手法は、大規模データセットから事前知識としてバイアス付き外部知識を画像テキストマッチングモデルに組み込むことが多く、モデルにバイアス付き関連性をさらに学習させることは避けられない。 本稿では,まず構造因果モデル(Structure Causal Models, SCMs)を用いて,モーダル内およびモーダル間共同設立者が画像テキストマッチングをいかに損なうかを説明する。 そこで,本稿では,画像テキストマッチングタスクに対して,革新的なDecon founded Causal Inference Network (DCIN)を提案する。 DCIN(1)は、モダル内およびモダル内共同創設者を分解し、視覚的特徴とテキスト的特徴の符号化段階に組み込み、画像テキストマッチング時の素早い相関を効果的に排除し、(2)外部知識のバイアスを軽減するために因果推論を使用する。 その結果、データセットバイアスによって引き起こされる刺激的な相関ではなく因果関係を学習することができる。 Flickr30KとMSCOCOの2つのよく知られたベンチマークデータセットに対する大規模な実験は、提案手法の優位性を実証している。

関連論文リスト

• Human-Object Interaction Detection Collaborated with Large Relation-driven Diffusion Models [65.82564074712836]
  テキストと画像の拡散モデルに光を流す新しいHOI検出器であるDIFfusionHOIを紹介する。 まず、埋め込み空間における人間と物体の関係パターンの表現をインバージョンベースで学習する戦略を考案する。 これらの学習された関係埋め込みはテキストのプロンプトとして機能し、スタイア拡散モデルが特定の相互作用を記述する画像を生成する。
  論文  参考訳（メタデータ） (2024-10-26T12:00:33Z)
• Bridging the Modality Gap: Dimension Information Alignment and Sparse Spatial Constraint for Image-Text Matching [10.709744162565274]
  本稿では2つの側面からモダリティギャップを橋渡しするDIASと呼ばれる新しい手法を提案する。 この方法はFlickr30kとMSCOCOベンチマークで4.3%-10.2%のrSum改善を実現している。
  論文  参考訳（メタデータ） (2024-10-22T09:37:29Z)
• Images Speak Louder than Words: Understanding and Mitigating Bias in Vision-Language Model from a Causal Mediation Perspective [13.486497323758226]
  広範囲なデータセットで事前訓練された視覚言語モデルは、性情報とオブジェクトやシナリオを関連付けることによって、必然的にバイアスを学習することができる。 本稿では,因果媒介分析を取り入れた枠組みを提案し,バイアス発生と伝播の経路を計測・マッピングする。
  論文  参考訳（メタデータ） (2024-07-03T05:19:45Z)
• Text-to-Image Diffusion Models are Great Sketch-Photo Matchmakers [120.49126407479717]
  本稿では,ゼロショットスケッチに基づく画像検索(ZS-SBIR)のためのテキスト・画像拡散モデルについて検討する。 スケッチと写真の間のギャップをシームレスに埋めるテキストと画像の拡散モデルの能力。
  論文  参考訳（メタデータ） (2024-03-12T00:02:03Z)
• Symmetrical Bidirectional Knowledge Alignment for Zero-Shot Sketch-Based Image Retrieval [69.46139774646308]
  本稿ではゼロショットスケッチベース画像検索(ZS-SBIR)の問題点について検討する。 目に見えないカテゴリのスケッチをクエリとして使用して、同じカテゴリのイメージにマッチさせることが目的だ。 ゼロショットスケッチに基づく画像検索(SBKA)のための新しい対称双方向知識アライメントを提案する。
  論文  参考訳（メタデータ） (2023-12-16T04:50:34Z)
• Contrastive Cross-Modal Knowledge Sharing Pre-training for Vision-Language Representation Learning and Retrieval [12.30468719055037]
  コントラスト型クロスモーダル知識共有事前学習(COOKIE)を開発した。 最初のモジュールはウェイトシェアリングトランスフォーマーで、ビジュアルエンコーダとテキストエンコーダの頭の上に構築されている。 もう1つは、異なるモデル間で知識を共有することを目的として、特別に設計された3つの対照的な学習である。
  論文  参考訳（メタデータ） (2022-07-02T04:08:44Z)
• SAIS: Supervising and Augmenting Intermediate Steps for Document-Level Relation Extraction [51.27558374091491]
  本稿では,関係抽出のための中間ステップ(SAIS)を監督し,拡張することにより,関連コンテキストやエンティティタイプをキャプチャするモデルを明示的に教えることを提案する。 そこで本提案手法は,より効果的な管理を行うため,より優れた品質の関係を抽出するだけでなく,それに対応する証拠をより正確に抽出する。
  論文  参考訳（メタデータ） (2021-09-24T17:37:35Z)
• Uncovering Main Causalities for Long-tailed Information Extraction [14.39860866665021]
  データセットの選択バイアスによって引き起こされる長い尾の分布は、誤った相関をもたらす可能性がある。 これは、データの背後にある主な因果関係を明らかにすることを目的とした、新しいフレームワークである。
  論文  参考訳（メタデータ） (2021-09-11T08:08:24Z)
• Generative Interventions for Causal Learning [27.371436971655303]
  我々は,新しい視点,背景,シーンコンテキストに一般化したロバストな視覚表現を学ぶためのフレームワークを提案する。 我々は, 生成モデルを用いて, コンバウンディング要因による特徴の介入を行うことができることを示す。
  論文  参考訳（メタデータ） (2020-12-22T16:01:55Z)
• Proactive Pseudo-Intervention: Causally Informed Contrastive Learning For Interpretable Vision Models [103.64435911083432]
  PPI(Proactive Pseudo-Intervention)と呼ばれる新しい対照的な学習戦略を提案する。 PPIは、因果関係のない画像の特徴を保護するために積極的に介入する。 また,重要な画像画素を識別するための,因果的に通知された新たなサリエンスマッピングモジュールを考案し,モデル解釈の容易性を示す。
  論文  参考訳（メタデータ） (2020-12-06T20:30:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。