論文の概要: Counterfactual Samples Synthesizing and Training for Robust Visual Question Answering

• arxiv url: http://arxiv.org/abs/2110.01013v2
• Date: Sun, 25 Jun 2023 02:23:05 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-28 01:46:52.893238
• Title: Counterfactual Samples Synthesizing and Training for Robust Visual Question Answering
• Title（参考訳）: 頑健な視覚質問応答のための対物サンプル合成と学習
• Authors: Long Chen, Yuhang Zheng, Yulei Niu, Hanwang Zhang, Jun Xiao
• Abstract要約: VQAモデルは、トレーニングセットにおける表面的な言語的相関をキャプチャする傾向にある。 近年のVQA研究は、ターゲットとなるVQAモデルのトレーニングを規則化する補助的な質問専用モデルを導入している。 本稿では,新しいモデル非依存型対実サンプル合成訓練(CSST)戦略を提案する。
• 参考スコア（独自算出の注目度）: 59.20766562530209
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Today's VQA models still tend to capture superficial linguistic correlations in the training set and fail to generalize to the test set with different QA distributions. To reduce these language biases, recent VQA works introduce an auxiliary question-only model to regularize the training of targeted VQA model, and achieve dominating performance on diagnostic benchmarks for out-of-distribution testing. However, due to complex model design, these ensemble-based methods are unable to equip themselves with two indispensable characteristics of an ideal VQA model: 1) Visual-explainable: The model should rely on the right visual regions when making decisions. 2) Question-sensitive: The model should be sensitive to the linguistic variations in questions. To this end, we propose a novel model-agnostic Counterfactual Samples Synthesizing and Training (CSST) strategy. After training with CSST, VQA models are forced to focus on all critical objects and words, which significantly improves both visual-explainable and question-sensitive abilities. Specifically, CSST is composed of two parts: Counterfactual Samples Synthesizing (CSS) and Counterfactual Samples Training (CST). CSS generates counterfactual samples by carefully masking critical objects in images or words in questions and assigning pseudo ground-truth answers. CST not only trains the VQA models with both complementary samples to predict respective ground-truth answers, but also urges the VQA models to further distinguish the original samples and superficially similar counterfactual ones. To facilitate the CST training, we propose two variants of supervised contrastive loss for VQA, and design an effective positive and negative sample selection mechanism based on CSS. Extensive experiments have shown the effectiveness of CSST. Particularly, by building on top of model LMH+SAR, we achieve record-breaking performance on all OOD benchmarks.
• Abstract（参考訳）: 今日のVQAモデルは、トレーニングセットにおける表面的な言語的相関をキャプチャする傾向にあり、異なるQA分布を持つテストセットに一般化することができない。 これらの言語バイアスを軽減するため、近年のVQA研究は、ターゲットとするVQAモデルのトレーニングを規則化し、アウト・オブ・ディストリビューションテストのための診断ベンチマークで優位な性能を達成するための補助的な質問専用モデルを導入している。 しかし、複雑なモデル設計のため、これらのアンサンブルに基づく手法は理想的VQAモデルの2つの必要不可欠な特性を持つことができない。 1) 視覚的説明可能: モデルは意思決定を行う際に適切な視覚領域に依存するべきである。 2) 質問感応性: モデルは質問の言語的変化に敏感であるべきである。 そこで本研究では,新しいモデル非依存型対実サンプル合成訓練(CSST)戦略を提案する。 CSSTでトレーニングした後、VQAモデルはすべての重要なオブジェクトと単語に集中せざるを得なくなり、視覚的に説明可能な能力と質問に敏感な能力の両方が大幅に改善される。 具体的には、CSSTは2つの部分からなる: 対実サンプル合成(CSS)と対実サンプル訓練(CST)。 cssは、質問中の画像や単語の重要なオブジェクトを慎重にマスキングし、疑似地上回答を割り当てることで、偽のサンプルを生成する。 cstは、両方の補完的なサンプルでvqaモデルを訓練するだけでなく、vqaモデルに元のサンプルと表面的に類似した反事実を区別するよう促す。 CSTトレーニングを容易にするために、VQAに対する教師付きコントラスト損失の2つのバリエーションを提案し、CSSに基づく効果的な正と負のサンプル選択機構を設計する。 大規模な実験はCSSTの有効性を示した。 特に、LMH+SARのモデル上に構築することで、OODベンチマークで記録破りのパフォーマンスを達成する。

関連論文リスト

• Multi-Modal Prompt Learning on Blind Image Quality Assessment [65.0676908930946]
  画像品質評価(IQA)モデルは意味情報から大きな恩恵を受け、異なる種類のオブジェクトを明瞭に扱うことができる。 十分な注釈付きデータが不足している従来の手法では、セマンティックな認識を得るために、CLIPイメージテキスト事前学習モデルをバックボーンとして使用していた。 近年のアプローチでは、このミスマッチに即時技術を使って対処する試みがあるが、これらの解決策には欠点がある。 本稿では、IQAのための革新的なマルチモーダルプロンプトベースの手法を提案する。
  論文  参考訳（メタデータ） (2024-04-23T11:45:32Z)
• Towards Robust Visual Question Answering: Making the Most of Biased Samples via Contrastive Learning [54.61762276179205]
  我々は,ビザドサンプルを最大限に活用することで,ロバストなVQAモデルを構築するための新しいコントラスト学習手法 MMBS を提案する。 具体的には、元のトレーニングサンプルからスプリアス相関に関連する情報を排除し、比較学習のための正のサンプルを構築する。 我々は,OODデータセットのVQA-CP v2において,IDデータセットのVQA v2上での堅牢なパフォーマンスを維持しながら,競争性能を達成することで,コントリビューションを検証した。
  論文  参考訳（メタデータ） (2022-10-10T11:05:21Z)
• CONVIQT: Contrastive Video Quality Estimator [63.749184706461826]
  知覚ビデオ品質評価(VQA)は、多くのストリーミングおよびビデオ共有プラットフォームにおいて不可欠な要素である。 本稿では,視覚的に関連のある映像品質表現を自己指導的に学習する問題について考察する。 本研究は, 自己教師型学習を用いて, 知覚力による説得力のある表現が得られることを示す。
  論文  参考訳（メタデータ） (2022-06-29T15:22:01Z)
• Reassessing Evaluation Practices in Visual Question Answering: A Case Study on Out-of-Distribution Generalization [27.437077941786768]
  大規模マルチモーダルデータ上で事前訓練された視覚・言語モデル(V&L)は,様々なタスクにおいて高い性能を示す。 異なる条件下で事前学習した2つのV&Lモデルを評価する。 これらのモデルは、VQAタスクに必要な高度なスキルを学ぶよりも、ベンチマークを解くことを学ぶ傾向にある。
  論文  参考訳（メタデータ） (2022-05-24T16:44:45Z)
• Self-Supervised VQA: Answering Visual Questions using Images and Captions [38.05223339919346]
  VQAモデルは、トレーニング用に人間のアノテーション付きイメージクエスト・アンサー(I-Q-A)トリプルを使用したデータセットの可用性を前提としている。 人間の注釈付きQ-Aペアを使わずに、画像と関連するテキストキャプションだけでモデルをトレーニングできるかどうかを検討する。
  論文  参考訳（メタデータ） (2020-12-04T01:22:05Z)
• MUTANT: A Training Paradigm for Out-of-Distribution Generalization in Visual Question Answering [58.30291671877342]
  MUTANTは、モデルが知覚的に類似しているが意味的に異なる入力の変異に露出する訓練パラダイムである。 MUTANTは、VQA-CPに新しい最先端の精度を確立し、10.57%$改善した。
  論文  参考訳（メタデータ） (2020-09-18T00:22:54Z)
• Counterfactual Samples Synthesizing for Robust Visual Question Answering [104.72828511083519]
  モデルに依存しない対実サンプル合成(CSS)トレーニングスキームを提案する。 CSSは、画像や質問の言葉で重要なオブジェクトをマスキングすることで、多数の偽物トレーニングサンプルを生成する。 VQA-CP v2では58.95%,6.5%向上した。
  論文  参考訳（メタデータ） (2020-03-14T08:34:31Z)
• Accuracy vs. Complexity: A Trade-off in Visual Question Answering Models [39.338304913058685]
  本稿では,視覚質問応答タスクにおけるモデル複雑性と性能のトレードオフについて検討する。 VQAパイプラインの最も高価なステップであるVQAモデルにおける「マルチモーダル融合」の効果に焦点を当てる。
  論文  参考訳（メタデータ） (2020-01-20T11:27:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。