論文の概要: Dataset Bias Mitigation in Multiple-Choice Visual Question Answering and Beyond

• arxiv url: http://arxiv.org/abs/2310.14670v1
• Date: Mon, 23 Oct 2023 08:09:42 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-24 21:40:41.968522
• Title: Dataset Bias Mitigation in Multiple-Choice Visual Question Answering and Beyond
• Title（参考訳）: 多眼視覚質問応答におけるデータセットバイアス軽減
• Authors: Zhecan Wang, Long Chen, Haoxuan You, Keyang Xu, Yicheng He, Wenhao Li, Noal Codella, Kai-Wei Chang, Shih-Fu Chang
• Abstract要約: 視覚言語(VL)理解タスクは、複数の質問を通じて複雑な視覚シーンのモデルによる理解を評価する。 我々は、モデルが様々なVLタスクを適切に理解することなく正しく解決するために、ショートカットとして活用できる2つのデータセットバイアスを特定した。 本稿では,ADS(Adversarial Data Synthesis)を用いて,合成学習データと偏り評価データを生成する。 次に、サンプル内微分に着目して、合成したトレーニングデータ、特に対物データを利用するモデルを支援するために、サンプル内対物訓練(ICT)を導入する。
• 参考スコア（独自算出の注目度）: 88.86101401674107
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision-language (VL) understanding tasks evaluate models' comprehension of complex visual scenes through multiple-choice questions. However, we have identified two dataset biases that models can exploit as shortcuts to resolve various VL tasks correctly without proper understanding. The first type of dataset bias is \emph{Unbalanced Matching} bias, where the correct answer overlaps the question and image more than the incorrect answers. The second type of dataset bias is \emph{Distractor Similarity} bias, where incorrect answers are overly dissimilar to the correct answer but significantly similar to other incorrect answers within the same sample. To address these dataset biases, we first propose Adversarial Data Synthesis (ADS) to generate synthetic training and debiased evaluation data. We then introduce Intra-sample Counterfactual Training (ICT) to assist models in utilizing the synthesized training data, particularly the counterfactual data, via focusing on intra-sample differentiation. Extensive experiments demonstrate the effectiveness of ADS and ICT in consistently improving model performance across different benchmarks, even in domain-shifted scenarios.
• Abstract（参考訳）: 視覚言語(VL)理解タスクは、複数の質問を通じて複雑な視覚シーンの理解を評価する。 しかし、モデルが様々なVLタスクを適切に理解せずに正しく解決するために、ショートカットとして活用できる2つのデータセットバイアスを特定した。 最初のタイプのデータセットバイアスは \emph{unbalanced matching} バイアスであり、正しい答えは不正確な答えよりも質問と画像に重なる。 データセットバイアスの第2のタイプは \emph{distractor similarity} バイアスであり、不正確な答えは正しい答えと過度に異なるが、同じサンプル内の他の不正確な回答と著しく似ている。 これらのデータセットバイアスに対処するために,まずads(adversarial data synthesis)を提案する。 次に, 合成訓練データ, 特に, サンプル内微分に着目して, モデルの活用を支援するために, サンプル内反事実訓練 (ict) を導入する。 大規模な実験では、ADSとICTが、ドメインシフトシナリオであっても、異なるベンチマークでモデルパフォーマンスを継続的に改善する効果を実証している。

関連論文リスト

• Feature-Level Debiased Natural Language Understanding [86.8751772146264]
  既存の自然言語理解(NLU)モデルは、特定のデータセットで高いパフォーマンスを達成するために、データセットバイアスに依存することが多い。 本稿では, バイアスの潜在特性を緩和し, バイアスの動的性質を無視するために, DCT(Debiasing contrastive learning)を提案する。 DCTは、ディストリビューション内のパフォーマンスを維持しながら、アウトオブディストリビューションデータセットの最先端のベースラインを上回ります。
  論文  参考訳（メタデータ） (2022-12-11T06:16:14Z)
• Mitigating Representation Bias in Action Recognition: Algorithms and Benchmarks [76.35271072704384]
  ディープラーニングモデルは、稀なシーンやオブジェクトを持つビデオに適用すると、パフォーマンスが悪くなります。 この問題にはアルゴリズムとデータセットの2つの異なる角度から対処する。 偏りのある表現は、他のデータセットやタスクに転送するとより一般化できることを示す。
  論文  参考訳（メタデータ） (2022-09-20T00:30:35Z)
• Unbiased Math Word Problems Benchmark for Mitigating Solving Bias [72.8677805114825]
  現在の問題解決者は、バイアス付きデータセットと不適切なトレーニング戦略によるデータバイアスと学習バイアスからなるバイアスを解決している。 実験により,MWP の解法は,すべての MWP の問題を多種多様な質問をカバーしないバイアス付きトレーニングデータセットにより容易にバイアスを受けられることを確認した。 MWPは複数の等価方程式によって自然に解けるが、現在のデータセットは1つの等価方程式のみを基底真理とする。
  論文  参考訳（メタデータ） (2022-05-17T06:07:04Z)
• Generating Data to Mitigate Spurious Correlations in Natural Language Inference Datasets [27.562256973255728]
  自然言語処理モデルはしばしば、タスクに依存しない特徴とデータセットのラベルの間の急激な相関を利用して、トレーニング対象のディストリビューション内でのみうまく機能する。 そこで本研究では, 脱バイアス化したデータセットを生成して, 脱バイアス化したオフザシェルフモデルをトレーニングする手法を提案する。 提案手法は,1)高品質なラベル一貫性のあるデータサンプルを生成するためのデータジェネレータの訓練方法,2)素粒子相関に寄与するデータ点を除去するフィルタリング機構から構成される。
  論文  参考訳（メタデータ） (2022-03-24T09:08:05Z)
• Does Data Repair Lead to Fair Models? Curating Contextually Fair Data To Reduce Model Bias [10.639605996067534]
  コンテキスト情報は、より優れた表現を学び、精度を向上させるために、ディープニューラルネットワーク(DNN)にとって貴重なキューである。 COCOでは、多くの対象カテゴリーは、男性よりも男性の方がはるかに高い共起性を持ち、男性に有利なDNNの予測を偏見を与える可能性がある。 本研究では, 変動係数を用いたデータ修復アルゴリズムを導入し, 保護されたクラスに対して, 公平かつ文脈的にバランスの取れたデータをキュレートする。
  論文  参考訳（メタデータ） (2021-10-20T06:00:03Z)
• Greedy Gradient Ensemble for Robust Visual Question Answering [163.65789778416172]
  VQA(Visual Question Answering)では、分布バイアスとショートカットバイアスという2つの側面から生じる言語バイアスを強調している。 本稿では,非バイアスベースモデル学習に複数のバイアスモデルを組み合わせた新しいデバイアスフレームワークGreedy Gradient Ensemble(GGE)を提案する。 GGEはバイアス付きモデルを優先的にバイアス付きデータ分布に過度に適合させ、バイアス付きモデルでは解決が難しい例にベースモデルがより注意を払う。
  論文  参考訳（メタデータ） (2021-07-27T08:02:49Z)
• Mitigating the Position Bias of Transformer Models in Passage Re-Ranking [12.526786110360622]
  教師付き機械学習モデルとその評価は、基礎となるデータセットの品質に大きく依存する。 文中の正しい回答の位置の偏りを,文節の再ランキングに用いる2つの一般的な質問応答データセットで観察する。 位置バイアスを緩和することにより、Transformerベースのリグレードモデルはバイアス付きおよび偏りのあるデータセットに対して等しく有効であることを示す。
  論文  参考訳（メタデータ） (2021-01-18T10:38:03Z)
• Improving QA Generalization by Concurrent Modeling of Multiple Biases [61.597362592536896]
  既存のNLPデータセットには、モデルが容易に活用できる様々なバイアスが含まれており、対応する評価セット上で高いパフォーマンスを達成することができる。 本稿では、トレーニングデータにおける複数のバイアスの同時モデリングにより、ドメイン内およびドメイン外両方のデータセットのパフォーマンスを改善するための一般的なフレームワークを提案する。 我々は,様々な領域の学習データと異なる強度の複数のバイアスを持つ抽出的質問応答の枠組みを広く評価した。
  論文  参考訳（メタデータ） (2020-10-07T11:18:49Z)
• Towards Accuracy-Fairness Paradox: Adversarial Example-based Data Augmentation for Visual Debiasing [15.689539491203373]
  機械学習の公平性は、ターゲットタスクに対処する際に、特定の保護された、または機密性の高いグループに対するバイアスを懸念する。 本稿では,画像分類タスクの文脈におけるバイアス問題について検討する。
  論文  参考訳（メタデータ） (2020-07-27T15:17:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。