論文の概要: Generative Bias for Visual Question Answering
- arxiv url: http://arxiv.org/abs/2208.00690v1
- Date: Mon, 1 Aug 2022 08:58:02 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-02 12:43:52.074487
- Title: Generative Bias for Visual Question Answering
- Title(参考訳): 視覚的質問応答に対する生成バイアス
- Authors: Jae Won Cho, Dong-jin Kim, Hyeonggon Ryu, In So Kweon
- Abstract要約: 我々は、ターゲットモデルであるGenBからバイアスモデルを直接訓練する生成法を提案する。
特に、GenBは、敵の目的と知識の蒸留の組み合わせによってバイアスを学習するために生成ネットワークを使用している。
次に、GenBをバイアスモデルとしてターゲットモデルをデバイアス化し、様々なVQAバイアスデータセットに対する手法の効果を広範囲にわたる実験を通して示す。
- 参考スコア(独自算出の注目度): 74.42555378660653
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The task of Visual Question Answering (VQA) is known to be plagued by the
issue of VQA models exploiting biases within the dataset to make its final
prediction. Many previous ensemble based debiasing methods have been proposed
where an additional model is purposefully trained to be biased in order to aid
in training a robust target model. However, these methods compute the bias for
a model from the label statistics of the training data or directly from single
modal branches. In contrast, in this work, in order to better learn the bias a
target VQA model suffers from, we propose a generative method to train the bias
model \emph{directly from the target model}, called GenB. In particular, GenB
employs a generative network to learn the bias through a combination of the
adversarial objective and knowledge distillation. We then debias our target
model with GenB as a bias model, and show through extensive experiments the
effects of our method on various VQA bias datasets including VQA-CP2, VQA-CP1,
GQA-OOD, and VQA-CE.
- Abstract(参考訳): VQA(Visual Question Answering)のタスクは、データセット内のバイアスを利用して最終的な予測を行うVQAモデルの問題に悩まされていることが知られている。
多くの従来のアンサンブルに基づくデバイアス法では、ロバストターゲットモデルのトレーニングを支援するために、追加モデルにバイアスを負わせるように意図的に訓練する手法が提案されている。
しかし、これらの手法は、トレーニングデータのラベル統計や単一のモーダル分岐から直接モデルに対するバイアスを計算する。
対照的に,本研究では,対象vqaモデルが抱えるバイアスをよりよく学習するために,genb と呼ばれるバイアスモデル \emph{directly from the target model} を訓練するための生成法を提案する。
特に、genbは生成ネットワークを使用して、敵の目的と知識の蒸留の組み合わせを通してバイアスを学ぶ。
次に、GenBをバイアスモデルとしてターゲットモデルをデバイアス化し、VQA-CP2、VQA-CP1、GQA-OOD、VQA-CEなどの様々なVQAバイアスデータセットに対する手法の効果を広範な実験を通して示す。
関連論文リスト
- Improving Bias Mitigation through Bias Experts in Natural Language
Understanding [10.363406065066538]
補助モデルと主モデルの間に二項分類器を導入するデバイアス化フレームワークを提案する。
提案手法は補助モデルのバイアス識別能力を向上させる。
論文 参考訳(メタデータ) (2023-12-06T16:15:00Z) - Mitigating Bias for Question Answering Models by Tracking Bias Influence [84.66462028537475]
本稿では,複数選択QAモデルのバイアスを軽減するためのBMBIを提案する。
バイアスのある例から学んだ場合、モデルがよりバイアスに傾くように傾くという直感に基づいて、クエリインスタンスのバイアスレベルを測定します。
本手法は,複数のバイアスカテゴリにまたがる複数のQA定式化に適用可能であることを示す。
論文 参考訳(メタデータ) (2023-10-13T00:49:09Z) - Learning Answer Generation using Supervision from Automatic Question
Answering Evaluators [98.9267570170737]
我々は、自動QA評価モデル(GAVA)の監督を用いたGenQAのための新しいトレーニングパラダイムを提案する。
提案手法を2つの学術的, 1つの産業的データセット上で評価し, 過去の技術状況に対して, 回答精度を大幅に向上させた。
論文 参考訳(メタデータ) (2023-05-24T16:57:04Z) - Towards Robust Visual Question Answering: Making the Most of Biased
Samples via Contrastive Learning [54.61762276179205]
我々は,ビザドサンプルを最大限に活用することで,ロバストなVQAモデルを構築するための新しいコントラスト学習手法 MMBS を提案する。
具体的には、元のトレーニングサンプルからスプリアス相関に関連する情報を排除し、比較学習のための正のサンプルを構築する。
我々は,OODデータセットのVQA-CP v2において,IDデータセットのVQA v2上での堅牢なパフォーマンスを維持しながら,競争性能を達成することで,コントリビューションを検証した。
論文 参考訳(メタデータ) (2022-10-10T11:05:21Z) - Reassessing Evaluation Practices in Visual Question Answering: A Case
Study on Out-of-Distribution Generalization [27.437077941786768]
大規模マルチモーダルデータ上で事前訓練された視覚・言語モデル(V&L)は,様々なタスクにおいて高い性能を示す。
異なる条件下で事前学習した2つのV&Lモデルを評価する。
これらのモデルは、VQAタスクに必要な高度なスキルを学ぶよりも、ベンチマークを解くことを学ぶ傾向にある。
論文 参考訳(メタデータ) (2022-05-24T16:44:45Z) - General Greedy De-bias Learning [163.65789778416172]
本稿では,関数空間における勾配降下のような偏りのあるモデルとベースモデルを優雅に訓練する一般グリーディ・デバイアス学習フレームワーク(GGD)を提案する。
GGDは、事前知識を持つタスク固有バイアスモデルと、事前知識を持たない自己アンサンブルバイアスモデルの両方の設定の下で、より堅牢なベースモデルを学ぶことができる。
論文 参考訳(メタデータ) (2021-12-20T14:47:32Z) - Greedy Gradient Ensemble for Robust Visual Question Answering [163.65789778416172]
VQA(Visual Question Answering)では、分布バイアスとショートカットバイアスという2つの側面から生じる言語バイアスを強調している。
本稿では,非バイアスベースモデル学習に複数のバイアスモデルを組み合わせた新しいデバイアスフレームワークGreedy Gradient Ensemble(GGE)を提案する。
GGEはバイアス付きモデルを優先的にバイアス付きデータ分布に過度に適合させ、バイアス付きモデルでは解決が難しい例にベースモデルがより注意を払う。
論文 参考訳(メタデータ) (2021-07-27T08:02:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。