論文の概要: CARETS: A Consistency And Robustness Evaluative Test Suite for VQA

• arxiv url: http://arxiv.org/abs/2203.07613v1
• Date: Tue, 15 Mar 2022 03:01:03 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-17 09:07:16.728961
• Title: CARETS: A Consistency And Robustness Evaluative Test Suite for VQA
• Title（参考訳）: CARETS: VQAのための一貫性とロバスト性評価テストスイート
• Authors: Carlos E. Jimenez, Olga Russakovsky, Karthik Narasimhan
• Abstract要約: CARETSは、現代のVQAモデルの一貫性と堅牢性を測定するための体系的なテストスイートである。 我々は,CARETS上での6つの最新のVQAシステムを評価し,モデル理解におけるいくつかの動作可能な弱点を同定した。
• 参考スコア（独自算出の注目度）: 41.184961283118575
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce CARETS, a systematic test suite to measure consistency and robustness of modern VQA models through a series of six fine-grained capability tests. In contrast to existing VQA test sets, CARETS features balanced question generation to create pairs of instances to test models, with each pair focusing on a specific capability such as rephrasing, logical symmetry or image obfuscation. We evaluate six modern VQA systems on CARETS and identify several actionable weaknesses in model comprehension, especially with concepts such as negation, disjunction, or hypernym invariance. Interestingly, even the most sophisticated models are sensitive to aspects such as swapping the order of terms in a conjunction or varying the number of answer choices mentioned in the question. We release CARETS to be used as an extensible tool for evaluating multi-modal model robustness.
• Abstract（参考訳）: 本稿では,最新のVQAモデルの一貫性とロバスト性を測定するシステムテストスイートであるCARETSを紹介する。 既存のVQAテストセットとは対照的に、CARETSはバランスの取れた質問生成を備えて、テストモデルのためのインスタンスのペアを作成し、各ペアはリフレッシング、論理対称性、イメージ難読化などの特定の機能に焦点を当てている。 本稿では,CARETS上の6つの最新のVQAシステムを評価し,モデル理解におけるいくつかの動作可能な弱点を同定する。 興味深いことに、最も洗練されたモデルでさえ、共同で項の順序を交換したり、質問で言及された答えの選択数を変えるといった側面に敏感である。 マルチモーダルモデルロバスト性を評価するための拡張可能なツールとしてCARETSをリリースする。

関連論文リスト

• An Empirical Comparison of LM-based Question and Answer Generation Methods [79.31199020420827]
  質問と回答の生成(QAG)は、コンテキストが与えられた質問と回答のペアのセットを生成することで構成される。 本稿では,シーケンス・ツー・シーケンス言語モデル(LM)を微調整する3つの異なるQAG手法を用いて,ベースラインを確立する。 実験により、学習時間と推論時間の両方で計算的に軽量なエンドツーエンドQAGモデルが一般に堅牢であり、他のより複雑なアプローチよりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-05-26T14:59:53Z)
• How to Build Robust FAQ Chatbot with Controllable Question Generator? [5.680871239968297]
  本稿では, セマンティックグラフを用いて, 高い品質, 多様性, 制御可能なサンプルを生成する手法を提案する。 流動的でセマンティックに生成されたQAペアは、我々の通過検索モデルをうまく騙すことができる。 生成されたデータセットは、新しいターゲット領域へのQAモデルの一般化性を向上させる。
  論文  参考訳（メタデータ） (2021-11-18T12:54:07Z)
• Counterfactual Samples Synthesizing and Training for Robust Visual Question Answering [59.20766562530209]
  VQAモデルは、トレーニングセットにおける表面的な言語的相関をキャプチャする傾向にある。 近年のVQA研究は、ターゲットとなるVQAモデルのトレーニングを規則化する補助的な質問専用モデルを導入している。 本稿では,新しいモデル非依存型対実サンプル合成訓練(CSST)戦略を提案する。
  論文  参考訳（メタデータ） (2021-10-03T14:31:46Z)
• Learning from Lexical Perturbations for Consistent Visual Question Answering [78.21912474223926]
  既存のVisual Question Answering (VQA)モデルは、しばしば脆弱で入力のバリエーションに敏感である。 本稿では,モジュール型ネットワークに基づく新たなアプローチを提案し,言語摂動による2つの疑問を提起する。 VQA Perturbed Pairings (VQA P2) も提案する。
  論文  参考訳（メタデータ） (2020-11-26T17:38:03Z)
• Counterfactual Variable Control for Robust and Interpretable Question Answering [57.25261576239862]
  ディープニューラルネットワークに基づく質問応答(QA)モデルは、多くの場合、堅牢でも説明もできない。 本稿では、因果推論を用いてQAモデルのこのような突発的な「能力」を検証する。 本稿では,任意のショートカット相関を明示的に緩和する,CVC(Counterfactual Variable Control)という新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-10-12T10:09:05Z)
• Regularizing Attention Networks for Anomaly Detection in Visual Question Answering [10.971443035470488]
  最先端VQAモデルのロバスト性を5つの異なる異常に評価する。 入力画像と質問間の推論の信頼度を利用した注意に基づく手法を提案する。 注意ネットワークの最大エントロピー正規化は、注意に基づく異常検出を大幅に改善できることを示す。
  論文  参考訳（メタデータ） (2020-09-21T17:47:49Z)
• Counterfactual Samples Synthesizing for Robust Visual Question Answering [104.72828511083519]
  モデルに依存しない対実サンプル合成(CSS)トレーニングスキームを提案する。 CSSは、画像や質問の言葉で重要なオブジェクトをマスキングすることで、多数の偽物トレーニングサンプルを生成する。 VQA-CP v2では58.95%,6.5%向上した。
  論文  参考訳（メタデータ） (2020-03-14T08:34:31Z)
• Accuracy vs. Complexity: A Trade-off in Visual Question Answering Models [39.338304913058685]
  本稿では,視覚質問応答タスクにおけるモデル複雑性と性能のトレードオフについて検討する。 VQAパイプラインの最も高価なステップであるVQAモデルにおける「マルチモーダル融合」の効果に焦点を当てる。
  論文  参考訳（メタデータ） (2020-01-20T11:27:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。