論文の概要: Are VQA Systems RAD? Measuring Robustness to Augmented Data with Focused Interventions

• arxiv url: http://arxiv.org/abs/2106.04484v1
• Date: Tue, 8 Jun 2021 16:09:47 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-09 16:25:31.365438
• Title: Are VQA Systems RAD? Measuring Robustness to Augmented Data with Focused Interventions
• Title（参考訳）: VQAはRADか? 集中的介入による拡張データに対するロバスト性の測定
• Authors: Daniel Rosenberg, Itai Gat, Amir Feder, Roi Reichart
• Abstract要約: 本稿では,視覚的質問応答(VQA)システムの一般化機能について考察する。 本稿では,モデル予測の一貫性を計測する新しいロバストネス尺度,Robustness to Augmented Data (RAD)を提案する。 私たちは、現在のVQAシステムがまだ脆弱であることを示す、重大な障害ケースを見つけました。
• 参考スコア（独自算出の注目度）: 18.545193011418654
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep learning algorithms have shown promising results in visual question answering (VQA) tasks, but a more careful look reveals that they often do not understand the rich signal they are being fed with. To understand and better measure the generalization capabilities of VQA systems, we look at their robustness to counterfactually augmented data. Our proposed augmentations are designed to make a focused intervention on a specific property of the question such that the answer changes. Using these augmentations, we propose a new robustness measure, Robustness to Augmented Data (RAD), which measures the consistency of model predictions between original and augmented examples. Through extensive experimentation, we show that RAD, unlike classical accuracy measures, can quantify when state-of-the-art systems are not robust to counterfactuals. We find substantial failure cases which reveal that current VQA systems are still brittle. Finally, we connect between robustness and generalization, demonstrating the predictive power of RAD for performance on unseen augmentations.
• Abstract（参考訳）: ディープラーニングアルゴリズムは、視覚質問応答(vqa)タスクで有望な結果を示しているが、より注意深く見ると、彼らが与えているリッチなシグナルをよく理解していないことが分かる。 VQAシステムの一般化能力を理解し,よりよく測定するために,実測データに対する頑健性を考察する。 提案する補足は,質問の特定の属性に焦点を絞った介入を行うことにより,回答が変化するように設計する。 本稿では,これらの拡張手法を用いて,原例と増分例間のモデル予測の整合性を測定するロバストネス・トゥ・拡張データ(RAD)を提案する。 広範な実験を通じて,radは,従来の精度尺度と異なり,反事実にロバストでない場合に定量化できることを示した。 私たちは、現在のVQAシステムがまだ脆弱であることを示す重大な障害ケースを見つけました。 最後に、ロバスト性と一般化を結合し、見えない拡張に対するRADの予測能力を実証する。

関連論文リスト

• CAVE: Classifying Abnormalities in Video Capsule Endoscopy [0.1937002985471497]
  本研究では,複雑な画像データセットの分類精度を向上させるために,アンサンブルに基づくアプローチを検討する。 各モデルのユニークな特徴抽出機能を活用し、全体的な精度を向上させる。 実験により、アンサンブルは難易度と不均衡度の高いクラス間で高い精度と堅牢性を達成することが示された。
  論文  参考訳（メタデータ） (2024-10-26T17:25:08Z)
• Anomaly Resilient Temporal QoS Prediction using Hypergraph Convoluted Transformer Network [0.47248250311484113]
  QoS(Quality-of-Service)予測は、サービスライフサイクルにおいて重要なタスクです。 従来の手法では、しばしばデータスパーシリティとコールドスタートの問題に遭遇する。 時間的予測のためのリアルタイム信頼対応フレームワークを導入する。
  論文  参考訳（メタデータ） (2024-10-23T11:01:39Z)
• Beyond Uncertainty: Evidential Deep Learning for Robust Video Temporal Grounding [49.973156959947346]
  既存のビデオ時間グラウンド(VTG)モデルは精度は優れているが、オープン語彙クエリや未トリミングビデオによって引き起こされるオープンワールドの課題を見落としていることが多い。 2段階のクロスモーダルアライメントタスクの恩恵を受ける頑健なネットワークモジュールを導入する。 Deep Evidential Regression (DER)を統合して、トレーニング中の不確実性を明確かつ徹底的に定量化する。 これに対し,我々は,不確実性学習フレームワークをゼロから強化する簡易かつ効果的なGeom-regularizerを開発した。
  論文  参考訳（メタデータ） (2024-08-29T05:32:03Z)
• Causal Interventional Prediction System for Robust and Explainable Effect Forecasting [14.104665282086339]
  AIに基づく予測システムの堅牢性と説明可能性について検討する。 我々は、変分オートエンコーダと多重計算の完全条件仕様に基づく因果介入予測システム(CIPS)を設計する。
  論文  参考訳（メタデータ） (2024-07-29T04:16:45Z)
• UNK-VQA: A Dataset and a Probe into the Abstention Ability of Multi-modal Large Models [55.22048505787125]
  本稿ではUNK-VQAと呼ばれる包括的データセットを提案する。 まず、画像または疑問について意図的に摂動することで、既存のデータを拡大する。 そこで我々は,新たなマルチモーダル大規模モデルのゼロショット性能と少数ショット性能を広範囲に評価した。
  論文  参考訳（メタデータ） (2023-10-17T02:38:09Z)
• Be Your Own Neighborhood: Detecting Adversarial Example by the Neighborhood Relations Built on Self-Supervised Learning [64.78972193105443]
  本稿では,予測に有効な新しいAE検出フレームワークを提案する。 AEの異常な関係と拡張バージョンを区別して検出を行う。 表現を抽出し、ラベルを予測するために、既製の自己監視学習(SSL)モデルが使用される。
  論文  参考訳（メタデータ） (2022-08-31T08:18:44Z)
• VisFIS: Visual Feature Importance Supervision with Right-for-the-Right-Reason Objectives [84.48039784446166]
  モデルFI監督は、VQAモデルの精度と、Right-to-the-Right-Reasonメトリクスの性能を有意義に向上させることができることを示す。 我々の最高のパフォーマンス手法であるVisual Feature Importance Supervision (VisFIS)は、ベンチマークVQAデータセットで強いベースラインを上回ります。 説明が妥当で忠実な場合には予測がより正確になる。
  論文  参考訳（メタデータ） (2022-06-22T17:02:01Z)
• Contrast and Classify: Training Robust VQA Models [60.80627814762071]
  本稿では,クロスエントロピーとコントラスト損失の両方を最適化する新しいトレーニングパラダイム(ConClaT)を提案する。 双方の損失を -- 交互に,あるいは共同で -- 最適化することが,効果的なトレーニングの鍵であることに気付きました。
  論文  参考訳（メタデータ） (2020-10-13T00:23:59Z)
• Unifying Model Explainability and Robustness via Machine-Checkable Concepts [33.88198813484126]
  本稿では,機械チェック可能な概念を用いた頑健性評価フレームワークを提案する。 本フレームワークは, 予測堅牢性を評価するために, 説明をベースとした多種多様な概念を定義し, テスト時の説明整合性チェックを実施している。 実世界のデータセットと人間のサーベイの実験は、我々のフレームワークが予測の堅牢性を大幅に向上できることを示している。
  論文  参考訳（メタデータ） (2020-07-01T05:21:16Z)
• Exploring Weaknesses of VQA Models through Attribution Driven Insights [0.0]
  近年の研究では、視覚障害者の視覚的質問にこれらのVQAモデルを効果的に適用している。 我々は、帰属レンズ(インプットの影響)を通して人気のあるVQAモデルを分析し、価値ある洞察を得る。
  論文  参考訳（メタデータ） (2020-06-11T17:30:07Z)
• Harvesting and Refining Question-Answer Pairs for Unsupervised QA [95.9105154311491]
  教師なし質問回答(QA)を改善するための2つのアプローチを提案する。 まず、ウィキペディアから語彙的・構文的に異なる質問を抽出し、質問応答対のコーパスを自動的に構築する(RefQAと名づけられる)。 第2に、より適切な回答を抽出するためにQAモデルを活用し、RefQA上でデータを反復的に洗練する。
  論文  参考訳（メタデータ） (2020-05-06T15:56:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。