論文の概要: On the Role of Visual Grounding in VQA

• arxiv url: http://arxiv.org/abs/2406.18253v1
• Date: Wed, 26 Jun 2024 10:57:52 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-27 13:49:09.604227
• Title: On the Role of Visual Grounding in VQA
• Title（参考訳）: VQAにおける視覚的接地の役割について
• Authors: Daniel Reich, Tanja Schultz,
• Abstract要約: VQAの「ビジュアルグラウンド」とは、質問関連画像領域に基づいて回答を推測するモデルの傾向を指す。 DNNベースのVQAモデルは、ショートカット(SC)学習によってVGをバイパスしたことで有名である。 本稿では、VGとReasoningの概念を用いて、VQA推論を記述する新しい理論フレームワーク「Visually Grounded Reasoning」(VGR)を提案する。
• 参考スコア（独自算出の注目度）: 19.977539219231932
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Visual Grounding (VG) in VQA refers to a model's proclivity to infer answers based on question-relevant image regions. Conceptually, VG identifies as an axiomatic requirement of the VQA task. In practice, however, DNN-based VQA models are notorious for bypassing VG by way of shortcut (SC) learning without suffering obvious performance losses in standard benchmarks. To uncover the impact of SC learning, Out-of-Distribution (OOD) tests have been proposed that expose a lack of VG with low accuracy. These tests have since been at the center of VG research and served as basis for various investigations into VG's impact on accuracy. However, the role of VG in VQA still remains not fully understood and has not yet been properly formalized. In this work, we seek to clarify VG's role in VQA by formalizing it on a conceptual level. We propose a novel theoretical framework called "Visually Grounded Reasoning" (VGR) that uses the concepts of VG and Reasoning to describe VQA inference in ideal OOD testing. By consolidating fundamental insights into VG's role in VQA, VGR helps to reveal rampant VG-related SC exploitation in OOD testing, which explains why the relationship between VG and OOD accuracy has been difficult to define. Finally, we propose an approach to create OOD tests that properly emphasize a requirement for VG, and show how to improve performance on them.
• Abstract（参考訳）: VQAの視覚的グラウンド(VG)とは、質問関連画像領域に基づいて回答を推測するモデルの確率のことである。 概念的には、VGはVQAタスクの公理要求である。 しかし実際には、DNNベースのVQAモデルは、標準ベンチマークで明らかなパフォーマンス損失を被ることなく、ショートカット(SC)学習によってVGをバイパスしたことで悪名高い。 SC学習の影響を明らかにするために、低精度でVGの欠如を露呈するアウト・オブ・ディストリビューション(OOD)テストが提案されている。 これらの試験はその後VG研究の中心となり、VGの精度への影響に関する様々な調査の基礎となった。 しかしながら、VQAにおけるVGの役割は、まだ完全には理解されておらず、まだ適切に形式化されていない。 本稿では,VQAにおけるVGの役割を概念レベルで定式化し,その役割を明らかにすることを目的とする。 本稿では、VGとReasoningの概念を用いて、理想的なOODテストにおけるVQA推論を記述する新しい理論フレームワーク"Visually Grounded Reasoning"(VGR)を提案する。 VQAにおけるVGの役割に関する基本的な知見を統合することで、VGRはOODテストにおけるVG関連SCの活用を明らかにするのに役立ち、VGとOODの精度の関係は定義が困難であった理由を説明する。 最後に、VGの要件を適切に強調するOODテストを作成するためのアプローチを提案し、その性能を改善する方法を示す。

関連論文リスト

• Secure Video Quality Assessment Resisting Adversarial Attacks [14.583834512620024]
  近年の研究では、既存のVQAモデルの敵攻撃に対する脆弱性が明らかにされている。 本稿では,既存のVQAモデルにセキュリティを持たせることを目的とした,一般敵防衛の原則について検討する。 セキュリティ指向の観点から,SecureVQAと呼ばれる新しいVQAフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-09T13:27:06Z)
• Uncovering the Full Potential of Visual Grounding Methods in VQA [23.600816131032936]
  VG-methodsは、モデルが質問関連視覚情報に依存することを強化することにより、VQA(Visual Question Answering)の性能を改善する。 VG-methodsのトレーニングと試験は、主に不正確なデータを用いて行われ、それらの潜在的な利益の適切な評価を妨げている。 実験の結果,評価条件が修正された場合,これらの手法はより効果的であることが示唆された。
  論文  参考訳（メタデータ） (2024-01-15T16:21:19Z)
• Exploring Question Decomposition for Zero-Shot VQA [99.32466439254821]
  視覚的質問応答のための質問分解戦略について検討する。 モデル記述分解の素早い適用は性能を損なう可能性があることを示す。 モデル駆動選択的分解手法を導入し,予測と誤りの訂正を行う。
  論文  参考訳（メタデータ） (2023-10-25T23:23:57Z)
• Iterative Robust Visual Grounding with Masked Reference based Centerpoint Supervision [24.90534567531536]
  本稿では,Masked Reference Based Centerpoint Supervision (MRCS) を用いたIR-VG (Iterative Robust Visual Grounding) フレームワークを提案する。 提案するフレームワークは,5つの通常のVGデータセットと2つの新たに構築された堅牢なVGデータセットで評価される。
  論文  参考訳（メタデータ） (2023-07-23T17:55:24Z)
• Measuring Faithful and Plausible Visual Grounding in VQA [23.717744098159717]
  VQA(Visual Question Answering)システムにおける視覚的グラウンドリング(VG)のメトリクスは、与えられた質問に対する回答を推測する際に、システムの画像の関連部分への依存度を測定することを目的としている。 VGの欠如は、最先端のVQAシステムに共通する問題であり、無関係な画像部品に過度に依存したり、視覚的モダリティを完全に無視したりすることができる。 本稿では,モデルa)がシーン内の質問関連オブジェクトを識別し,b)応答を生成する際の関連オブジェクトに含まれる情報に実際に依存しているかどうかを判断する新しいVGメトリクスを提案する。
  論文  参考訳（メタデータ） (2023-05-24T10:58:02Z)
• Improving Visual Question Answering Models through Robustness Analysis and In-Context Learning with a Chain of Basic Questions [70.70725223310401]
  本研究は,VQAモデルのロバスト性を評価するために,基本質問と呼ばれる意味的関連質問を利用する新しい手法を提案する。 実験により,提案手法はVQAモデルのロバスト性を効果的に解析することを示した。
  論文  参考訳（メタデータ） (2023-04-06T15:32:35Z)
• Visually Grounded VQA by Lattice-based Retrieval [24.298908211088072]
  VQA(Visual Question Answering)システムにおける視覚的グラウンドリング(VG)は、システムが質問とその回答を関連画像領域にどのように結び付けるかを記述する。 本稿では,VQAの分類パラダイムを破り,情報検索タスクの観点からVQAを考察する。 本システムは,与えられた画像のシーングラフから抽出した,重み付き非巡回グラフであるa.k.a.latticeを,質問から抽出した領域参照式と合わせて操作する。
  論文  参考訳（メタデータ） (2022-11-15T12:12:08Z)
• Introspective Distillation for Robust Question Answering [70.18644911309468]
  質問応答(QA)モデルは、例えば、視覚的QAに先行する言語や、読解における位置バイアスなど、データのバイアスを利用するためによく知られている。 近年の脱バイアス法は, 分配内(ID)性能のかなりの犠牲を伴い, 分配外(OOD)の一般化性を良好に達成している。 IntroD(Introspective Distillation)と呼ばれる新しい脱湿法を提案し,両者のQAを最大限に活用する。
  論文  参考訳（メタデータ） (2021-11-01T15:30:15Z)
• Counterfactual Samples Synthesizing and Training for Robust Visual Question Answering [59.20766562530209]
  VQAモデルは、トレーニングセットにおける表面的な言語的相関をキャプチャする傾向にある。 近年のVQA研究は、ターゲットとなるVQAモデルのトレーニングを規則化する補助的な質問専用モデルを導入している。 本稿では,新しいモデル非依存型対実サンプル合成訓練(CSST)戦略を提案する。
  論文  参考訳（メタデータ） (2021-10-03T14:31:46Z)
• Found a Reason for me? Weakly-supervised Grounded Visual Question Answering using Capsules [85.98177341704675]
  近年,VQAタスクの接地に関する問題が研究コミュニティで注目されている。 カプセル特徴のクエリーに基づく選択機構を備えたビジュアルカプセルモジュールを提案する。 提案するカプセルモジュールを既存のVQAシステムに統合することで,弱教師付き接地作業における性能が著しく向上することを示す。
  論文  参考訳（メタデータ） (2021-05-11T07:45:32Z)
• MUTANT: A Training Paradigm for Out-of-Distribution Generalization in Visual Question Answering [58.30291671877342]
  MUTANTは、モデルが知覚的に類似しているが意味的に異なる入力の変異に露出する訓練パラダイムである。 MUTANTは、VQA-CPに新しい最先端の精度を確立し、10.57%$改善した。
  論文  参考訳（メタデータ） (2020-09-18T00:22:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。