論文の概要: QIRL: Boosting Visual Question Answering via Optimized Question-Image Relation Learning

• arxiv url: http://arxiv.org/abs/2504.03337v1
• Date: Fri, 04 Apr 2025 10:38:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-07 14:48:10.981985
• Title: QIRL: Boosting Visual Question Answering via Optimized Question-Image Relation Learning
• Title（参考訳）: QIRL: 最適質問画像関係学習による視覚的質問応答の促進
• Authors: Quanxing Xu, Ling Zhou, Xian Zhong, Feifei Zhang, Rubing Huang, Chia-Wen Lin,
• Abstract要約: 現在のデバイアス技術は、画像とテキストの間の優れた関係を捉えられない。 偏見研究における入力関係の程度について、事前の研究は行われていない。 本稿では,世代ベースの自己教師型学習戦略を取り入れた新しいフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 38.24779287568123
• License:
• Abstract: Existing debiasing approaches in Visual Question Answering (VQA) primarily focus on enhancing visual learning, integrating auxiliary models, or employing data augmentation strategies. However, these methods exhibit two major drawbacks. First, current debiasing techniques fail to capture the superior relation between images and texts because prevalent learning frameworks do not enable models to extract deeper correlations from highly contrasting samples. Second, they do not assess the relevance between the input question and image during inference, as no prior work has examined the degree of input relevance in debiasing studies. Motivated by these limitations, we propose a novel framework, Optimized Question-Image Relation Learning (QIRL), which employs a generation-based self-supervised learning strategy. Specifically, two modules are introduced to address the aforementioned issues. The Negative Image Generation (NIG) module automatically produces highly irrelevant question-image pairs during training to enhance correlation learning, while the Irrelevant Sample Identification (ISI) module improves model robustness by detecting and filtering irrelevant inputs, thereby reducing prediction errors. Furthermore, to validate our concept of reducing output errors through filtering unrelated question-image inputs, we propose a specialized metric to evaluate the performance of the ISI module. Notably, our approach is model-agnostic and can be integrated with various VQA models. Extensive experiments on VQA-CPv2 and VQA-v2 demonstrate the effectiveness and generalization ability of our method. Among data augmentation strategies, our approach achieves state-of-the-art results.
• Abstract（参考訳）: VQA(Visual Question Answering)の既存のデバイアスングアプローチは、主に視覚学習の強化、補助モデルの統合、あるいはデータ拡張戦略の採用に焦点を当てている。 しかし、これらの手法には2つの大きな欠点がある。 第一に、一般的な学習フレームワークでは、非常にコントラストの高いサンプルからより深い相関関係を抽出できないため、現在のデバイアス技術は画像とテキストの優れた関係を捉えることができない。 第二に、彼らは推論中の入力問題と画像の関係を評価せず、事前の研究は、デバイアス研究における入力関連度を調べていない。 これらの制約に感化されて,世代ベースの自己教師型学習戦略を取り入れた新しいフレームワークであるOptimized Question-Image Relation Learning (QIRL)を提案する。 具体的には、上記の問題に対処するために、2つのモジュールが導入される。 負画像生成(NIG)モジュールは、相関学習を強化するために、トレーニング中に非常に無関係な質問画像ペアを自動的に生成する一方、Irrelevant Sample Identification(ISI)モジュールは、無関係な入力を検出してフィルタリングすることによりモデルロバスト性を改善し、予測エラーを低減する。 さらに,無関係な質問画像入力をフィルタリングすることで出力誤差を低減するという概念を検証するために,ISIモジュールの性能を評価するための特別な指標を提案する。 特に,本手法はモデル非依存であり,様々なVQAモデルと統合可能である。 VQA-CPv2とVQA-v2の大規模な実験により,本手法の有効性と一般化能力が示された。 データ拡張戦略の中で、我々の手法は最先端の結果を達成する。

関連論文リスト

• Admitting Ignorance Helps the Video Question Answering Models to Answer [82.22149677979189]
  モデルはしばしばショートカットを定め、結果として質問と回答の間に急激な相関関係が生じる、と我々は主張する。 そこで本研究では,モデルに不明瞭さを認めざるを得ない新たな学習手法を提案する。 実際に、我々のフレームワークに最先端のモデルを統合することで、その有効性を検証する。
  論文  参考訳（メタデータ） (2025-01-15T12:44:52Z)
• Multi-Modal Prompt Learning on Blind Image Quality Assessment [65.0676908930946]
  画像品質評価(IQA)モデルは意味情報から大きな恩恵を受け、異なる種類のオブジェクトを明瞭に扱うことができる。 十分な注釈付きデータが不足している従来の手法では、セマンティックな認識を得るために、CLIPイメージテキスト事前学習モデルをバックボーンとして使用していた。 近年のアプローチでは、このミスマッチに即時技術を使って対処する試みがあるが、これらの解決策には欠点がある。 本稿では、IQAのための革新的なマルチモーダルプロンプトベースの手法を提案する。
  論文  参考訳（メタデータ） (2024-04-23T11:45:32Z)
• VQAttack: Transferable Adversarial Attacks on Visual Question Answering via Pre-trained Models [58.21452697997078]
  本稿では,画像とテキストの摂動を設計モジュールで生成できる新しいVQAttackモデルを提案する。 5つの検証モデルを持つ2つのVQAデータセットの実験結果は、提案したVQAttackの有効性を示す。
  論文  参考訳（メタデータ） (2024-02-16T21:17:42Z)
• Visual Perturbation-aware Collaborative Learning for Overcoming the Language Prior Problem [60.0878532426877]
  本稿では,視覚的摂動校正の観点から,新しい協調学習手法を提案する。 具体的には、異なる摂動範囲で2種類のキュレートされた画像を構築するための視覚コントローラを考案する。 2つの診断VQA-CPベンチマークデータセットの実験結果は、その効果を明らかに示している。
  論文  参考訳（メタデータ） (2022-07-24T23:50:52Z)
• VisQA: X-raying Vision and Language Reasoning in Transformers [10.439369423744708]
  最近の研究では、最先端のモデルがトレーニングデータのバイアスやショートカットを利用した回答を生み出す傾向があることが示されている。 VisQAは、この推論とバイアス搾取の問題を探求するビジュアル分析ツールです。
  論文  参考訳（メタデータ） (2021-04-02T08:08:25Z)
• Robustness Evaluation of Stacked Generative Adversarial Networks using Metamorphic Testing [0.39146761527401414]
  StackGAN-v2は、入力されたテキスト記述に指定された詳細を反映した高解像度の画像を生成できることが証明されている。 我々は,さまざまな予期せぬトレーニングデータセットを用いたモデルのロバスト性を評価するために,メタモルフィックテスト手法を採用する。 StackGAN-v2アルゴリズムは、たとえメインオブジェクトと最小値の重なり合いであっても、難解なオブジェクトでイメージを入力できる。
  論文  参考訳（メタデータ） (2021-03-04T07:29:17Z)
• One-Shot Object Detection without Fine-Tuning [62.39210447209698]
  本稿では,第1ステージのMatching-FCOSネットワークと第2ステージのStructure-Aware Relation Moduleからなる2段階モデルを提案する。 また,検出性能を効果的に向上する新たなトレーニング戦略を提案する。 提案手法は,複数のデータセット上で一貫した最先端のワンショット性能を上回る。
  論文  参考訳（メタデータ） (2020-05-08T01:59:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。