論文の概要: Adversarial Attacks on VQA-NLE: Exposing and Alleviating Inconsistencies in Visual Question Answering Explanations

• arxiv url: http://arxiv.org/abs/2508.12430v1
• Date: Sun, 17 Aug 2025 16:53:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-19 14:49:10.766082
• Title: Adversarial Attacks on VQA-NLE: Exposing and Alleviating Inconsistencies in Visual Question Answering Explanations
• Title（参考訳）: VQA-NLEに対する敵対的攻撃:説明文に対する視覚的質問に対する不整合の抽出と緩和
• Authors: Yahsin Yeh, Yilun Wu, Bokai Ruan, Honghan Shuai,
• Abstract要約: 視覚的質問応答(VQA-NLE)における自然言語の説明は、意思決定プロセスの解明によってブラックボックスモデルをより透明にすることを目的としている。 既存のVQA-NLEシステムでは、根底にあるコンテキストを真に理解することなく、矛盾した説明を導き、結論に達することができる。 本稿では,画像の変更を最小限に抑え,矛盾や急激な出力を誘導する手法を提案する。
• 参考スコア（独自算出の注目度）: 20.562136120880844
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Natural language explanations in visual question answering (VQA-NLE) aim to make black-box models more transparent by elucidating their decision-making processes. However, we find that existing VQA-NLE systems can produce inconsistent explanations and reach conclusions without genuinely understanding the underlying context, exposing weaknesses in either their inference pipeline or explanation-generation mechanism. To highlight these vulnerabilities, we not only leverage an existing adversarial strategy to perturb questions but also propose a novel strategy that minimally alters images to induce contradictory or spurious outputs. We further introduce a mitigation method that leverages external knowledge to alleviate these inconsistencies, thereby bolstering model robustness. Extensive evaluations on two standard benchmarks and two widely used VQA-NLE models underscore the effectiveness of our attacks and the potential of knowledge-based defenses, ultimately revealing pressing security and reliability concerns in current VQA-NLE systems.
• Abstract（参考訳）: 視覚的質問応答(VQA-NLE)における自然言語の説明は、意思決定プロセスの解明によってブラックボックスモデルをより透明にすることを目的としている。 しかし, 既存のVQA-NLEシステムでは, 推論パイプラインや説明生成機構の弱点を明らかにすることなく, 矛盾した説明を導き, 結論に達することができることがわかった。 これらの脆弱性を強調するために、既存の敵戦略を利用して質問を妨害するだけでなく、画像の変更を最小限に抑えて矛盾や刺激的な出力を誘導する新しい戦略を提案する。 さらに,これらの不整合を緩和し,モデルロバスト性を高めるために,外部知識を活用した緩和手法を導入する。 2つの標準ベンチマークと2つの広く使用されているVQA-NLEモデルに対する広範囲な評価は、我々の攻撃の有効性と知識に基づく防御の可能性を強調し、最終的に現在のVQA-NLEシステムにおけるセキュリティと信頼性の懸念を明らかにした。

関連論文リスト

• VQAThinker: Exploring Generalizable and Explainable Video Quality Assessment via Reinforcement Learning [50.34205095371895]
  映像品質評価は、知覚的品質劣化を客観的に定量化することを目的としている。 既存のVQAモデルには2つの限界がある。 推論に基づくVQAフレームワークである textbfVQAThinker を提案する。
  論文  参考訳（メタデータ） (2025-08-08T06:16:23Z)
• VAU-R1: Advancing Video Anomaly Understanding via Reinforcement Fine-Tuning [12.293826084601115]
  スマートシティ、セキュリティ監視、災害警報システムには、ビデオの異常理解が不可欠である。 異常検出の進歩にもかかわらず、既存の手法は解釈可能性に欠け、異常事象の因果的・文脈的側面を捉えるのに苦労することが多い。 マルチモーダル大言語モデル(MLLM)上に構築されたデータ効率のよいフレームワークVAU-R1を導入し,RFT(Reinforcement Fine-Tuning)による異常推論を強化する。
  論文  参考訳（メタデータ） (2025-05-29T14:48:10Z)
• Advancing Neural Network Verification through Hierarchical Safety Abstract Interpretation [52.626086874715284]
  我々は、安全でない出力の階層構造を検証する抽象的DNN検証と呼ばれる新しい問題定式化を導入する。 出力到達可能な集合に関する抽象的解釈と推論を活用することにより,形式的検証プロセスにおいて,複数の安全性レベルを評価することができる。 我々の貢献には、新しい抽象的安全性の定式化と既存のアプローチとの関係を理論的に探求することが含まれる。
  論文  参考訳（メタデータ） (2025-05-08T13:29:46Z)
• Uncertainty Quantification for LLMs through Minimum Bayes Risk: Bridging Confidence and Consistency [66.96286531087549]
  大規模言語モデル(LLM)のための不確実性定量化(UQ)手法は、様々なアプローチを含んでいる。 本稿では,モデル信頼度と出力整合性を統合する新しい手法を提案する。 我々は,質問応答,抽象要約,機械翻訳など,様々なタスクに対するアプローチを評価する。
  論文  参考訳（メタデータ） (2025-02-07T14:30:12Z)
• Secure Video Quality Assessment Resisting Adversarial Attacks [14.583834512620024]
  近年の研究では、既存のVQAモデルの敵攻撃に対する脆弱性が明らかにされている。 本稿では,既存のVQAモデルにセキュリティを持たせることを目的とした,一般敵防衛の原則について検討する。 セキュリティ指向の観点から,SecureVQAと呼ばれる新しいVQAフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-09T13:27:06Z)
• Dynamic Clue Bottlenecks: Towards Interpretable-by-Design Visual Question Answering [58.64831511644917]
  本稿では, モデル決定を中間的人間法的な説明に分解する設計モデルを提案する。 我々は、我々の本質的に解釈可能なシステムは、推論に焦点をあてた質問において、同等のブラックボックスシステムよりも4.64%改善できることを示した。
  論文  参考訳（メタデータ） (2023-05-24T08:33:15Z)
• Logical Implications for Visual Question Answering Consistency [2.005299372367689]
  本稿では,VQAモデルに広く適用可能な新しい整合損失項を提案する。 本稿では,これらの論理的関係を専用言語モデルを用いて推論し,一貫性損失関数として用いることを提案する。 我々は、VQAイントロスペクションとDMEデータセットに関する広範な実験を行い、我々の手法が最先端のVQAモデルに改善をもたらすことを示す。
  論文  参考訳（メタデータ） (2023-03-16T16:00:18Z)
• Knowledge-Based Counterfactual Queries for Visual Question Answering [0.0]
  本稿では,VQAモデルの動作を説明するための系統的手法を提案する。 そこで我々は,言語的モダリティをターゲットとした決定論的,最適,制御可能な単語レベルの置換を行うために,構造化知識ベースを利用する。 次に、そのような反実的な入力に対するモデルの応答を評価する。
  論文  参考訳（メタデータ） (2023-03-05T08:00:30Z)
• Correlation Information Bottleneck: Towards Adapting Pretrained Multimodal Models for Robust Visual Question Answering [63.87200781247364]
  相関情報ボトルネック (CIB) は圧縮と表現の冗長性のトレードオフを求める。 マルチモーダル入力と表現の相互情報に対して,理論上界を厳密に導出する。
  論文  参考訳（メタデータ） (2022-09-14T22:04:10Z)
• Learning from Lexical Perturbations for Consistent Visual Question Answering [78.21912474223926]
  既存のVisual Question Answering (VQA)モデルは、しばしば脆弱で入力のバリエーションに敏感である。 本稿では,モジュール型ネットワークに基づく新たなアプローチを提案し,言語摂動による2つの疑問を提起する。 VQA Perturbed Pairings (VQA P2) も提案する。
  論文  参考訳（メタデータ） (2020-11-26T17:38:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。