論文の概要: Boosting Cross-task Transferability of Adversarial Patches with Visual Relations

• arxiv url: http://arxiv.org/abs/2304.05402v1
• Date: Tue, 11 Apr 2023 11:43:57 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-13 17:12:36.153226
• Title: Boosting Cross-task Transferability of Adversarial Patches with Visual Relations
• Title（参考訳）: 視覚関係を用いた敵パッチのクロスタスク転送性の向上
• Authors: Tony Ma, Songze Li, Yisong Xiao, Shunchang Liu
• Abstract要約: 本稿では,VRAPと呼ばれる,視覚関係に基づくクロスタスク・アダクティブ・パッチ生成手法を提案する。 VRAPはシーングラフを使用して、オブジェクト認識に基づく偽装と述語に基づく関係の排除を組み合わせている。 実験の結果,VRAPは多様な視覚的推論タスクにおけるブラックボックス転送可能性において,従来の手法をはるかに上回っていることがわかった。
• 参考スコア（独自算出の注目度）: 4.694536172504848
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The transferability of adversarial examples is a crucial aspect of evaluating the robustness of deep learning systems, particularly in black-box scenarios. Although several methods have been proposed to enhance cross-model transferability, little attention has been paid to the transferability of adversarial examples across different tasks. This issue has become increasingly relevant with the emergence of foundational multi-task AI systems such as Visual ChatGPT, rendering the utility of adversarial samples generated by a single task relatively limited. Furthermore, these systems often entail inferential functions beyond mere recognition-like tasks. To address this gap, we propose a novel Visual Relation-based cross-task Adversarial Patch generation method called VRAP, which aims to evaluate the robustness of various visual tasks, especially those involving visual reasoning, such as Visual Question Answering and Image Captioning. VRAP employs scene graphs to combine object recognition-based deception with predicate-based relations elimination, thereby disrupting the visual reasoning information shared among inferential tasks. Our extensive experiments demonstrate that VRAP significantly surpasses previous methods in terms of black-box transferability across diverse visual reasoning tasks.
• Abstract（参考訳）: 逆例の転送性は、特にブラックボックスシナリオにおいて、ディープラーニングシステムの堅牢性を評価する上で重要な側面である。 クロスモデル転送性を高めるためにいくつかの方法が提案されているが、異なるタスクにわたる逆例の転送性にはほとんど注意が払われていない。 この問題は、visual chatgptのような基礎的なマルチタスクaiシステムの出現に益々関連し、単一のタスクによって生成される敵対的なサンプルの実用性は比較的限られている。 さらに、これらのシステムは単に認識のようなタスク以上の推論機能を伴うことが多い。 このギャップに対処するために,視覚的質問応答や画像キャプションなどの視覚的推論に係わる様々な視覚的タスクの堅牢性を評価するために,VRAPと呼ばれる,視覚的関係に基づくクロスタスク・パッチ生成手法を提案する。 VRAPはシーングラフを用いて、オブジェクト認識に基づく偽装と述語に基づく関係の排除を組み合わせ、推論タスク間で共有される視覚的推論情報を妨害する。 広範にわたる実験により,VRAPは多様な視覚的推論タスクにおけるブラックボックス転送可能性において,従来の手法をはるかに上回っていることが示された。

関連論文リスト

• Cross-Task Attack: A Self-Supervision Generative Framework Based on Attention Shift [3.6015992701968793]
  自己教師型クロスタスクアタックフレームワーク(CTA)を提案する。 CTAは、サンプルの注意領域をコアテンションマップから、アンチアテンションマップに近づけることで、クロスタスク摂動を生成する。 本研究では,複数の視覚課題に対する広範囲な実験を行い,提案手法の有効性を検証した。
  論文  参考訳（メタデータ） (2024-07-18T17:01:10Z)
• RepVF: A Unified Vector Fields Representation for Multi-task 3D Perception [64.80760846124858]
  本稿では,様々な知覚タスクの表現を調和させる新しい統一表現RepVFを提案する。 RepVFは、ベクトル場を通じてシーン内の異なるターゲットの構造を特徴付け、シングルヘッドでマルチタスクの学習モデルを可能にする。 RepVF 上に構築された RFTR は,タスク間の固有性を利用したネットワークである。
  論文  参考訳（メタデータ） (2024-07-15T16:25:07Z)
• An Image Is Worth 1000 Lies: Adversarial Transferability across Prompts on Vision-Language Models [19.3364863157474]
  従来のタスク固有の視覚モデルに関するよく知られた懸念は、それらは知覚できない逆境の摂動によって誤解される可能性があることである。 本研究では,クロスプロンプト攻撃(CroPA)を提案する。 CroPAは、学習可能なプロンプトで視覚的対向摂動を更新する。
  論文  参考訳（メタデータ） (2024-03-14T17:59:35Z)
• Visual In-Context Learning for Large Vision-Language Models [62.5507897575317]
  大規模視覚言語モデル(LVLM)では、言語間相互作用や表現格差の課題により、ICL(In-Context Learning)の有効性が制限されている。 本稿では,視覚的記述型検索,意図的画像要約,意図的記述型合成を含む新しい視覚的記述型学習(VICL)手法を提案する。 提案手法は'Retrieval & Rerank'パラダイムを用いて画像を検索し,タスク意図とタスク固有の視覚的パーシングで画像を要約し,言語による実演を構成する。
  論文  参考訳（メタデータ） (2024-02-18T12:43:38Z)
• A Survey on Transferability of Adversarial Examples across Deep Neural Networks [53.04734042366312]
  逆の例では、機械学習モデルを操作して誤った予測を行うことができます。 敵の例の転送可能性により、ターゲットモデルの詳細な知識を回避できるブラックボックス攻撃が可能となる。 本研究は, 対角移動可能性の展望を考察した。
  論文  参考訳（メタデータ） (2023-10-26T17:45:26Z)
• Task Formulation Matters When Learning Continually: A Case Study in Visual Question Answering [58.82325933356066]
  継続的な学習は、以前の知識を忘れずに、一連のタスクでモデルを漸進的にトレーニングすることを目的としている。 本稿では,視覚的質問応答において,異なる設定がパフォーマンスに与える影響について詳細に検討する。
  論文  参考訳（メタデータ） (2022-09-30T19:12:58Z)
• Visual Perturbation-aware Collaborative Learning for Overcoming the Language Prior Problem [60.0878532426877]
  本稿では,視覚的摂動校正の観点から,新しい協調学習手法を提案する。 具体的には、異なる摂動範囲で2種類のキュレートされた画像を構築するための視覚コントローラを考案する。 2つの診断VQA-CPベンチマークデータセットの実験結果は、その効果を明らかに示している。
  論文  参考訳（メタデータ） (2022-07-24T23:50:52Z)
• Dense Contrastive Visual-Linguistic Pretraining [53.61233531733243]
  画像とテキストを共同で表現するマルチモーダル表現学習手法が提案されている。 これらの手法は,大規模マルチモーダル事前学習から高レベルな意味情報を取得することにより,優れた性能を実現する。 そこで本稿では,非バイアスのDense Contrastive Visual-Linguistic Pretrainingを提案する。
  論文  参考訳（メタデータ） (2021-09-24T07:20:13Z)
• Learning Task Informed Abstractions [10.920599910769276]
  本稿では,報酬関連視覚的特徴を注意散らしから明確に分離する学習タスクインフォームド抽象化(TIA)を提案する。 TIAは、多くの視覚制御タスクにおける最先端の手法よりも大きなパフォーマンス向上をもたらす。
  論文  参考訳（メタデータ） (2021-06-29T17:56:11Z)
• A Broad Study on the Transferability of Visual Representations with Contrastive Learning [15.667240680328922]
  線形評価, 全ネットワーク転送, 数ショット認識のための造影的アプローチの学習表現の伝達性について検討する。 その結果、コントラスト的アプローチは、異なる下流タスクに簡単に移行できる表現を学習できることが示される。 分析の結果, コントラスト的アプローチから得られた表現は, クロスエントロピーモデルよりも低レベル・中レベルセマンティクスを含んでいることがわかった。
  論文  参考訳（メタデータ） (2021-03-24T22:55:04Z)
• Analyzing Visual Representations in Embodied Navigation Tasks [45.35107294831313]
  我々は、最近提案されたプロジェクション重み付き正準相関解析(PWCCA)を用いて、異なるタスクを実行することで、同じ環境で学習した視覚的表現の類似度を測定する。 次に、あるタスクで学習した視覚的表現が、別のタスクに効果的に転送できることを実証的に示す。
  論文  参考訳（メタデータ） (2020-03-12T19:43:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。