論文の概要: Rethinking Audio-Visual Adversarial Vulnerability from Temporal and Modality Perspectives

• arxiv url: http://arxiv.org/abs/2502.11858v1
• Date: Mon, 17 Feb 2025 14:50:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:09:10.741226
• Title: Rethinking Audio-Visual Adversarial Vulnerability from Temporal and Modality Perspectives
• Title（参考訳）: 時間的・モダリティの観点からの聴覚・視覚的対立脆弱性の再考
• Authors: Zeliang Zhang, Susan Liang, Daiki Shimada, Chenliang Xu,
• Abstract要約: 本研究では,時間的・モダリティに特有な脆弱性を考慮した音声視覚モデルの対角的ロバスト性について検討する。 このような攻撃を防ぎつつ,新たな対人訓練フレームワークを導入する。
• 参考スコア（独自算出の注目度）: 31.045047652296553
• License:
• Abstract: While audio-visual learning equips models with a richer understanding of the real world by leveraging multiple sensory modalities, this integration also introduces new vulnerabilities to adversarial attacks. In this paper, we present a comprehensive study of the adversarial robustness of audio-visual models, considering both temporal and modality-specific vulnerabilities. We propose two powerful adversarial attacks: 1) a temporal invariance attack that exploits the inherent temporal redundancy across consecutive time segments and 2) a modality misalignment attack that introduces incongruence between the audio and visual modalities. These attacks are designed to thoroughly assess the robustness of audio-visual models against diverse threats. Furthermore, to defend against such attacks, we introduce a novel audio-visual adversarial training framework. This framework addresses key challenges in vanilla adversarial training by incorporating efficient adversarial perturbation crafting tailored to multi-modal data and an adversarial curriculum strategy. Extensive experiments in the Kinetics-Sounds dataset demonstrate that our proposed temporal and modality-based attacks in degrading model performance can achieve state-of-the-art performance, while our adversarial training defense largely improves the adversarial robustness as well as the adversarial training efficiency.
• Abstract（参考訳）: 音声視覚学習は、複数の感覚モダリティを活用することで、現実世界をより深く理解するモデルを提供するが、この統合はまた、敵の攻撃に対する新たな脆弱性も導入する。 本稿では,時間的・モーダリティに特有な脆弱性を考慮し,音声・視覚モデルの対角的ロバスト性について包括的に検討する。 我々は2つの強力な敵攻撃を提案する。 1)連続時間セグメントにまたがる時間的冗長性を利用した時間的不変性攻撃 2)音声と視覚的モダリティの不整合をもたらすモダリティの不整合攻撃。 これらの攻撃は、様々な脅威に対してオーディオ視覚モデルの堅牢性を徹底的に評価するように設計されている。 さらに,このような攻撃を防ぎつつ,新たな視覚的対人訓練フレームワークを導入する。 本フレームワークは, マルチモーダルデータに適した効率的な対向摂動工法と, 対向カリキュラム戦略を取り入れたバニラ対向訓練における重要な課題に対処する。 Kinetics-Soundsデータセットにおける広範囲な実験により、我々の提案した時間的・モダリティに基づくモデル性能劣化攻撃は、最先端の性能を達成することができる一方で、我々の敵の訓練防御は、敵の堅牢性および敵の訓練効率を大幅に改善することを示した。

関連論文リスト

• Sustainable Self-evolution Adversarial Training [51.25767996364584]
  対戦型防衛モデルのための持続的自己進化支援訓練(SSEAT)フレームワークを提案する。 本研究は,様々な種類の対角的事例から学習を実現するために,連続的な対向防衛パイプラインを導入する。 また,より多様で重要な再学習データを選択するために,逆データ再生モジュールを提案する。
  論文  参考訳（メタデータ） (2024-12-03T08:41:11Z)
• DiffuseDef: Improved Robustness to Adversarial Attacks [38.34642687239535]
  敵の攻撃は、事前訓練された言語モデルを使って構築されたシステムにとって重要な課題となる。 本稿では,拡散層をエンコーダと分類器のデノイザとして組み込んだDiffuseDefを提案する。 推測中、敵対的隠蔽状態はまずサンプルノイズと組み合わせられ、次に反復的に復調され、最後にアンサンブルされ、堅牢なテキスト表現が生成される。
  論文  参考訳（メタデータ） (2024-06-28T22:36:17Z)
• Mutual-modality Adversarial Attack with Semantic Perturbation [81.66172089175346]
  本稿では,相互モダリティ最適化スキームにおける敵攻撃を生成する新しい手法を提案する。 我々の手法は最先端の攻撃方法より優れており、プラグイン・アンド・プレイ・ソリューションとして容易にデプロイできる。
  論文  参考訳（メタデータ） (2023-12-20T05:06:01Z)
• Robust Safety Classifier for Large Language Models: Adversarial Prompt Shield [7.5520641322945785]
  大規模言語モデルの安全性は、敵の攻撃に対する脆弱性のため、依然として重要な懸念事項である。 本稿では,検出精度を向上し,対向プロンプトに対するレジリエンスを示す軽量モデルであるAdversarial Prompt Shield(APS)を紹介する。 また、対戦型トレーニングデータセットを自律的に生成するための新しい戦略を提案する。
  論文  参考訳（メタデータ） (2023-10-31T22:22:10Z)
• Exploiting Explainability to Design Adversarial Attacks and Evaluate Attack Resilience in Hate-Speech Detection Models [0.47334880432883714]
  本稿では,様々なヘイト音声検出モデルで表される対向的頑健性について分析する。 TextAttackツールを利用することで、テキストに対するターゲット攻撃を考案し、実行します。 この研究は、より堅牢で信頼性の高いヘイトスピーチ検出システムを構築するための道を開いた。
  論文  参考訳（メタデータ） (2023-05-29T19:59:40Z)
• Improving Adversarial Robustness with Self-Paced Hard-Class Pair Reweighting [5.084323778393556]
  標的外攻撃による敵の訓練は 最も認知されている方法の1つです 自然に不均衡なクラス間のセマンティックな類似性により、これらのハードクラスのペアが互いに仮想的なターゲットになる。 モデル最適化における重み付きハードクラスペアの損失について提案し、ハードクラスからの識別的特徴の学習を促す。
  論文  参考訳（メタデータ） (2022-10-26T22:51:36Z)
• Enhancing Adversarial Training with Feature Separability [52.39305978984573]
  本稿では,特徴分離性を備えた対人訓練(ATFS)により,クラス内特徴の類似性を向上し,クラス間特徴分散を増大させることができる,新たな対人訓練グラフ(ATG)を提案する。 包括的な実験を通じて、提案したATFSフレームワークがクリーンかつロバストなパフォーマンスを著しく改善することを示した。
  論文  参考訳（メタデータ） (2022-05-02T04:04:23Z)
• Adversarial Robustness of Deep Reinforcement Learning based Dynamic Recommender Systems [50.758281304737444]
  本稿では,強化学習に基づく対話型レコメンデーションシステムにおける敵例の探索と攻撃検出を提案する。 まず、入力に摂動を加え、カジュアルな要因に介入することで、異なる種類の逆例を作成する。 そこで,本研究では,人工データに基づく深層学習に基づく分類器による潜在的攻撃を検出することにより,推薦システムを強化した。
  論文  参考訳（メタデータ） (2021-12-02T04:12:24Z)
• Characterizing the adversarial vulnerability of speech self-supervised learning [95.03389072594243]
  我々は,ゼロ知識とリミテッド知識の両方の敵からの攻撃の下で,そのようなパラダイムの敵対的脆弱性を調査するための最初の試みを行う。 実験結果から, SUPERB が提案するパラダイムは, 限られた知識を持つ敵に対して脆弱であることが示唆された。
  論文  参考訳（メタデータ） (2021-11-08T08:44:04Z)
• Model-Agnostic Meta-Attack: Towards Reliable Evaluation of Adversarial Robustness [53.094682754683255]
  モデル非依存型メタアタック(MAMA)アプローチにより,より強力な攻撃アルゴリズムを自動検出する。 本手法は、繰り返しニューラルネットワークによってパラメータ化された逆攻撃を学習する。 本研究では,未知の防御を攻撃した場合の学習能力を向上させるために,モデルに依存しない訓練アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2021-10-13T13:54:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。