論文の概要: MBA: Multimodal Bidirectional Attack for Referring Expression Segmentation Models

• arxiv url: http://arxiv.org/abs/2506.16157v1
• Date: Thu, 19 Jun 2025 09:14:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-23 19:00:05.012011
• Title: MBA: Multimodal Bidirectional Attack for Referring Expression Segmentation Models
• Title（参考訳）: MBA:表現セグメンテーションモデル参照のためのマルチモーダル双方向攻撃
• Authors: Xingbai Chen, Tingchao Fu, Renyang Liu, Wei Zhou, Chao Yi,
• Abstract要約: Referring Expression (RES)は、自然言語記述に基づく画像の正確なオブジェクトセグメンテーションを可能にする。 その印象的な性能にもかかわらず、RESモデルの敵の例に対する堅牢性はほとんど解明されていない。 本稿では,RESモデルに適した新しい攻撃戦略である textbfMultimodal Bidirectional Attack を提案する。
• 参考スコア（独自算出の注目度）: 2.5931446496646204
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Referring Expression Segmentation (RES) enables precise object segmentation in images based on natural language descriptions, offering high flexibility and broad applicability in real-world vision tasks. Despite its impressive performance, the robustness of RES models against adversarial examples remains largely unexplored. While prior adversarial attack methods have explored adversarial robustness on conventional segmentation models, they perform poorly when directly applied to RES, failing to expose vulnerabilities in its multimodal structure. Moreover, in practical open-world scenarios, users typically issue multiple, diverse referring expressions to interact with the same image, highlighting the need for adversarial examples that generalize across varied textual inputs. To address these multimodal challenges, we propose a novel adversarial attack strategy termed \textbf{Multimodal Bidirectional Attack}, tailored for RES models. Our method introduces learnable proxy textual embedding perturbation and jointly performs visual-aligned optimization on the image modality and textual-adversarial optimization on the textual modality during attack generation. This dual optimization framework encourages adversarial images to actively adapt to more challenging text embedding during optimization, thereby enhancing their cross-text transferability, which refers to the ability of adversarial examples to remain effective under a variety of unseen or semantically diverse textual inputs. Extensive experiments conducted on multiple RES models and benchmark datasets demonstrate the superior effectiveness of our method compared to existing methods.
• Abstract（参考訳）: Referring Expression Segmentation (RES)は、自然言語記述に基づく画像の正確なオブジェクトセグメンテーションを可能にし、現実世界の視覚タスクに高い柔軟性と幅広い適用性を提供する。 その印象的な性能にもかかわらず、RESモデルの敵の例に対する堅牢性はほとんど解明されていない。 従来のセグメンテーションモデルでは, 従来の敵攻撃手法では, RESに直接適用しても, 脆弱性を露呈せず, 性能が劣っている。 さらに、実際のオープンワールドシナリオでは、ユーザーは通常、同じ画像と対話するために複数の多様な参照表現を発行し、様々なテキスト入力を一般化する敵例の必要性を強調している。 このようなマルチモーダルな課題に対処するために, RES モデルに適した新規な攻撃戦略である \textbf{Multimodal Bidirectional Attack} を提案する。 提案手法は,学習可能なテキスト埋め込み摂動を導入し,画像のモダリティと攻撃発生時のテキストのモダリティを視覚的に協調的に最適化する。 このデュアル・オプティマイゼーション・フレームワークは、敵画像が最適化中により困難なテキスト埋め込みに積極的に適応することを奨励し、それによってそれらのクロステキスト・トランスファービリティを向上させる。 複数のRESモデルとベンチマークデータセットで実施した大規模な実験により,既存手法と比較して,本手法の有効性が示された。

関連論文リスト

• CREM: Compression-Driven Representation Enhancement for Multimodal Retrieval and Comprehension [49.6969505536365]
  生成能力を保ちつつ、検索のためのマルチモーダル表現を強化する統一的なフレームワークであるCREMを提案する。 CREMはMMEB上での最先端検索性能を達成し,複数の理解ベンチマーク上での強力な生成性能を維持する。
  論文  参考訳（メタデータ） (2026-02-22T08:09:51Z)
• What Makes You Unique? Attribute Prompt Composition for Object Re-Identification [70.67907354506278]
  Object Re-IDentificationは、重複しないカメラビューで個人を認識することを目的としている。 単一ドメインモデルはドメイン固有の機能に過度に適合する傾向がありますが、クロスドメインモデルは多種多様な正規化戦略に依存します。 本稿では,テキストのセマンティクスを利用して識別と一般化を協調的に強化する属性プロンプト合成フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-09-23T07:03:08Z)
• CogDual: Enhancing Dual Cognition of LLMs via Reinforcement Learning with Implicit Rule-Based Rewards [53.36917093757101]
  ロールプレイング言語エージェント (RPLA) は,Large Language Models (LLM) に対する重要な適用方向として登場した。 テキスト認識対応推論パラダイムを採用した新しいRPLAであるtextbfCogDualを紹介する。 外部状況認識と内部自己認識を共同でモデル化することにより、CagDualは文字整合性と文脈整合性を改善した応答を生成する。
  論文  参考訳（メタデータ） (2025-07-23T02:26:33Z)
• Image Can Bring Your Memory Back: A Novel Multi-Modal Guided Attack against Image Generation Model Unlearning [28.15997901023315]
  Recallは、未学習のIMGの堅牢性を損なうために設計された、新しい敵のフレームワークである。 逆効果、計算効率、意味的忠実性の点で、元のプロンプトで既存のベースラインを一貫して上回ります。 これらの結果は、現在の未学習メカニズムにおける重大な脆弱性を明らかにし、より堅牢なソリューションの必要性を浮き彫りにしている。
  論文  参考訳（メタデータ） (2025-07-09T02:59:01Z)
• DeRIS: Decoupling Perception and Cognition for Enhanced Referring Image Segmentation through Loopback Synergy [20.581841892290672]
  RISを認知と認知という2つの重要な構成要素に分解する新しいフレームワークであるDeRISを提案する。 以上の結果から,従来のモデルでは知覚障害ではなく,マルチモーダル認知能力が不十分であることが示唆された。 本稿では,ターゲット存在判定に関連する長期分布問題に対処するため,単純な非参照型サンプル変換データ拡張を提案する。
  論文  参考訳（メタデータ） (2025-07-02T14:14:35Z)
• EVADE: Multimodal Benchmark for Evasive Content Detection in E-Commerce Applications [24.832537917472894]
  EVADEは、eコマースにおける回避コンテンツ検出の基礎モデルを評価するために設計された、最初の専門家による、中国のマルチモーダルベンチマークである。 データセットには、2,833の注釈付きテキストサンプルと、6つの要求のある製品カテゴリにまたがる13,961のイメージが含まれている。
  論文  参考訳（メタデータ） (2025-05-23T09:18:01Z)
• Interpretable Face Anti-Spoofing: Enhancing Generalization with Multimodal Large Language Models [58.936893810674896]
  顔認識システムのセキュリティと信頼性を確保するためには,FAS(Face Anti-Spoofing)が不可欠である。 I-FAS(Interpretable Face Anti-Spoofing)と呼ばれるFASのためのマルチモーダルな大規模言語モデルフレームワークを提案する。 本稿では,FAS画像の高品質なキャプションを生成するために,Spof-Aware Captioning and Filtering(SCF)戦略を提案する。
  論文  参考訳（メタデータ） (2025-01-03T09:25:04Z)
• Semantic-Aligned Adversarial Evolution Triangle for High-Transferability Vision-Language Attack [51.16384207202798]
  視覚言語事前学習モデルは多モーダル逆例(AE)に対して脆弱である 従来のアプローチでは、画像とテキストのペアを拡大して、敵対的なサンプル生成プロセス内での多様性を高めている。 本稿では, 敵の多様性を高めるために, クリーン, ヒストリ, および現在の敵の例からなる敵の進化三角形からのサンプリングを提案する。
  論文  参考訳（メタデータ） (2024-11-04T23:07:51Z)
• Generative Adversarial Patches for Physical Attacks on Cross-Modal Pedestrian Re-Identification [24.962600785183582]
  Visible-Infrared pedestrian Re-identification (VI-ReID)は、赤外線カメラと可視カメラで撮影された歩行者画像とをマッチングすることを目的としている。 本稿では,VI-ReIDモデルに対する最初の物理的攻撃について紹介する。
  論文  参考訳（メタデータ） (2024-10-26T06:40:10Z)
• Patch is Enough: Naturalistic Adversarial Patch against Vision-Language Pre-training Models [32.23201683108716]
  本稿では,攻撃に画像パッチを専ら使用し,オリジナルテキストの完全性を維持する新しい戦略を提案する。 本手法は,拡散モデルからの事前知識を活用し,摂動の真性や自然性を高める。 画像・テキスト・シナリオのホワイトボックス・セッティングで実施した総合実験により,提案手法は既存の手法を著しく上回り,100%の攻撃成功率を達成した。
  論文  参考訳（メタデータ） (2024-10-07T10:06:01Z)
• MirrorCheck: Efficient Adversarial Defense for Vision-Language Models [55.73581212134293]
  本稿では,視覚言語モデルにおける対角的サンプル検出のための,新しい,しかしエレガントなアプローチを提案する。 本手法は,テキスト・トゥ・イメージ(T2I)モデルを用いて,ターゲットVLMが生成したキャプションに基づいて画像を生成する。 異なるデータセットで実施した経験的評価により,本手法の有効性が検証された。
  論文  参考訳（メタデータ） (2024-06-13T15:55:04Z)
• Boosting Transferability in Vision-Language Attacks via Diversification along the Intersection Region of Adversarial Trajectory [8.591762884862504]
  視覚言語事前学習モデルは多モーダル逆例(AE)の影響を受けやすい 我々は,AEsの多様性を拡大するために,対向軌道の交差領域に沿った多様化を利用することを提案する。 潜在的なオーバーフィッティングを緩和するため、最適化経路に沿った最後の交差点領域から逸脱する逆テキストを指示する。
  論文  参考訳（メタデータ） (2024-03-19T05:10:10Z)
• Mutual-modality Adversarial Attack with Semantic Perturbation [81.66172089175346]
  本稿では,相互モダリティ最適化スキームにおける敵攻撃を生成する新しい手法を提案する。 我々の手法は最先端の攻撃方法より優れており、プラグイン・アンド・プレイ・ソリューションとして容易にデプロイできる。
  論文  参考訳（メタデータ） (2023-12-20T05:06:01Z)
• Model Stealing Attack against Graph Classification with Authenticity, Uncertainty and Diversity [80.16488817177182]
  GNNは、クエリ許可を通じてターゲットモデルを複製するための悪行であるモデル盗難攻撃に対して脆弱である。 異なるシナリオに対応するために,3つのモデルステルス攻撃を導入する。
  論文  参考訳（メタデータ） (2023-12-18T05:42:31Z)
• SA-Attack: Improving Adversarial Transferability of Vision-Language Pre-training Models via Self-Augmentation [56.622250514119294]
  ホワイトボックスの敵攻撃とは対照的に、転送攻撃は現実世界のシナリオをより反映している。 本稿では,SA-Attackと呼ばれる自己拡張型転送攻撃手法を提案する。
  論文  参考訳（メタデータ） (2023-12-08T09:08:50Z)
• OT-Attack: Enhancing Adversarial Transferability of Vision-Language Models via Optimal Transport Optimization [65.57380193070574]
  視覚言語事前学習モデルは、マルチモーダル対逆例に対して脆弱である。 近年の研究では、データ拡張と画像-テキストのモーダル相互作用を活用することで、対向的な例の転送可能性を高めることが示されている。 本稿では,OT-Attack と呼ばれる最適輸送方式の敵攻撃を提案する。
  論文  参考訳（メタデータ） (2023-12-07T16:16:50Z)
• Towards Generalizable Referring Image Segmentation via Target Prompt and Visual Coherence [48.659338080020746]
  Referring Image segmentation (RIS) は、自由なテキスト記述に基づいて画像条件でオブジェクトを分割することを目的としている。 本稿では,先述の2つのジレンマに対処することにより,一般化能力を大幅に向上させる新しいRISアプローチを提案する。 特に、制約のないテキストを扱うために、明示的で決定的なプロンプトで与えられた表現を増強し、統一された文脈での表現を補完することを提案する。
  論文  参考訳（メタデータ） (2023-12-01T09:31:24Z)
• Iterative Adversarial Attack on Image-guided Story Ending Generation [37.42908817585858]
  マルチモーダル学習は、画像やテキストなどの様々なソースからの情報を統合できるモデルを開発することを含む。 最近のIgSEGモデルのバックボーンであるディープニューラルネットワークは、敵のサンプルに対して脆弱である。 画像とテキストのモダリティ攻撃を融合させる反復的逆攻撃法(Iterative- attack)を提案する。
  論文  参考訳（メタデータ） (2023-05-16T06:19:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。