論文の概要: Frequency-Domain Regularized Adversarial Alignment for Transferable Attacks against Closed-Source MLLMs
- arxiv url: http://arxiv.org/abs/2605.21541v1
- Date: Wed, 20 May 2026 08:15:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-22 16:35:41.933376
- Title: Frequency-Domain Regularized Adversarial Alignment for Transferable Attacks against Closed-Source MLLMs
- Title(参考訳): 閉鎖型MLLMに対するトランスファタブルアタックのための周波数領域正規化アライメント
- Authors: Leitao Yuan, Qinghua Mao, Daizong Liu, Kun Wang, Wenjie Wang, Yan Teng, Jing Shao, Dongrui Liu,
- Abstract要約: 対向移動性を改善するための重要な課題は、異なるモデル間で共有される本質的な視覚的焦点を効果的に捉えることである。
本稿では、FRA-Attackを提案する。このFRA-Attackは、周波数領域の統一正規化の観点から、両方の課題に対処する。
機能アライメントのために、パッチ機能に対する高パスDCTは、冗長なグローバル構造を抑圧し、MLLMの固有の視覚的焦点を持つ高周波帯域の損失に集中する。
勾配最適化のために、代用勾配を変調するテキストモデルに依存しない低パス正規化器である周波数領域勾配正規化(FGR)を導入する。
- 参考スコア(独自算出の注目度): 59.973833105841685
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multimodal large language models (MLLMs) remain vulnerable to transfer-based targeted attacks, where perturbations optimized on open-source surrogate encoders can generalize to closed-source MLLMs. A key challenge for improving adversarial transferability is to effectively capture the intrinsic visual focus shared across different models, such that perturbations align with transferable semantic cues rather than surrogate-specific behaviors. However, existing methods suffer from spatial-domain feature redundancy and surrogate-specific gradient signals, thereby hindering cross-model transferability. In this paper, we propose FRA-Attack, which addresses both challenges from a unified frequency-domain regularization perspective. For feature alignment, a high-pass DCT objective on patch features suppresses redundant global structures and concentrates the loss on the high-frequency band that carries the MLLMs' intrinsic visual focus. For gradient optimization, we introduce Frequency-domain Gradient Regularization (FGR), a \textit{model-agnostic} low-pass regularizer that modulates the surrogate gradient using only the geometric frequency coordinate, \textit{i.e.}, no surrogate-derived statistic is involved, so that FGR is model-agnostic by construction, removing surrogate-specific high-frequency artifacts while preserving transferable low-frequency directions. Together, the two components form a unified frequency-domain treatment of transferability. Extensive experiments on $15$ flagship MLLMs across $7$ vendors show that FRA-Attack achieves superior cross-model transferability, particularly with state-of-the-art performance on GPT-5.4, Claude-Opus-4.6 and Gemini-3-flash.
- Abstract(参考訳): マルチモーダル大規模言語モデル(MLLM)は、オープンソースサロゲートエンコーダに最適化された摂動がクローズドソースのMLLMに一般化できるトランスファーベースのターゲットアタックに対して脆弱なままである。
敵対的伝達性を改善するための重要な課題は、異なるモデル間で共有される本質的な視覚的焦点を効果的に捉えることである。
しかし,既存の手法では空間領域の特徴冗長性や代理固有勾配信号に悩まされ,モデル間の伝達を阻害する。
本稿では,FRA-Attackを提案する。このFRA-Attackは,周波数領域の統一正規化の観点から両課題に対処する。
機能アライメントのために、パッチ機能に対する高パスDCTは、冗長なグローバル構造を抑圧し、MLLMの固有の視覚的焦点を持つ高周波帯域の損失に集中する。
勾配最適化には、幾何周波数座標のみを用いて代用勾配を変調する低域正規化器である周波数領域勾配正規化(FGR)を導入する。
これら2つの成分は、転送可能性の統一周波数領域処理を形成する。
7ドルベンダー間の15ドルのフラッグシップMLLMに関する大規模な実験は、FRA-Attackが優れたクロスモデル転送性、特にGPT-5.4、Claude-Opus-4.6、Gemini-3-flashの最先端性能を実現していることを示している。
関連論文リスト
- Adversarial Attacks Against MLLMs via Progressive Resolution Processing and Adaptive Feature Alignment [56.085182951399496]
敵対的摂動は、特定の対象物として良性画像を認識するマルチモーダル大言語モデル(MLLM)を誤解させる可能性がある。
これにより、ブラックボックスMLLMの堅牢性を理解し改善するために、転送ベースのターゲットアタックが重要である。
マルチスケールなグローバルなセマンティックガイダンスとロバストな中間層局所アライメントを統合した,トランスファーベースの攻撃フレームワークであるPRAF-Attackを提案する。
論文 参考訳(メタデータ) (2026-05-11T02:45:48Z) - Physics-Aligned Spectral Mamba: Decoupling Semantics and Dynamics for Few-Shot Hyperspectral Target Detection [14.607792636586067]
SpecMambaは、安定したセマンティック表現とアジャイルのスペクトル適応を分離するフレームワークである。
検出精度とクロスドメインの一般化において、最先端の手法を一貫して上回る。
論文 参考訳(メタデータ) (2026-04-07T08:04:18Z) - Steering and Rectifying Latent Representation Manifolds in Frozen Multi-modal LLMs for Video Anomaly Detection [52.5174167737992]
ビデオ異常検出(VAD)は、ビデオ内の異常事象を特定することを目的としている。
本稿では,MLLMに基づくVADを受動的に読み上げから内部表現を積極的に操り,修正するSteerVADを提案する。
本手法は、トレーニングデータの1%しか必要としないチューニングフリーアプローチにおける最先端性能を実現する。
論文 参考訳(メタデータ) (2026-02-27T13:48:50Z) - Cross-Domain Transfer with Self-Supervised Spectral-Spatial Modeling for Hyperspectral Image Classification [5.784164305429653]
本稿では,自己管理型クロスドメイン転送フレームワークを提案する。
ソースラベルなしで伝送可能なスペクトル-空間結合表現を学習する。
実験結果は、安定した分類性能と強いクロスドメイン適応性を示す。
論文 参考訳(メタデータ) (2026-01-26T02:52:35Z) - SKANet: A Cognitive Dual-Stream Framework with Adaptive Modality Fusion for Robust Compound GNSS Interference Classification [47.20483076887704]
グローバルナビゲーション衛星システム(GNSS)は、洗練された妨害による脅威の増大に直面している。
時間周波数画像(TFI)とパワースペクトル密度(PSD)を統合した2重ストリームアーキテクチャに基づく認知的ディープラーニングフレームワークを提案する。
SKANetは96.99%の精度を達成し、複合妨害分類において優れたロバスト性を示した。
論文 参考訳(メタデータ) (2026-01-19T07:42:45Z) - Efficient Dual-domain Image Dehazing with Haze Prior Perception [26.57698394898644]
トランスフォーマーベースのモデルは、シングルイメージのデハージングにおいて強力なグローバルモデリング能力を示すが、その高い計算コストはリアルタイム適用性を制限する。
そこで我々はDGFDNet(Dark Channel Guided Frequency-aware Dehazing Network)を提案する。
4つのベンチマークハウズデータセットの実験により、DGFDNetは、より優れた堅牢性とリアルタイム効率で最先端のパフォーマンスを達成することを示した。
論文 参考訳(メタデータ) (2025-07-15T06:56:56Z) - Generate Aligned Anomaly: Region-Guided Few-Shot Anomaly Image-Mask Pair Synthesis for Industrial Inspection [53.137651284042434]
異常検査は製造業において重要な役割を担っているが、異常サンプルの不足は既存の方法の有効性を制限している。
本稿では,GAA (Generate grained Anomaly) を提案する。
GAAは少数のサンプルのみを用いて現実的で多様で意味的に整合した異常を発生させる。
論文 参考訳(メタデータ) (2025-07-13T12:56:59Z) - Improving Black-Box Generative Attacks via Generator Semantic Consistency [51.470649503929344]
ジェネレーティブアタックは テスト時に 1つのフォワードパスで 敵の例を生成する
初期ジェネレータの中間機能をEMA教師に整列させることで意味的整合性を実現する。
我々のアプローチは、ブラックボックス転送の一貫性を保ちながら、既存のジェネレーティブアタックにシームレスに統合することができる。
論文 参考訳(メタデータ) (2025-06-23T02:35:09Z) - Generalizable Multispectral Land Cover Classification via Frequency-Aware Mixture of Low-Rank Token Experts [22.75047167955269]
マルチスペクトル土地被覆分類(MLCC)の新しいアプローチであるLand-MoEを紹介する。
Land-MoEは、低ランクトークンエキスパート(MoLTE)と周波数認識フィルタ(FAF)の2つの重要なモジュールから構成される。
論文 参考訳(メタデータ) (2025-05-20T08:52:28Z) - Calibrating Undisciplined Over-Smoothing in Transformer for Weakly Supervised Semantic Segmentation [51.14107156747967]
弱教師付きセマンティックセマンティックセマンティクス(WSSS)は、完全な教師付きアプローチよりもアノテーションが少ないため、かなりの注目を集めている。
本研究では,非学際的な過密化に対する深い注意を抑えるための適応的再活性化機構 (AReAM) を提案する。
AReAMは既存のWSSS手法と比較してセグメンテーション性能を大幅に改善し、ノイズを低減し、関連するセマンティック領域に焦点を絞る。
論文 参考訳(メタデータ) (2023-05-04T19:11:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。