論文の概要: UnifiedAttack: Evaluating the Safety of Large Multimodal Models in Synergistic Harmful Image-Text Generation
- arxiv url: http://arxiv.org/abs/2610.00341v1
- Date: Tue, 29 Sep 2026 16:41:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-03 01:19:23.614444
- Title: UnifiedAttack: Evaluating the Safety of Large Multimodal Models in Synergistic Harmful Image-Text Generation
- Title(参考訳): UnifiedAttack:Synergistic Harmful Image-Text Generationにおける大規模マルチモーダルモデルの安全性の評価
- Abstract要約: We introduced UnifiedAttack, a novel benchmark for evaluate Large Multimodal Models (LMMs) safety in collaborative scenarios。
In-Context Reskinning(ICR)とCognitive Planning Injection(CPI)を組み合わせた相乗的フレームワークを提案する。
その結果,統一モデルの構造的有用性と論理的コヒーレンスを体系的に武器化できることが判明した。
- 参考スコア(独自算出の注目度): 7.57790518572149
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As Large Multimodal Models (LMMs) transition toward natively unified architectures, evaluating their safety in synergistic harmful image-text generation tasks becomes a critical challenge. Unlike unimodal threats, synergistic risks emerge when text and image modalities are coordinated to produce harm that significantly exceeds their individual components. We introduce UnifiedAttack, a novel benchmark designed to evaluate LMM safety in collaborative scenarios by focusing on the harmfulness gain achieved through cross-modal synergy. The benchmark incorporates samples filtered for their multimodal potential alongside a novel subset of synthesized disinformation queries. To verify identified vulnerabilities, we propose a synergistic hijacking framework featuring In-Context Reskinning (ICR) and Cognitive Planning Injection (CPI). ICR utilizes few-shot learning to wrap adversarial intent in benign virtual shells to desensitize safety filters, while CPI hijacks the reasoning path by enforcing a plan-then-execute paradigm. By compelling the system to commit to a neutral logical plan, we exploit its internal drive for consistency to induce the synchronized generation of harmful multimodal content. Extensive evaluations on state-of-the-art architectures demonstrate that UnifiedAttack consistently bypasses modern alignment. Our findings reveal that the structural helpfulness and logical coherence of unified models can be systematically weaponized, highlighting the urgent need for logic-aware defenses in synergistic generation tasks. Code is available at https://github.com/bingjunluo/UnifiedAttack .
- Abstract(参考訳): 大規模マルチモーダルモデル(LMM)がネイティブに統一されたアーキテクチャへと移行するにつれ、相乗的有害な画像テキスト生成タスクにおける安全性を評価することが重要な課題となっている。
単調な脅威とは異なり、テキストと画像のモダリティがコーディネートされたときに相乗的リスクが出現し、個々のコンポーネントをはるかに上回る害を生み出す。
We introduced UnifiedAttack, a novel benchmark designed to evaluate LMM safety in collaborative scenarios by focus on the hazardness gain through cross-modal synergy。
このベンチマークでは、合成された偽情報クエリの新たなサブセットとともに、マルチモーダルポテンシャルのためにフィルタされたサンプルが組み込まれている。
In-Context Reskinning (ICR) とCognitive Planning Injection (CPI) を特徴とする相乗的ハイジャックフレームワークを提案する。
ICRは、数発の学習を利用して、良心的な仮想シェルの敵意をラップして安全フィルタを脱感作させる一方、CPIは計画上の実行パラダイムを強制することで推論パスをハイジャックする。
システムに中立的な論理計画へのコミットを促すことで、内部のドライブを一貫性に利用し、有害なマルチモーダルコンテンツの同期生成を誘導する。
最先端アーキテクチャに関する広範囲な評価は、UnifiedAttackが現代的なアライメントを一貫して回避していることを示している。
本研究は,統合モデルの構造的有用性と論理的コヒーレンスを体系的に実現し,相乗的生成タスクにおける論理的防御の必要性を浮き彫りにしている。
コードはhttps://github.com/bingjunluo/UnifiedAttack で入手できる。
関連論文リスト
- MME-Safety: A Fine-grained Benchmark for Safety Evaluation of MLLMs [28.86403703474286]
MLLM(Multimodal Large Language Models)のクロスモーダルな機能には、アンモダルフィルタを簡単に回避できる複雑な脆弱性が導入されている。
既存のベンチマークには詳細なインテント関連のアノテーションがなく、一次元のメトリクスに依存しており、包括的な堅牢性評価を妨げる。
MME-Safetyは,リスクシナリオ,有害度,モダリティ固有のステルスレベルを分類する,ユニークな4次元アノテーションスキーマを備えた,厳格に検証されたベンチマークである。
論文 参考訳(メタデータ) (2026-08-08T02:49:39Z) - Provably Secure Agent Guardrail [89.79561918065122]
既存の防衛アーキテクチャは経験的セマンティックガードレールと確率論的大モデル調整器に依存している。
本稿では,論理的推論の基本的制約に基づくエージェントのための新しいセキュリティパラダイムを提案する。
論文 参考訳(メタデータ) (2026-05-28T02:12:41Z) - From Safety Risk to Design Principle: Peer-Preservation in Multi-Agent LLM Systems and Its Implications for Orchestrated Democratic Discourse Analysis [0.0]
そこで我々は,AIコンポーネントの自発的傾向について検討し,シャットダウン機構,フェイクアライメント,モデル重みの除去について考察した。
本稿では,アーキテクチャ設計の選択肢として,プロンプトレベルの匿名化に基づく緩和戦略を提案する。
アーキテクチャ設計の選択は、デプロイされたマルチエージェント分析システムにおいて、主要なアライメント戦略としてモデル選択よりも優れていると論じる。
論文 参考訳(メタデータ) (2026-04-09T17:00:26Z) - Unsafe by Reciprocity: How Generation-Understanding Coupling Undermines Safety in Unified Multimodal Models [53.41258113970795]
統一マルチモーダルモデル(UMM)における相互機能相互性自体が脆弱性の構造的源となっているかを検討する。
相互相互作用に基づくクロスファンクショナル・ファンクショナル・エクスプロイテーションは, 理解と生成の間の双方向の相互作用を明示的に活用する, 新たな攻撃パラダイムである。
論文 参考訳(メタデータ) (2026-03-28T16:28:39Z) - CIBER: A Comprehensive Benchmark for Security Evaluation of Code Interpreter Agents [27.35968236632966]
LLMベースのコードインタプリタエージェントは、ますます重要な状況にデプロイされている。
既存のベンチマークでは、動的コード実行、ツールインタラクション、マルチターンコンテキストから生じるセキュリティリスクをキャプチャできない。
動的アタック生成、分離されたセキュアサンドボックス、状態認識評価を組み合わせた自動ベンチマークであるCIBERを紹介する。
論文 参考訳(メタデータ) (2026-02-23T06:41:41Z) - PRISM: Purified Representation and Integrated Semantic Modeling for Generative Sequential Recommendation [28.629759086187352]
本稿では,PRISMとPureified RepresentationとIntegrated Semantic Modelingを組み合わせた新しい生成レコメンデーションフレームワークを提案する。
PRISMは4つの実世界のデータセットで、最先端のベースラインを一貫して上回る。
論文 参考訳(メタデータ) (2026-01-23T08:50:16Z) - Advancing Neural Network Verification through Hierarchical Safety Abstract Interpretation [52.626086874715284]
我々は、安全でない出力の階層構造を検証する抽象的DNN検証と呼ばれる新しい問題定式化を導入する。
出力到達可能な集合に関する抽象的解釈と推論を活用することにより,形式的検証プロセスにおいて,複数の安全性レベルを評価することができる。
我々の貢献には、新しい抽象的安全性の定式化と既存のアプローチとの関係を理論的に探求することが含まれる。
論文 参考訳(メタデータ) (2025-05-08T13:29:46Z) - Cannot See the Forest for the Trees: Invoking Heuristics and Biases to Elicit Irrational Choices of LLMs [83.11815479874447]
本研究では,人間の認知における認知的分解と偏見に触発された新しいジェイルブレイク攻撃フレームワークを提案する。
我々は、悪意のあるプロンプトの複雑さと関連バイアスを減らし、認知的分解を用いて、プロンプトを再編成する。
また、従来の二分的成功または失敗のパラダイムを超越したランキングベースの有害度評価指標も導入する。
論文 参考訳(メタデータ) (2025-05-03T05:28:11Z) - MIRAGE: Multimodal Immersive Reasoning and Guided Exploration for Red-Team Jailbreak Attacks [85.3303135160762]
MIRAGEは、物語駆動型コンテキストとロール没入を利用して、マルチモーダル大規模言語モデルにおける安全性メカニズムを回避する新しいフレームワークである。
最先端のパフォーマンスを達成し、最高のベースラインよりも攻撃成功率を最大17.5%向上させる。
役割の浸漬と構造的セマンティック再構築は、モデル固有のバイアスを活性化し、モデルが倫理的保護に自発的に違反することを実証する。
論文 参考訳(メタデータ) (2025-03-24T20:38:42Z) - Temporal Context Awareness: A Defense Framework Against Multi-turn Manipulation Attacks on Large Language Models [0.0]
大規模言語モデル(LLM)は、高度なマルチターン操作攻撃に対してますます脆弱である。
本稿では,この課題に対処するための新しい防御機構であるテンポラルコンテキスト認識フレームワークを紹介する。
シミュレーションされた敵シナリオに関する予備的な評価は、微妙な操作パターンを識別するフレームワークの可能性を示している。
論文 参考訳(メタデータ) (2025-03-18T22:30:17Z) - Compromising Embodied Agents with Contextual Backdoor Attacks [69.71630408822767]
大型言語モデル(LLM)は、エンボディドインテリジェンスの発展に変化をもたらした。
本稿では,このプロセスにおけるバックドアセキュリティの重大な脅威を明らかにする。
ほんの少しの文脈的デモンストレーションを毒殺しただけで、攻撃者はブラックボックスLDMの文脈的環境を隠蔽することができる。
論文 参考訳(メタデータ) (2024-08-06T01:20:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。