論文の概要: Hidden in Plain Sight: Advancing Harmful Content Understanding via Perception-Aware Adversarial Self-Play
- arxiv url: http://arxiv.org/abs/2610.15449v2
- Date: Wed, 14 Oct 2026 11:58:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.213142
- Title: Hidden in Plain Sight: Advancing Harmful Content Understanding via Perception-Aware Adversarial Self-Play
- Title(参考訳): 平易な視点に隠された:知覚認識による有害コンテンツ理解の促進
- Abstract要約: 大きな言語モデル(LLM)は、人間によって容易に理解される表現において有害な意図を特定するのに失敗し、目に見える意味を見逃すことがある。
PASP(Perception-Aware Adversarial Self-Play)を提案する。
PASPは、中国ハルムベンチとエボハルムベンチでそれぞれ73.71%、74.49%のアダプティブアタック成功率を下げている。
- 参考スコア(独自算出の注目度): 40.37341220130805
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Despite significant advances in language understanding, Large Language Models (LLMs) can still miss meaning hidden in plain sight, failing to identify harmful intent in expressions readily understood by humans. Malicious users exploit this gap by strategically disguising harmful content to evade automated moderation, posing a serious threat to online platform safety. The vulnerability reflects a fundamental cognitive asymmetry between human readers, who integrate contextual, phonetic, and visual cues to decipher the intent behind deliberate obfuscation, and text-based LLMs, which rely primarily on token sequences and have limited exposure to evolving evasions. To bridge this asymmetry, we propose PASP (Perception-Aware Adversarial Self-Play), which combines multi-perceptual views with adversarial self-play to improve understanding of harmful intent as evasions evolve. Specifically, PASP constructs textual, phonetic, and visual views of each input, preserving its original context while exposing pronunciation and glyph cues obscured in token space. During adversarial self-play, an attacker uses defender feedback to generate intent-preserving evasions, while the defender is trained using an intent-invariance reward to understand harmful intent across changing surface forms. Extensive experiments show that PASP reduces adaptive attack success rates by up to 73.71% and 74.49% on ChineseHarm-Bench and EvoHarmBench, respectively, preserves model capabilities with minimal degradation, and effectively interprets real-world evasive expressions in e-commerce.
- Abstract(参考訳): 言語理解の大幅な進歩にもかかわらず、Large Language Models (LLMs) は、人間の理解した表現において有害な意図を特定するのに失敗し、目に見える意味を見逃すことができる。
悪意のあるユーザは、このギャップを利用して、有害なコンテンツを戦略的に切り離して自動モデレーションを回避し、オンラインプラットフォームの安全性を脅かす。
この脆弱性は、意図的な難読化の背後にある意図を解読するために文脈的、音声的、視覚的手がかりを統合する人間の読者と、主にトークンシーケンスに依存し、進化する回避に限定したテキストベースのLCMとの間の基本的な認知的非対称性を反映している。
この非対称性を橋渡しするために,マルチパーセプティブな視点と敵対的な自己プレイを組み合わせ,回避の進展に伴う有害な意図の理解を改善するPASP(Perception-Aware Adversarial Self-Play)を提案する。
具体的には、PASPは各入力のテキスト、音声、視覚的なビューを構築し、その元のコンテキストを保存しつつ、トークン空間に隠された発音とグリフの手がかりを露呈する。
敵の自己プレイ中、攻撃者はディフェンダーフィードバックを使用して意図保存回避を生成する一方、ディフェンダーはインテンション不変報酬を用いてトレーニングされ、変化する表面形態の有害な意図を理解する。
大規模な実験により、PASPは、中国ハルムベンチとエボハルムベンチでそれぞれ73.71%と74.49%のアダプティブアタック成功率を減少させ、最小限の劣化でモデル能力を保ち、eコマースにおける現実の回避表現を効果的に解釈することを示した。
関連論文リスト
- Making MLLMs Blind: Adversarial Smuggling Attacks in MLLM Content Moderation [54.38271718421492]
敵の密輸攻撃は人間とAIの能力ギャップを悪用する。
有害なコンテンツを人間の読みやすい視覚形式にエンコードする。
我々は緩和戦略の予備的な調査を行う。
論文 参考訳(メタデータ) (2026-04-08T11:13:16Z) - TokenSwap: Backdoor Attack on the Compositional Understanding of Large Vision-Language Models [57.32952956674526]
大規模視覚言語モデル(LVLM)に対するより回避的でステルス的なバックドア攻撃であるTokenSwapを紹介する。
固定されたターゲットコンテンツを強制するのではなく、TokenSwapはテキスト内のオブジェクト関係の理解を微妙に妨害する。
TokenSwapは、優れた回避性とステルス性を維持しながら、高い攻撃成功率を達成する。
論文 参考訳(メタデータ) (2025-09-29T10:19:22Z) - Prompt-driven Transferable Adversarial Attack on Person Re-Identification with Attribute-aware Textual Inversion [17.18411620606476]
本稿では,歩行者画像の微細な意味的特徴を損なうために,Attribute-aware Prompt Attack (AP-Attack)を導入する。
AP-Attackは最先端の転送可能性を実現し、従来の手法よりも22.9%上回った。
論文 参考訳(メタデータ) (2025-02-27T02:32:58Z) - Jailbreak Vision Language Models via Bi-Modal Adversarial Prompt [60.54666043358946]
本稿では,テキストと視覚のプロンプトを協調的に最適化することにより,ジェイルブレイクを実行するバイモーダル・アドバイサル・プロンプト・アタック(BAP)を提案する。
特に,大規模言語モデルを用いてジェイルブレイクの失敗を分析し,テキストのプロンプトを洗練させるために連鎖推論を採用する。
論文 参考訳(メタデータ) (2024-06-06T13:00:42Z) - Safeguarding Vision-Language Models Against Patched Visual Prompt Injectors [31.383591942592467]
視覚言語モデル(VLM)は、視覚とテキストのデータを組み合わせて理解と相互作用を強化する革新的な方法を提供する。
パッチベースの敵攻撃は、物理的な視覚応用において最も現実的な脅威モデルと考えられている。
本研究では,スムージング技術に根ざした防御機構であるSmoothVLMを導入し,VLMをパッチ付き視覚プロンプトインジェクタの脅威から保護する。
論文 参考訳(メタデータ) (2024-05-17T04:19:19Z) - Visual Adversarial Examples Jailbreak Aligned Large Language Models [66.53468356460365]
視覚入力の連続的かつ高次元的な性質は、敵対的攻撃に対する弱いリンクであることを示す。
我々は、視力統合されたLLMの安全ガードレールを回避するために、視覚的敵の例を利用する。
本研究は,マルチモダリティの追求に伴う敵のエスカレーションリスクを浮き彫りにする。
論文 参考訳(メタデータ) (2023-06-22T22:13:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。