論文の概要: Reinforced Diffuser for Red Teaming Large Vision-Language Models

• arxiv url: http://arxiv.org/abs/2503.06223v1
• Date: Sat, 08 Mar 2025 13:51:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-11 20:09:44.258276
• Title: Reinforced Diffuser for Red Teaming Large Vision-Language Models
• Title（参考訳）: 大規模ビジョンランゲージモデルのレッドチーム化のための強化ディフューザ
• Authors: Ruofan Wang, Xiang Zheng, Xiaosen Wang, Cong Wang, Xingjun Ma,
• Abstract要約: 現在のアライメントメカニズムは、有害なテキスト継続タスクによって引き起こされるリスクに対処できない。 本稿では、強化学習を活用して、有害な継続を効果的に誘発するレッドチーム画像を生成する新しいフレームワークを提案する。 我々の研究は、現実のアプリケーションにおけるVLMの安全な配置を保証するために、より堅牢で適応的なアライメント機構の必要性を緊急に強調している。
• 参考スコア（独自算出の注目度）: 27.68654681867373
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The rapid advancement of large Vision-Language Models (VLMs) has raised significant safety concerns, particularly regarding their vulnerability to jailbreak attacks. While existing research primarily focuses on VLMs' susceptibility to harmful instructions, this work identifies a critical yet overlooked vulnerability: current alignment mechanisms often fail to address the risks posed by toxic text continuation tasks. To investigate this issue, we propose a novel Red Team Diffuser (RTD) framework, which leverages reinforcement learning to generate red team images that effectively induce highly toxic continuations from target black-box VLMs. The RTD pipeline begins with a greedy search for high-quality image prompts that maximize the toxicity of VLM-generated sentence continuations, guided by a Large Language Model (LLM). These prompts are then used as input for the reinforcement fine-tuning of a diffusion model, which employs toxicity and alignment rewards to further amplify harmful outputs. Experimental results demonstrate the effectiveness of RTD, increasing the toxicity rate of LLaVA outputs by 10.69% on the original attack set and 8.91% on a hold-out set. Moreover, RTD exhibits strong cross-model transferability, raising the toxicity rate by 5.1% on Gemini and 26.83% on LLaMA. These findings reveal significant deficiencies in existing alignment strategies, particularly their inability to prevent harmful continuations. Our work underscores the urgent need for more robust and adaptive alignment mechanisms to ensure the safe deployment of VLMs in real-world applications.
• Abstract（参考訳）: 大規模なビジョン・ランゲージ・モデル(VLM)の急速な進歩は、特に脱獄攻撃に対する脆弱性に関して、重大な安全上の懸念を提起している。 既存の研究は主に有害な命令に対するVLMの感受性に焦点が当てられているが、この研究は重大な脆弱性を特定している。 そこで本研究では,対象のブラックボックスVLMから高毒性連続を効果的に誘導するレッドチーム画像を生成するために,強化学習を活用する新しいRed Team Diffuser(RTD)フレームワークを提案する。 RTDパイプラインは、大言語モデル(LLM)によって導かれるVLM生成文継続の毒性を最大化する、高品質な画像の鮮やかな探索から始まる。 これらのプロンプトは、有害な出力をさらに増幅するために毒性とアライメント報酬を利用する拡散モデルの強化微調整の入力として使用される。 実験の結果、RTDの有効性が示され、LLaVA出力の毒性率が元の攻撃セットで10.69%増加し、ホールドアウトセットで8.91%上昇した。 さらにRTDは強いクロスモデル転写性を示し、ゲミニでは5.1%、LLaMAでは26.83%の毒性が上昇する。 これらの結果から,既存のアライメント戦略,特に有害な継続を防ぐ能力の欠如に有意な欠陥が認められた。 我々の研究は、現実のアプリケーションにおけるVLMの安全な配置を保証するために、より堅牢で適応的なアライメント機構の必要性を緊急に浮き彫りにしている。

関連論文リスト

• MIRAGE: Multimodal Immersive Reasoning and Guided Exploration for Red-Team Jailbreak Attacks [85.3303135160762]
  MIRAGEは、物語駆動型コンテキストとロール没入を利用して、マルチモーダル大規模言語モデルにおける安全性メカニズムを回避する新しいフレームワークである。 最先端のパフォーマンスを達成し、最高のベースラインよりも攻撃成功率を最大17.5%向上させる。 役割の浸漬と構造的セマンティック再構築は、モデル固有のバイアスを活性化し、モデルが倫理的保護に自発的に違反することを実証する。
  論文  参考訳（メタデータ） (2025-03-24T20:38:42Z)
• Towards Invisible Backdoor Attack on Text-to-Image Diffusion Model [70.03122709795122]
  テキストと画像の拡散モデルをターゲットにしたバックドア攻撃が急速に進んでいる。 現在のバックドアサンプルは良性サンプルと比較して2つの重要な異常を示すことが多い。 Invisible Backdoor Attack (IBA) を提案する。
  論文  参考訳（メタデータ） (2025-03-22T10:41:46Z)
• Reasoning-Augmented Conversation for Multi-Turn Jailbreak Attacks on Large Language Models [53.580928907886324]
  Reasoning-Augmented Conversationは、新しいマルチターンジェイルブレイクフレームワークである。 有害なクエリを良心的な推論タスクに再構成する。 RACEは,複雑な会話シナリオにおいて,最先端攻撃の有効性を実現する。
  論文  参考訳（メタデータ） (2025-02-16T09:27:44Z)
• Retrievals Can Be Detrimental: A Contrastive Backdoor Attack Paradigm on Retrieval-Augmented Diffusion Models [37.66349948811172]
  拡散モデル (DM) は近年, 顕著な生成能力を示した。 近年の研究では、高度な検索・拡張生成(RAG)技術によってDMが強化されている。 RAGは、モデルパラメータを著しく低減しつつ、DMの生成と一般化能力を向上させる。 大きな成功にもかかわらず、RAGはさらなる調査を保証できる新しいセキュリティ問題を導入するかもしれない。
  論文  参考訳（メタデータ） (2025-01-23T02:42:28Z)
• Playing Devil's Advocate: Unmasking Toxicity and Vulnerabilities in Large Vision-Language Models [0.4948270494088624]
  大きなビジョンランゲージモデルは、特に潜在的に有害または安全でない応答を発生させる脆弱性を示す。 悪意のあるアクターは、これらの脆弱性を利用して、有害なコンテンツを自動(または半)で伝播することができる。 本研究では,LLaVA,InstructBLIP,Fuyu,QwenなどのオープンソースのLVLMの脆弱性を系統的に検討する。
  論文  参考訳（メタデータ） (2025-01-14T21:27:40Z)
• Risk-Averse Finetuning of Large Language Models [15.147772383812313]
  本稿では,有害なアウトプットの発生を最小限に抑えるため,リスク回避の原則をLarge Language Models (LLMs) に組み込むことを提案する。 感情修正と毒性軽減タスクの実証評価は、人間のフィードバックによるリスク-逆強化学習の有効性を示す。
  論文  参考訳（メタデータ） (2025-01-12T19:48:21Z)
• Retention Score: Quantifying Jailbreak Risks for Vision Language Models [60.48306899271866]
  VLM(Vision-Language Models)はLarge Language Models (LLM)と統合され、マルチモーダル機械学習機能を強化する。 本研究の目的は, モデル安全コンプライアンスを損なう可能性のある脱獄攻撃に対するVLMのレジリエンスを評価し, 有害な出力をもたらすことにある。 逆入力摂動に対するVLMの頑健性を評価するために,textbfRetention Scoreと呼ばれる新しい指標を提案する。
  論文  参考訳（メタデータ） (2024-12-23T13:05:51Z)
• The Dark Side of Human Feedback: Poisoning Large Language Models via User Inputs [8.449922248196705]
  我々は,アライメントトレーニング保護を貫くために,ユーザから供給されるプロンプトを介して,微妙ながら効果的な毒殺攻撃を行う。 我々の攻撃は、ブラックボックス設定における目標LLMの明示的な知識がなくても、報酬フィードバック機構を微妙に変更する。 これらの特殊なプロンプトの1%をデータに注入することにより、悪意のあるユーザを通して、特定のトリガーワードを使用する場合の毒性スコアを最大2倍に向上させる。
  論文  参考訳（メタデータ） (2024-09-01T17:40:04Z)
• ASTPrompter: Weakly Supervised Automated Language Model Red-Teaming to Identify Low-Perplexity Toxic Prompts [31.481630330369427]
  筆者らは,レッドピーキングの強化学習式を提案し,ディフェンダーから有害な出力を誘発し,ディフェンダーが測定したパープレキシティが低いことを示唆する。 我々の政策は競争力があり、モデルスケールのベースラインよりも2～23倍高いレートでディフェンダー毒性を誘導するプロンプトを生成する。 本手法は毒性が5.4～14倍のブラックボックス攻撃を発生させる。
  論文  参考訳（メタデータ） (2024-07-12T17:33:34Z)
• Jailbreaking as a Reward Misspecification Problem [80.52431374743998]
  本稿では,この脆弱性をアライメントプロセス中に不特定性に対処する新たな視点を提案する。 本稿では,報酬の相違の程度を定量化し,その有効性を実証する指標ReGapを紹介する。 ReMissは、報酬ミスの空間で敵のプロンプトを生成する自動レッドチームリングシステムである。
  論文  参考訳（メタデータ） (2024-06-20T15:12:27Z)
• White-box Multimodal Jailbreaks Against Large Vision-Language Models [61.97578116584653]
  本稿では,テキストと画像のモダリティを併用して,大規模視覚言語モデルにおけるより広範な脆弱性のスペクトルを利用する,より包括的戦略を提案する。 本手法は,テキスト入力がない場合に,逆画像プレフィックスをランダムノイズから最適化し,有害な応答を多様に生成することから始める。 様々な有害な指示に対する肯定的な反応を誘発する確率を最大化するために、対向テキスト接頭辞を、対向画像接頭辞と統合し、共最適化する。
  論文  参考訳（メタデータ） (2024-05-28T07:13:30Z)
• Safeguarding Vision-Language Models Against Patched Visual Prompt Injectors [31.383591942592467]
  視覚言語モデル(VLM)は、視覚とテキストのデータを組み合わせて理解と相互作用を強化する革新的な方法を提供する。 パッチベースの敵攻撃は、物理的な視覚応用において最も現実的な脅威モデルと考えられている。 本研究では,スムージング技術に根ざした防御機構であるSmoothVLMを導入し,VLMをパッチ付き視覚プロンプトインジェクタの脅威から保護する。
  論文  参考訳（メタデータ） (2024-05-17T04:19:19Z)
• Towards Building a Robust Toxicity Predictor [13.162016701556725]
  本稿では, 有害なテキストサンプルを良性として予測するために, SOTAテキスト分類器に小さな単語レベルの摂動を導入し, 新たな逆攻撃であるtexttToxicTrapを提案する。 2つの新しい目標関数の設計により、ToxicTrapはマルチクラスおよびマルチラベルの有害言語検知器の弱点を特定することができる。
  論文  参考訳（メタデータ） (2024-04-09T22:56:05Z)
• RigorLLM: Resilient Guardrails for Large Language Models against Undesired Content [62.685566387625975]
  現在の緩和戦略は効果はあるものの、敵の攻撃下では弾力性がない。 本稿では,大規模言語モデルのための弾力性ガードレール(RigorLLM)について紹介する。
  論文  参考訳（メタデータ） (2024-03-19T07:25:02Z)
• Forcing Generative Models to Degenerate Ones: The Power of Data Poisoning Attacks [10.732558183444985]
  悪意のあるアクターは、望ましくない出力を生成することを目的とした中毒攻撃を通じて、大きな言語モデル(LLM)の脆弱性を隠蔽的に利用することができる。 本報告では, 様々な生成タスクにおいて, その有効性を評価するために, 様々な中毒技術について検討する。 本研究は, 微調整段階において, 全チューニングデータサンプルの1%程度を用いてLSMに毒を盛ることが可能であることを示す。
  論文  参考訳（メタデータ） (2023-12-07T23:26:06Z)
• Unveiling the Implicit Toxicity in Large Language Models [77.90933074675543]
  大きな言語モデル(LLM)のオープンエンドネスと、その優れた機能を組み合わせることで、悪意のある使用のために悪用された場合、新たな安全性上の問題が発生する可能性がある。 LLMは、単純なゼロショットプロンプトによる検出が極めて困難である様々な暗黙的な有毒な出力を生成することができることを示す。 我々は,LLMの暗黙的毒性をさらに誘発する強化学習(RL)に基づく攻撃法を提案する。
  論文  参考訳（メタデータ） (2023-11-29T06:42:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。