論文の概要: Reinforced Diffuser for Red Teaming Large Vision-Language Models

• arxiv url: http://arxiv.org/abs/2503.06223v1
• Date: Sat, 08 Mar 2025 13:51:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-11 15:49:13.173882
• Title: Reinforced Diffuser for Red Teaming Large Vision-Language Models
• Title（参考訳）: 大規模ビジョンランゲージモデルのレッドチーム化のための強化ディフューザ
• Authors: Ruofan Wang, Xiang Zheng, Xiaosen Wang, Cong Wang, Xingjun Ma,
• Abstract要約: 現在のアライメントメカニズムは、有害なテキスト継続タスクによって引き起こされるリスクに対処できない。 本稿では、強化学習を活用して、有害な継続を効果的に誘発するレッドチーム画像を生成する新しいフレームワークを提案する。 我々の研究は、現実のアプリケーションにおけるVLMの安全な配置を保証するために、より堅牢で適応的なアライメント機構の必要性を緊急に強調している。
• 参考スコア（独自算出の注目度）: 27.68654681867373
• License:
• Abstract: The rapid advancement of large Vision-Language Models (VLMs) has raised significant safety concerns, particularly regarding their vulnerability to jailbreak attacks. While existing research primarily focuses on VLMs' susceptibility to harmful instructions, this work identifies a critical yet overlooked vulnerability: current alignment mechanisms often fail to address the risks posed by toxic text continuation tasks. To investigate this issue, we propose a novel Red Team Diffuser (RTD) framework, which leverages reinforcement learning to generate red team images that effectively induce highly toxic continuations from target black-box VLMs. The RTD pipeline begins with a greedy search for high-quality image prompts that maximize the toxicity of VLM-generated sentence continuations, guided by a Large Language Model (LLM). These prompts are then used as input for the reinforcement fine-tuning of a diffusion model, which employs toxicity and alignment rewards to further amplify harmful outputs. Experimental results demonstrate the effectiveness of RTD, increasing the toxicity rate of LLaVA outputs by 10.69% on the original attack set and 8.91% on a hold-out set. Moreover, RTD exhibits strong cross-model transferability, raising the toxicity rate by 5.1% on Gemini and 26.83% on LLaMA. These findings reveal significant deficiencies in existing alignment strategies, particularly their inability to prevent harmful continuations. Our work underscores the urgent need for more robust and adaptive alignment mechanisms to ensure the safe deployment of VLMs in real-world applications.
• Abstract（参考訳）: 大規模なビジョン・ランゲージ・モデル(VLM)の急速な進歩は、特に脱獄攻撃に対する脆弱性に関して、重大な安全上の懸念を提起している。 既存の研究は主に有害な命令に対するVLMの感受性に焦点が当てられているが、この研究は重大な脆弱性を特定している。 そこで本研究では,対象のブラックボックスVLMから高毒性連続を効果的に誘導するレッドチーム画像を生成するために,強化学習を活用する新しいRed Team Diffuser(RTD)フレームワークを提案する。 RTDパイプラインは、大言語モデル(LLM)によって導かれるVLM生成文継続の毒性を最大化する、高品質な画像の鮮やかな探索から始まる。 これらのプロンプトは、有害な出力をさらに増幅するために毒性とアライメント報酬を利用する拡散モデルの強化微調整の入力として使用される。 実験の結果、RTDの有効性が示され、LLaVA出力の毒性率が元の攻撃セットで10.69%増加し、ホールドアウトセットで8.91%上昇した。 さらにRTDは強いクロスモデル転写性を示し、ゲミニでは5.1%、LLaMAでは26.83%の毒性が上昇する。 これらの結果から,既存のアライメント戦略,特に有害な継続を防ぐ能力の欠如に有意な欠陥が認められた。 我々の研究は、現実のアプリケーションにおけるVLMの安全な配置を保証するために、より堅牢で適応的なアライメント機構の必要性を緊急に浮き彫りにしている。

関連論文リスト

• Reasoning-Augmented Conversation for Multi-Turn Jailbreak Attacks on Large Language Models [53.580928907886324]
  Reasoning-Augmented Conversationは、新しいマルチターンジェイルブレイクフレームワークである。 有害なクエリを良心的な推論タスクに再構成する。 RACEは,複雑な会話シナリオにおいて,最先端攻撃の有効性を実現する。
  論文  参考訳（メタデータ） (2025-02-16T09:27:44Z)
• Playing Devil's Advocate: Unmasking Toxicity and Vulnerabilities in Large Vision-Language Models [0.4948270494088624]
  大きなビジョンランゲージモデルは、特に潜在的に有害または安全でない応答を発生させる脆弱性を示す。 悪意のあるアクターは、これらの脆弱性を利用して、有害なコンテンツを自動(または半)で伝播することができる。 本研究では,LLaVA,InstructBLIP,Fuyu,QwenなどのオープンソースのLVLMの脆弱性を系統的に検討する。
  論文  参考訳（メタデータ） (2025-01-14T21:27:40Z)
• Risk-Averse Finetuning of Large Language Models [15.147772383812313]
  本稿では,有害なアウトプットの発生を最小限に抑えるため,リスク回避の原則をLarge Language Models (LLMs) に組み込むことを提案する。 感情修正と毒性軽減タスクの実証評価は、人間のフィードバックによるリスク-逆強化学習の有効性を示す。
  論文  参考訳（メタデータ） (2025-01-12T19:48:21Z)
• Exploring Visual Vulnerabilities via Multi-Loss Adversarial Search for Jailbreaking Vision-Language Models [92.79804303337522]
  VLM(Vision-Language Models)は、安全アライメントの問題に対して脆弱である。 本稿では、シナリオ認識画像生成を利用したセマンティックアライメントのための新しいジェイルブレイクフレームワークであるMLAIを紹介する。 大規模な実験はMLAIの重大な影響を示し、MiniGPT-4で77.75%、LLaVA-2で82.80%の攻撃成功率を達成した。
  論文  参考訳（メタデータ） (2024-11-27T02:40:29Z)
• Jailbreaking as a Reward Misspecification Problem [80.52431374743998]
  本稿では,この脆弱性をアライメントプロセス中に不特定性に対処する新たな視点を提案する。 本稿では,報酬の相違の程度を定量化し,その有効性を実証する指標ReGapを紹介する。 ReMissは、報酬ミスの空間で敵のプロンプトを生成する自動レッドチームリングシステムである。
  論文  参考訳（メタデータ） (2024-06-20T15:12:27Z)
• DiveR-CT: Diversity-enhanced Red Teaming Large Language Model Assistants with Relaxing Constraints [68.82294911302579]
  DiveR-CTを導入し、目的と意味の報酬に対する従来の制約を緩和し、多様性を高める政策により大きな自由を与える。 実験では,1)様々な攻撃成功率の多様な多様性指標において優れたデータを生成すること,2)収集したデータに基づく安全性チューニングによる青チームモデルのレジリエンスの向上,3)信頼性と制御可能な攻撃成功率に対する目標重みの動的制御,3)報酬過大化に対する感受性の低下など,ベースラインよりも優れたDiveR-CTの顕著な優位性を実証した。
  論文  参考訳（メタデータ） (2024-05-29T12:12:09Z)
• Safeguarding Vision-Language Models Against Patched Visual Prompt Injectors [31.383591942592467]
  視覚言語モデル(VLM)は、視覚とテキストのデータを組み合わせて理解と相互作用を強化する革新的な方法を提供する。 パッチベースの敵攻撃は、物理的な視覚応用において最も現実的な脅威モデルと考えられている。 本研究では,スムージング技術に根ざした防御機構であるSmoothVLMを導入し,VLMをパッチ付き視覚プロンプトインジェクタの脅威から保護する。
  論文  参考訳（メタデータ） (2024-05-17T04:19:19Z)
• RigorLLM: Resilient Guardrails for Large Language Models against Undesired Content [62.685566387625975]
  現在の緩和戦略は効果はあるものの、敵の攻撃下では弾力性がない。 本稿では,大規模言語モデルのための弾力性ガードレール(RigorLLM)について紹介する。
  論文  参考訳（メタデータ） (2024-03-19T07:25:02Z)
• Benchmarking and Defending Against Indirect Prompt Injection Attacks on Large Language Models [79.0183835295533]
  我々は,このような脆弱性のリスクを評価するために,BIPIAと呼ばれる間接的インジェクション攻撃のための最初のベンチマークを導入した。 我々の分析では、LLMが情報コンテキストと動作可能な命令を区別できないことと、外部コンテンツ内での命令の実行を回避できないことの2つの主要な要因を同定した。 ブラックボックスとホワイトボックスという2つの新しい防御機構と、これらの脆弱性に対処するための明確なリマインダーを提案する。
  論文  参考訳（メタデータ） (2023-12-21T01:08:39Z)
• Forcing Generative Models to Degenerate Ones: The Power of Data Poisoning Attacks [10.732558183444985]
  悪意のあるアクターは、望ましくない出力を生成することを目的とした中毒攻撃を通じて、大きな言語モデル(LLM)の脆弱性を隠蔽的に利用することができる。 本報告では, 様々な生成タスクにおいて, その有効性を評価するために, 様々な中毒技術について検討する。 本研究は, 微調整段階において, 全チューニングデータサンプルの1%程度を用いてLSMに毒を盛ることが可能であることを示す。
  論文  参考訳（メタデータ） (2023-12-07T23:26:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。