論文の概要: SafeCap: Improving LVLM Safety with Image Captioning Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2608.10513v1
- Date: Tue, 11 Aug 2026 05:37:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-12 19:14:45.91965
- Title: SafeCap: Improving LVLM Safety with Image Captioning Reinforcement Learning
- Title（参考訳）: SafeCap: イメージキャプション強化学習によるLVLMの安全性向上
- Abstract要約: 大規模な視覚言語モデル(LVLM)は、彼らの言語バックボーンから継承された安全アライメントをバイパスするために視覚入力を利用するジェイルブレイク攻撃に対して脆弱である。
我々は,学習した自己カプセル化を通じてLVLMを整列させる強化学習フレームワークであるSafeCapを提案する。
- 参考スコア（独自算出の注目度）: 43.08407333537426
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large vision-language models (LVLMs) remain vulnerable to jailbreak attacks that exploit visual inputs to bypass safety alignment inherited from their language backbones. We propose SafeCap, a reinforcement-learning framework that aligns LVLMs through learned self-captioning. SafeCap trains a policy model to first generate a safety-relevant image caption and then produce a final answer; the caption is further optimized by whether it enables a frozen LLM to reach a safety-aligned decision. This caption-mediated objective encourages the policy to expose visual cues relevant to safe response generation rather than relying solely on direct refusal supervision. Across five multimodal safety benchmarks and six vision-utility benchmarks, SafeCap substantially improves aggregate safety performance under its intended DirectCap protocol, with gains of 3.7-19.0 points in safety average across four model settings while maintaining comparable or improved vision utility. Under controlled comparisons on matched backbones and data, SafeCap outperforms safety SFT, DPO, and SafeGRPO, demonstrating the effectiveness of caption-mediated reinforcement learning for multimodal safety alignment.
- Abstract（参考訳）: 大規模な視覚言語モデル(LVLM)は、彼らの言語バックボーンから継承された安全アライメントをバイパスするために視覚入力を利用するジェイルブレイク攻撃に弱いままである。
我々は,学習した自己カプセル化を通じてLVLMを整列させる強化学習フレームワークであるSafeCapを提案する。
SafeCapは、最初に安全関連画像キャプションを生成して最終回答を生成するポリシーモデルをトレーニングする。
このキャプションを介する目的は、直接の拒絶監督にのみ依存するのではなく、安全な応答生成に関連する視覚的手がかりを公開することをポリシーに奨励する。
SafeCapは、5つのマルチモーダル安全性ベンチマークと6つのヴィジュアルユーティリティベンチマークで、意図したDirectCapプロトコルの下でのアグリゲート安全性能を大幅に改善し、4つのモデル設定で3.7-19.0ポイントの安全性向上と、同等または改善されたヴィジュアルユーティリティの維持を実現している。
一致するバックボーンとデータに対する制御された比較では、SafeCapは安全SFT、DPO、SafeGRPOよりも優れ、マルチモーダル安全アライメントのためのキャプションによる強化学習の有効性を示す。
関連論文リスト
- ForesightSafety-VLA: A Unified Diagnostic Safety Benchmark for Vision-Language-Action Models [7.1396544907031165]
本稿では,視覚自明な動作(VLA)システムにおいて,安全性を主要な評価対象とする診断ベンチマークであるForesightSafety-VLAを紹介する。
物理的相互作用安全性(セーフコア)、命令側安全(セーフラング)、知覚側安全(セーフビジョン)を対象とする13カテゴリーの安全分類を定義する。
我々は,RoboTwinの66の安全拡張ベースシナリオを5つの実施形態でインスタンス化し,代表VLAベースラインについて報告する。
論文 参考訳（メタデータ） (2026-06-25T14:19:36Z) - Towards Policy-Adaptive Image Guardrail: Benchmark and Method [21.041111216560545]
ヴィジュアル言語モデル(VLM)は動的安全ガードレールのより適応的で一般化可能な基盤を提供する。
既存のVLMベースの保護方法は、通常、固定された安全ポリシーのみの下で訓練され、評価される。
本稿では,ロバストなアンセーフイメージガードレールに対する報酬を検証可能な強化学習ベース手法であるSafeGuard-VLを紹介する。
論文 参考訳（メタデータ） (2026-03-01T18:59:21Z) - Think-Reflect-Revise: A Policy-Guided Reflective Framework for Safety Alignment in Large Vision Language Models [58.17589701432514]
Think-Reflect-Revise (TRR)は、LVLM(Large Vision Language Models)の安全性向上を目的としたトレーニングフレームワークである。
まず、リフレクティブセーフティ推論(ReSafe)データセットを5000の例で構築し、シンク・リフレクティブ・リフレクティブ・プロセスに従っています。
次に、ReSafeデータセットを用いてターゲットモデルを微調整し、反射行動の初期化を行い、最後に強化学習を通じてポリシー誘導反射を強化する。
論文 参考訳（メタデータ） (2025-12-08T03:46:03Z) - SafeR-CLIP: Mitigating NSFW Content in Vision-Language Models While Preserving Pre-Trained Knowledge [51.634837361795434]
SaFeR-CLIPは安全性と性能を調整し、以前の方法に比べて最大8.0%のゼロショット精度を回復する。
NSFW-Capsは、分散シフト下での安全性をテストするために、1000の高度に整合したペアの新しいベンチマークである。
論文 参考訳（メタデータ） (2025-11-20T19:00:15Z) - SafeGRPO: Self-Rewarded Multimodal Safety Alignment via Rule-Governed Policy Optimization [79.14563283347773]
マルチモーダルな大言語モデル (MLLM) は印象的な推論と命令追従能力を示した。
クロスモーダル結合は、個々の入力が良性である場合でも、安全でないセマンティクスを生成する。
自己回帰型マルチモーダル安全アライメントフレームワークであるSafeGRPOを提案する。
論文 参考訳（メタデータ） (2025-11-17T05:09:49Z) - SafeVision: Efficient Image Guardrail with Robust Policy Adherence and Explainability [49.074914896839466]
我々は,適応性と透明性を高めるために人間ライクな推論を統合する新しいイメージガードレールであるSafeVisionを紹介する。
提案手法には,効率的なデータ収集・生成フレームワーク,ポリシフォロートレーニングパイプライン,カスタマイズされた損失関数が組み込まれている。
SafeVisionは、異なるベンチマークで最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2025-10-28T00:35:59Z) - HoliSafe: Holistic Safety Benchmarking and Modeling for Vision-Language Model [58.12612140992874]
我々は、安全で安全でない5つの画像テキストの組み合わせにまたがる、全体的な安全データセットとベンチマークである textbfHoliSafeを紹介した。
また,入力画像の有害性を評価するために,視覚ガードモジュール(VGM)を用いて,VLMの安全性を高めるための新しいモジュラーフレームワークを提案する。
実験により、HoliSafeでトレーニングされたVGMを使用したSafe-VLMは、複数のVLMベンチマークで最先端の安全性能を実現していることがわかった。
論文 参考訳（メタデータ） (2025-06-05T07:26:34Z) - PSA-VLM: Enhancing Vision-Language Model Safety through Progressive Concept-Bottleneck-Driven Alignment [28.008884416277954]
本稿では,視覚的モダリティの安全性向上を目的とした,プログレッシブなコンセプトベースアライメント戦略であるPSA-VLMを提案する。
提案手法は,VLMの安全性ベンチマークにおいて,最先端の安全性を実現する。
論文 参考訳（メタデータ） (2024-11-18T13:01:57Z) - Safety Alignment for Vision Language Models [21.441662865727448]
安全モジュールの追加により視覚言語モデル(VLM)の視覚的モダリティ安全アライメントを強化する。
提案手法は使いやすさ,高い柔軟性,強力な制御性を備え,モデル全体の性能に最小限の影響を与えながら安全性を向上させる。
論文 参考訳（メタデータ） (2024-05-22T12:21:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。