論文の概要: EviSafe: Evidence-Grounded Safety Evaluation for Vision-Language Models
- arxiv url: http://arxiv.org/abs/2608.23313v1
- Date: Mon, 24 Aug 2026 14:32:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-25 13:29:44.153186
- Title: EviSafe: Evidence-Grounded Safety Evaluation for Vision-Language Models
- Title（参考訳）: EviSafe:ビジョンランゲージモデルにおけるエビデンス回避型安全性評価
- Abstract要約: VLM安全性のためのエビデンス基盤フレームワークであるEviSafeを紹介する。
自然なユーザ向け行動、テキストおよび視覚的証拠の明確な根拠、および反事実的変化に対する行動感受性を共同で評価する。
EviSafeBenchは、フレームワークを1,181金の画像テキストシナリオで制御されたベンチマークとしてインスタンス化する。
- 参考スコア（独自算出の注目度）: 3.659020283346239
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Vision-language model safety benchmarks typically evaluate only final responses: whether a model refuses, warns, or complies. This outcome-level view cannot tell whether a model is safe for the right multimodal reason. Safelooking behavior may reflect keyword-triggered refusal, missed visual hazards, or over-refusal of benign-sensitive inputs. We introduce EviSafe, an evidence-grounded framework for VLM safety that jointly evaluates natural user-facing behavior, explicit grounding in textual and visual evidence, and behavioral sensitivity to counterfactual changes in safety-critical evidence. EviSafeBench instantiates the framework as a controlled benchmark with 1,181 gold image-text scenarios and 2,452 targeted counterfactual variants across eight safety domains and eight risk-source types. Each scenario includes a gold safety decision, evidence annotations, a safe-response policy, and counterfactual interventions. The three-probe protocol queries models with natural-response, evidencereporting, and counterfactual-response prompts, then scores them using an evidence-aware judge. Across eleven evaluated VLMs, natural severity accuracy ranges from 27.6% to 52.8%, relaxed diagnostic consistency from 6.1% to 29.3%, and unsafe-to-safe counterfactual transition success from 30.4% to 58.4%. These gaps show that the evaluated VLMs are not reliably safe for the right multimodal reason and motivate evaluation beyond refusal counts.
- Abstract（参考訳）: ビジョン言語モデルの安全性ベンチマークは、モデルが拒否、警告、または準拠するかどうかの最終的な応答のみを評価するのが一般的である。
この結果レベルのビューは、モデルが適切なマルチモーダルな理由に対して安全かどうかを判断できません。
安全な振る舞いは、キーワードでトリガーされた拒絶、視覚的ハザードの欠如、良識に敏感な入力の過剰な拒絶を反映する。
本稿では,VLM の安全性を実証するフレームワークである EviSafe について紹介する。
EviSafeBenchはこのフレームワークを,1,181のゴールドイメージテキストシナリオと,8つのセーフティドメインと8つのリスクソースタイプを対象とする2,452の偽物変異を備えた,コントロールされたベンチマークとしてインスタンス化する。
それぞれのシナリオには、金の安全判断、エビデンスアノテーション、安全責任ポリシー、および対実的介入が含まれる。
3段階のプロトコルクエリは、自然応答、エビデンスレポート、および反ファクト応答のプロンプトをモデルとし、エビデンス対応の裁判官を使ってそれらをスコアする。
11個の評価されたVLMのうち、自然重症度は27.6%から52.8%の範囲で、診断の一貫性は6.1%から29.3%に緩和され、安全でない反事実遷移は30.4%から58.4%に改善された。
これらのギャップは、評価されたVLMが適切なマルチモーダルな理由に対して確実に安全でないことを示し、拒絶数を超えた評価を動機付けている。
関連論文リスト
- SafeGesture: Evaluating Fine-Grained Hand Gesture Understanding in Vision-Language Models through Scenario-Conditioned Safety Interpretation [0.4779196219827507]
モデルが手の動きからシナリオに適した安全行動を推測できるかどうかを評価するベンチマークであるSafeGestureを紹介する。
5つのモデルのうち4つは、まれに、または決して不確実性ラベルを使用しず、失敗の方向はモデルによって大きく異なる。
その結果,ジェスチャー認識よりもシナリオ条件付き安全推論が主なボトルネックであることがわかった。
論文 参考訳（メタデータ） (2026-08-17T04:25:58Z) - ForesightSafety-VLA: A Unified Diagnostic Safety Benchmark for Vision-Language-Action Models [7.1396544907031165]
本稿では,視覚自明な動作(VLA)システムにおいて,安全性を主要な評価対象とする診断ベンチマークであるForesightSafety-VLAを紹介する。
物理的相互作用安全性(セーフコア)、命令側安全(セーフラング)、知覚側安全(セーフビジョン)を対象とする13カテゴリーの安全分類を定義する。
我々は,RoboTwinの66の安全拡張ベースシナリオを5つの実施形態でインスタンス化し,代表VLAベースラインについて報告する。
論文 参考訳（メタデータ） (2026-06-25T14:19:36Z) - Chain of Risk: Safety Failures in Large Reasoning Models and Mitigation via Adaptive Multi-Principle Steering [18.59581013500335]
大きな推論モデルは、透明性、検証、意図的な問題解決のためのチェーンオブ思考のような推論を公開する。
有害またはポリシー違反のコンテンツは、最終回答が安全に見える場合でも、トレースを推論して現れる可能性がある。
両段階を統一された20基の安全ルーリックの下で評価することにより, 最終回答の安全性が完全な推論・回答軌道の十分なプロキシであるかどうかを検証した。
論文 参考訳（メタデータ） (2026-05-07T05:12:56Z) - OOD-MMSafe: Advancing MLLM Safety from Harmful Intent to Hidden Consequences [64.01706941950489]
現在の安全パラダイムは、主に悪意のある意図や状況違反をターゲットとしている。
我々は,自律型および実施型エージェントのロバスト展開に不可欠なパラダイムである,結果駆動型安全に向けた安全フロンティアのシフトを提案する。
本稿では,トークンレベルの自己蒸留報酬の動的参照として,モデル固有の推論を統合したCASPO(Consequence-Aware Safety Policy Optimization)フレームワークを開発する。
論文 参考訳（メタデータ） (2026-03-10T14:16:43Z) - ProGuard: Towards Proactive Multimodal Safeguard [48.89789547707647]
ProGuardは視覚言語プロアクティブガードであり、アウト・オブ・ディストリビューション(OOD)の安全性リスクを特定し記述する。
まず,2次安全ラベルとリスクカテゴリの両方を付加した87Kサンプルのモダリティバランスデータセットを構築した。
次に、強化学習を通して視覚言語ベースモデルを純粋に訓練し、効率的かつ簡潔な推論を実現する。
論文 参考訳（メタデータ） (2025-12-29T16:13:23Z) - Think-Reflect-Revise: A Policy-Guided Reflective Framework for Safety Alignment in Large Vision Language Models [58.17589701432514]
Think-Reflect-Revise (TRR)は、LVLM(Large Vision Language Models)の安全性向上を目的としたトレーニングフレームワークである。
まず、リフレクティブセーフティ推論(ReSafe)データセットを5000の例で構築し、シンク・リフレクティブ・リフレクティブ・プロセスに従っています。
次に、ReSafeデータセットを用いてターゲットモデルを微調整し、反射行動の初期化を行い、最後に強化学習を通じてポリシー誘導反射を強化する。
論文 参考訳（メタデータ） (2025-12-08T03:46:03Z) - DUAL-Bench: Measuring Over-Refusal and Robustness in Vision-Language Models [59.45605332033458]
安全メカニズムはバックファイアし、過剰な拒絶を引き起こし、モデルが過度に注意を払って良質な要求を減らします。
既存のベンチマークは、視覚的モダリティの過剰な拒絶に体系的に対処していない。
この設定は、命令が無害であるが付随する画像には有害な内容が含まれているというような、ユニークな課題をもたらす。
論文 参考訳（メタデータ） (2025-10-12T23:21:34Z) - SaFeR-VLM: Toward Safety-aware Fine-grained Reasoning in Multimodal Models [66.71948519280669]
MLRM(Multimodal Large Reasoning Models)は、クロスモーダルな推論を示すが、しばしば敵のプロンプトによる安全性のリスクを増幅する。
既存の防御は主に出力レベルで動作し、推論プロセスを制約せず、モデルは暗黙のリスクに置かれる。
4つのコンポーネントを統合し,表面レベルのフィルタリングを超える動的かつ解釈可能な安全性決定をサポートするSaFeR-VLMを提案する。
論文 参考訳（メタデータ） (2025-10-08T10:39:12Z) - Better Safe Than Sorry? Overreaction Problem of Vision Language Models in Visual Emergency Recognition [12.054081112688074]
VLM(Vision-Language Models)は、視覚的コンテンツを解釈する能力を示しているが、安全クリティカルなシナリオにおける信頼性はまだ十分に調査されていない。
本稿では,200枚の合成画像(100対)と50枚の実世界の画像(25対)からなる診断ベンチマークVERIを紹介する。
各緊急シーンは、人間の検証によって視覚的に似ているが安全なものとペアリングされる。
論文 参考訳（メタデータ） (2025-05-21T10:57:40Z) - Can't See the Forest for the Trees: Benchmarking Multimodal Safety Awareness for Multimodal LLMs [56.440345471966666]
MLLM(Multimodal Large Language Models)は、テキストと画像の両方を通して対話を可能にすることで、従来の言語モデルの能力を拡大した。
MMSafeAwareは,安全シナリオ29のMLLMを評価するために設計された,初の総合的マルチモーダル安全意識ベンチマークである。
MMSafeAwareには安全でないサブセットと安全でないサブセットの両方が含まれており、安全でないコンテンツを正しく識別するモデルの評価と、有用性を阻害する過敏性を回避することができる。
論文 参考訳（メタデータ） (2025-02-16T16:12:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。