論文の概要: SAVeS: Steering Safety Judgments in Vision-Language Models via Semantic Cues

• arxiv url: http://arxiv.org/abs/2603.19092v1
• Date: Thu, 19 Mar 2026 16:18:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-20 17:19:06.25916
• Title: SAVeS: Steering Safety Judgments in Vision-Language Models via Semantic Cues
• Title（参考訳）: SAVeS:セマンティックキューによる視覚言語モデルの安全判断
• Authors: Carlos Hinojosa, Clemens Grange, Bernard Ghanem,
• Abstract要約: 本研究では,視覚言語モデルにおけるマルチモーダル安全性の挙動を,単純な意味的手がかりによって評価できるかどうかを考察する。 シーン内容を変更することなく、テキスト、視覚、認知の介入を制御できるセマンティック・ステアリング・フレームワークを導入する。
• 参考スコア（独自算出の注目度）: 50.928203120795786
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-language models (VLMs) are increasingly deployed in real-world and embodied settings where safety decisions depend on visual context. However, it remains unclear which visual evidence drives these judgments. We study whether multimodal safety behavior in VLMs can be steered by simple semantic cues. We introduce a semantic steering framework that applies controlled textual, visual, and cognitive interventions without changing the underlying scene content. To evaluate these effects, we propose SAVeS, a benchmark for situational safety under semantic cues, together with an evaluation protocol that separates behavioral refusal, grounded safety reasoning, and false refusals. Experiments across multiple VLMs and an additional state-of-the-art benchmark show that safety decisions are highly sensitive to semantic cues, indicating reliance on learned visual-linguistic associations rather than grounded visual understanding. We further demonstrate that automated steering pipelines can exploit these mechanisms, highlighting a potential vulnerability in multimodal safety systems.
• Abstract（参考訳）: 視覚言語モデル(VLM)は、視覚的コンテキストに依存した、現実的および具体的環境にますます展開されている。 しかし、どのような視覚的証拠がこれらの判断を導くかは定かではない。 本稿では,VLMにおけるマルチモーダル安全行動が,単純なセマンティック・キューによって評価できるかどうかを考察する。 シーン内容を変更することなく、テキスト、視覚、認知の介入を制御できるセマンティック・ステアリング・フレームワークを導入する。 これらの効果を評価するために,SAVeSを提案する。SAVeSはセマンティックキュー下での状況的安全性のベンチマークであり,行動的拒絶,根拠的安全推論,虚偽の拒絶を分離する評価プロトコルである。 複数のVLMにわたる実験と、最先端のベンチマークにより、安全性の判断はセマンティック・キューに非常に敏感であることが示され、基礎的な視覚理解よりも学習された視覚言語関連に依存していることを示している。 さらに我々は、自動ステアリングパイプラインがこれらのメカニズムを活用できることを実証し、マルチモーダル安全システムにおける潜在的な脆弱性を強調した。

関連論文リスト

• Evolving Contextual Safety in Multi-Modal Large Language Models via Inference-Time Self-Reflective Memory [10.434155461003387]
  本稿では,コンテキスト安全評価のためのベンチマークであるMM-SafetyBench++を提案する。 各安全でない画像テキストペアに対して、最小限の変更で対応する安全なペアを構築する。 トレーニング不要のフレームワークであるEchoSafeも導入しています。
  論文  参考訳（メタデータ） (2026-03-16T18:32:26Z)
• Vision and language: Novel Representations and Artificial intelligence for Driving Scene Safety Assessment and Autonomous Vehicle Planning [2.1379801460200416]
  視覚言語モデル(VLM)は、視覚観察を自然言語の概念と整合させる強力な表現学習システムとして登場した。 本稿では、視覚言語表現が、認識、予測、計画パイプラインに統合された場合、シーンの安全性評価と意思決定をどのようにサポートするかを検討する。
  論文  参考訳（メタデータ） (2026-02-07T20:04:21Z)
• Semantic Misalignment in Vision-Language Models under Perceptual Degradation [2.9140696506330723]
  視覚知覚の制御下において視覚言語モデル(VLM)における意味的ミスアライメントについて検討する。 ダウンストリームVLMの動作に深刻な障害がみられ, 幻覚的対象の言及, 安全クリティカルな実体の欠落, 不整合性判定などが観察された。 以上の結果から,画素レベルのロバスト性とマルチモーダルなセマンティックな信頼性との明確な不一致が明らかとなり,現在のVLMシステムにとって重要な限界が浮き彫りになった。
  論文  参考訳（メタデータ） (2026-01-13T09:13:05Z)
• Investigating Safety Vulnerabilities of Large Audio-Language Models Under Speaker Emotional Variations [94.62792643569567]
  この研究は、話者の感情の役割を体系的に調査する。 複数の感情や強度にまたがって表現される悪意のある音声命令のデータセットを構築し、いくつかの最先端のLALMを評価する。 異なる感情は、様々なレベルの安全でない反応を誘発し、強度の影響は非単調であり、中性表現は最大のリスクを伴うことが多い。
  論文  参考訳（メタデータ） (2025-10-19T15:41:25Z)
• Self-Aware Safety Augmentation: Leveraging Internal Semantic Understanding to Enhance Safety in Vision-Language Models [21.961325147038867]
  大規模視覚言語モデル(LVLM)は、言語のみのバックボーンと比較して有害な入力に対して脆弱である。 我々はこれらの能力を、言語表現の安全性認識、意味理解、アライメントとして定義する。 これらの知見に触発され,従来の安全指向層に情報的意味表現を投影する技術である textbfSelf-Aware Safety Augmentation (SASA) を提案する。
  論文  参考訳（メタデータ） (2025-07-29T09:48:57Z)
• Multimodal Situational Safety [73.63981779844916]
  マルチモーダル・シチュエーション・セーフティ(Multimodal situational Safety)と呼ばれる新しい安全課題の評価と分析を行う。 MLLMが言語やアクションを通じても安全に応答するためには、言語クエリが対応する視覚的コンテキスト内での安全性への影響を評価する必要があることが多い。 我々は,現在のMLLMの状況安全性能を評価するためのマルチモーダル状況安全ベンチマーク(MSSBench)を開発した。
  論文  参考訳（メタデータ） (2024-10-08T16:16:07Z)
• SCANS: Mitigating the Exaggerated Safety for LLMs via Safety-Conscious Activation Steering [56.92068213969036]
  悪意のある命令から脅威を守るために、LLM(Large Language Models)には安全アライメントが不可欠である。 近年の研究では、過大な安全性の問題により、安全性に配慮したLCMは、良質な問い合わせを拒否する傾向にあることが明らかになっている。 過大な安全性の懸念を和らげるために,SCANS法を提案する。
  論文  参考訳（メタデータ） (2024-08-21T10:01:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。