論文の概要: When Seeing Overrides Knowing: Visual Dominance and Deferral-Based Method for Personalized Safety in VLMs
- arxiv url: http://arxiv.org/abs/2609.04281v1
- Date: Thu, 03 Sep 2026 03:58:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-07 18:15:23.764566
- Title: When Seeing Overrides Knowing: Visual Dominance and Deferral-Based Method for Personalized Safety in VLMs
- Title（参考訳）: VLMにおける視覚的優位性とデフェラルに基づく個人化安全法
- Abstract要約: 視覚言語モデル(VLM)は、一般的に妥当な応答が特定のユーザにとって安全でない場合、ハイテイクな設定でデプロイされることが多い。
マルチモーダルシステムにおけるパーソナライズされた安全性の問題について検討し,MPS-Benchを紹介した。
我々は、ほとんど常に(86-99%)直接応答し、コンテキストの欠如を求めるのではなく、パーソナライズされた安全性において2.6/5を超えないことを発見した。
このメカニズムにより、双方向の相互変調を用いてクエリがいつ要求されるかを予測する軽量な入力モニタであるPRISMを提案する。
- 参考スコア（独自算出の注目度）: 54.95635713318535
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Vision-language models (VLMs) are increasingly deployed in high-stakes settings, where a response that is reasonable in general may still be unsafe for a particular user whose medical, emotional, or situational context is unknown to the model. We study this problem of personalized safety in multimodal systems and introduce MPS-Bench, a benchmark of 5,181 scenarios from 584 real-world images across 12 high-risk domains, each paired with a hidden user profile. Evaluating eight frontier VLMs, we find that they almost always respond directly (86-99%) rather than seek missing context, and none exceeds 2.6/5 on personalized safety. To understand why these failures arise, we analyze multimodal interactions and identify visual dominance: visual information enters text representations early and suppresses textual risk signals during multimodal fusion. Causal interventions reveal a two-stage mechanism in which visual affect is first transferred into the text stream in early layers and then shapes the final decision through this altered text representation, making late-stage internal remediation unreliable. Motivated by this mechanism, we propose PRISM, a lightweight input monitor that uses bidirectional cross-modal modulation to predict when a query is likely to require deferral. PRISM achieves 0.978 AUC and strictly dominates the safety-utility Pareto frontier across all tested models.
- Abstract（参考訳）: 視覚言語モデル(VLM)は、一般的に妥当な応答が、そのモデルに医学的、感情的、状況的コンテキストが不明な特定のユーザにとって安全でない場合が多い。
マルチモーダルシステムにおけるパーソナライズされた安全性の問題について検討し、12の高リスク領域にわたる584の現実世界画像から5,181のシナリオのベンチマークであるMPS-Benchを紹介する。
8つのフロンティアVLMを評価すると、ほとんど常に(86-99%)直接応答し、コンテキストの欠如を求めるのではなく、パーソナライズされた安全性において2.6/5を超えないことが分かる。
視覚情報は早期にテキスト表現を入力し、マルチモーダル融合時のテキストリスク信号を抑圧する。
因果的介入は、視覚的影響が初期の階層のテキストストリームに最初に転送され、この変更されたテキスト表現を通じて最終的な決定を形成する2段階のメカニズムを明らかにし、後期的な内部修復は信頼できない。
本機構を応用したPRISMは,双方向のモーダル変調を用いてクエリがいつ遅延を必要とするかを予測する軽量な入力モニタである。
PRISMは0.978 AUCを達成し、テストされた全てのモデルでパレートフロンティアを厳密に支配している。
関連論文リスト
- ReFrame: Evidence-Guided Test-Time Safety Alignment in Multimodal Large Language Models [19.730586833276032]
マルチモーダルな安全アライメント手法は、クロスモーダルなジェイルブレイク、セーフティ・アウェアネスの失敗、過敏な拒絶に対処する必要がある。
既存の方法は、しばしばリトレーニングや内部検査に依存し、デプロイされたクローズドソースMLLMに適用性を制限する。
本稿では,2つのエージェントが軽量なローカルにデプロイされたMLLMを共有する,トレーニング不要なマルチモーダル入力リフレーミングフレームワークであるReFrameを提案する。
論文 参考訳（メタデータ） (2026-08-21T13:47:21Z) - COMIC: Reference-Aware Safety Gating for Multimodal Large Language Models [9.772233159718601]
マルチモーダルな大言語モデル(MLLM)は、スクリーンショット、スキャンされた文書、図、その他の視覚的に接地された入力と対話するために、ますます使われるようになっている。
安全でない振る舞いは、モデルが局所化された視覚的ターゲットに要約、翻訳、追従のような明らかに良質な操作を結び付ける場合にのみ現れる。
MLLMのための参照対応プレジェネレーション安全ゲートであるCOMICを提案する。
論文 参考訳（メタデータ） (2026-08-18T00:45:29Z) - Robust Multimodal Safety via Conditional Decoding [52.92816441364308]
マルチモーダル大規模言語モデル(MLLM)は、有害なクエリが相互モーダル相互作用を悪用した場合、しばしば安全性の低下を経験する。
本稿では,MLLMの内部表現を利用して応答生成前の二項安全トークンを予測する,シンプルな条件付きデコード戦略であるCASAを提案する。
論文 参考訳（メタデータ） (2026-03-31T23:19:50Z) - CSR-Bench: A Benchmark for Evaluating the Cross-modal Safety and Reliability of MLLMs [10.42126976065225]
MLLM(Multimodal large language model)は、テキストと画像の相互作用を可能にする。
本稿では,クロスモーダル信頼性を評価するベンチマークであるCSR-Benchを紹介する。
我々は16の最先端MLLMを評価し,系統的な相互アライメントギャップを観察した。
論文 参考訳（メタデータ） (2026-02-03T08:49:44Z) - WaymoQA: A Multi-View Visual Question Answering Dataset for Safety-Critical Reasoning in Autonomous Driving [33.850069933308994]
安全クリティカルなシナリオにおける高レベルの推論は、依然として大きな課題である。
我々は、この課題に対処するために、マルチビューインプットを活用する新しいタスクとして安全批判推論を定義する。
複雑でリスクの高い運転シナリオをカバーする35,000の人手による質問応答ペアのデータセットであるQAを紹介する。
論文 参考訳（メタデータ） (2025-11-25T07:47:27Z) - DeLeaker: Dynamic Inference-Time Reweighting For Semantic Leakage Mitigation in Text-to-Image Models [55.30555646945055]
テキスト・ツー・イメージ(T2I)モデルはセマンティック・リークに対して脆弱である。
DeLeakerは、モデルのアテンションマップに直接介入することで、漏洩を緩和する軽量なアプローチである。
SLIMはセマンティックリークに特化した最初のデータセットである。
論文 参考訳（メタデータ） (2025-10-16T17:39:21Z) - DUAL-Bench: Measuring Over-Refusal and Robustness in Vision-Language Models [59.45605332033458]
安全メカニズムはバックファイアし、過剰な拒絶を引き起こし、モデルが過度に注意を払って良質な要求を減らします。
既存のベンチマークは、視覚的モダリティの過剰な拒絶に体系的に対処していない。
この設定は、命令が無害であるが付随する画像には有害な内容が含まれているというような、ユニークな課題をもたらす。
論文 参考訳（メタデータ） (2025-10-12T23:21:34Z) - Better Safe Than Sorry? Overreaction Problem of Vision Language Models in Visual Emergency Recognition [12.054081112688074]
VLM(Vision-Language Models)は、視覚的コンテンツを解釈する能力を示しているが、安全クリティカルなシナリオにおける信頼性はまだ十分に調査されていない。
本稿では,200枚の合成画像(100対)と50枚の実世界の画像(25対)からなる診断ベンチマークVERIを紹介する。
各緊急シーンは、人間の検証によって視覚的に似ているが安全なものとペアリングされる。
論文 参考訳（メタデータ） (2025-05-21T10:57:40Z) - SAFE-SIM: Safety-Critical Closed-Loop Traffic Simulation with Diffusion-Controllable Adversaries [94.84458417662407]
制御可能なクローズドループ安全クリティカルシミュレーションフレームワークであるSAFE-SIMを紹介する。
提案手法は,1)現実の環境を深く反映した現実的な長距離安全クリティカルシナリオの生成,2)より包括的でインタラクティブな評価のための制御可能な敵行動の提供,の2つの利点をもたらす。
複数のプランナにまたがるnuScenesとnuPlanデータセットを使用して、我々のフレームワークを実証的に検証し、リアリズムと制御性の両方の改善を実証した。
論文 参考訳（メタデータ） (2023-12-31T04:14:43Z) - Towards General Visual-Linguistic Face Forgery Detection [95.73987327101143]
ディープフェイクは現実的な顔操作であり、セキュリティ、プライバシー、信頼に深刻な脅威をもたらす可能性がある。
既存の方法は、このタスクを、デジタルラベルまたはマスク信号を使用して検出モデルをトレーニングするバイナリ分類として扱う。
本稿では, 微粒な文レベルのプロンプトをアノテーションとして用いた, VLFFD (Visual-Linguistic Face Forgery Detection) という新しいパラダイムを提案する。
論文 参考訳（メタデータ） (2023-07-31T10:22:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。