Fugu-MT 論文翻訳(概要): Visual Grounding Safety in Vision-Language Models

論文の概要: Visual Grounding Safety in Vision-Language Models

arxiv url: http://arxiv.org/abs/2610.05637v1
Date: Mon, 05 Oct 2026 00:14:23 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-10 12:23:01.191634
Title: Visual Grounding Safety in Vision-Language Models
Title（参考訳）: 視覚言語モデルにおける視覚的接地安全性
Abstract要約: 直接的害、社会的偏見、状況的安全の3つの安全性ベンチマークを用いて視覚的接地安全性について検討した。そこで本稿では, 接地形拒絶と機能接地データと自己蒸留ベニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグナグニグニグニグニグニグニグニグニグニグニグナグニグナグナグニグニグナグナグニグニグナグナグニグナグニグナグナグナグ
参考スコア（独自算出の注目度）: 7.559610397117627
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Vision-language models (VLMs) are increasingly trained to generate structured outputs like points and bounding boxes that downstream interfaces, agents, and robots can act on, yet safety alignment of this output channel has not been systematically analyzed. We study visual grounding safety by repurposing three safety benchmarks spanning direct harm (VLSU), social bias (BBQ-V), and situational safety (Asimov-2.0) into 15,401 matched pairs of harmful requests that differ only in the requested output: a free-text answer (VQA) or a grounding (point or bounding box). Across five VLMs, models that refuse a harmful request posed as a question often comply when the same request asks for a grounding: averaged over models, grounding refusal trails VQA refusal by 31-59 percentage points, depending on the domain, and safety system prompts do not close this gap. We propose a fine-tuning approach that combines grounding-form refusals with capability grounding data and self-distilled benign data to counter over-refusal. For Qwen3-VL-8B and VisionReasoner-7B, it improves grounding refusal by 77-95 percentage points on VLSU and BBQ-V and by 64-85 points on the held-out Asimov-2.0 domain, while also improving VQA refusal, preserving grounding capability, and keeping over-refusal limited. Representation analysis shows that fine-tuning moves harmful requests toward each model's refusal direction, most strongly for grounding, while leaving benign requests near the harmless reference.
Abstract（参考訳）: 視覚言語モデル(VLM)は、下流のインターフェイス、エージェント、ロボットが動作可能なポイントやバウンディングボックスのような構造化された出力を生成するように、ますます訓練されているが、この出力チャネルの安全アライメントは体系的に分析されていない。我々は、直接害(VLSU)、社会的バイアス(BBQ-V)、状況的安全(Asimov-2.0)の3つの安全基準を、要求された出力でのみ異なる有害な要求のペアであるフリーテキスト回答(VQA)またはグラウンド(ポイントまたはバウンディングボックス)に合わせることで、視覚的グラウンド安全性について検討した。 5つのVLM全体では、同じ要求がモデルよりも平均化され、拒否路VQAはドメインによって31-59ポイント減少し、安全システムはこのギャップを埋めない。そこで本稿では, 接地形拒絶と機能接地データと自己蒸留ベニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグナグニグニグニグニグニグニグニグニグニグニグニグナグニグナグナグニグナグニグナグナグニグニグナグニグナグニグナグナグナグニグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナ Qwen3-VL-8BとVisionReasoner-7Bでは、VLSUとBBQ-Vで77-95ポイント、Asimov-2.0ドメインで64-85ポイント、VQAの拒絶、接地能力の維持、オーバーリフレクションの制限を改善している。表現解析により、微調整は各モデルの拒絶方向に向かって有害な要求を移動させ、最も強固に接地し、無害な参照付近に良質な要求を残すことを示した。

関連論文リスト

Answer with Evidence: Consistency-Aware Grounded Visual Question Answering for Roadside Traffic Scenes [67.12965225696523]
RoadSceneVQA-Gは34.7Kの質問応答対のベンチマークである。 RoadSceneVQA-Gは34.7Kの質問応答対のベンチマークである。
論文参考訳（メタデータ） (2026-10-04T14:48:54Z)
EvoSafeHarness: Evolving Model- and Domain-Specific Harnesses for Securing Agents [74.54929751174289]
EvoSafeHarnessは、ターゲットドメイン内の凍結モデルのためのデプロイ可能なハーネスを合成する、安全固有の最適化フレームワークである。これは平均攻撃成功率を3.3ポイントのユーティリティコストで45.6%から10.0%に下げる。また、Agent-SafetyBenchでは、すべての犠牲者に対してベストスコアを獲得している。
論文参考訳（メタデータ） (2026-09-05T05:56:41Z)
Can Vision-Language Models Assess Proxemic Risk from Egocentric Robot Images? [0.0]
我々は、エゴセントリックなロボット画像の4つの危険レベルに分類する上で、3つの視覚言語モデル(VLM)を評価する。 textitInternVL, textitQwen-VL, textitSmolVLM は, 微細な確率論的推論や空間的グラウンドリングにおいて制限されている。
論文参考訳（メタデータ） (2026-08-12T18:47:43Z)
Can LLMs Reliably Self-Report Adversarial Prefills, and How? [9.80193616788089]
大規模言語モデル(LLM)は,良質なタスクに対して内観的能力を示すことを示す。本研究は,モデルが先行応答が逆プレフィル攻撃によって引き起こされたことを確実に認識できるかどうかを検討する。
論文参考訳（メタデータ） (2026-06-22T17:56:30Z)
Unpredictable Safety: Domain-Dependent Compliance and the Transparency Gap in Open-Weight LLMs [0.0]
オープンウェイトLLMにおけるドメイン依存型安全挙動について検討する。コンプライアンス率は14.7%(人身売買)から85.7%(監視設計)に変化している。その結果、現在の安全メカニズムには、信頼できるAIデプロイメントに必要な透明性と一貫性が欠如していることが示されている。
論文参考訳（メタデータ） (2026-06-01T22:41:32Z)
Auditing Frontier Vision-Language Models for Trustworthy Medical VQA: Grounding Failures, Format Collapse, and Domain Adaptation [4.177028541321909]
医療用VQAの5つの視覚言語モデル(VLM)を2つの信頼関連軸に沿って評価する。モデルは解剖学的および病理学的ターゲットを不十分にローカライズする。同じモデルをローカライズして回答するセルフグラウンドパイプラインは、VQAの精度を低下させる。
論文参考訳（メタデータ） (2026-04-30T11:11:47Z)
OOD-MMSafe: Advancing MLLM Safety from Harmful Intent to Hidden Consequences [64.01706941950489]
現在の安全パラダイムは、主に悪意のある意図や状況違反をターゲットとしている。我々は,自律型および実施型エージェントのロバスト展開に不可欠なパラダイムである,結果駆動型安全に向けた安全フロンティアのシフトを提案する。本稿では,トークンレベルの自己蒸留報酬の動的参照として,モデル固有の推論を統合したCASPO(Consequence-Aware Safety Policy Optimization)フレームワークを開発する。
論文参考訳（メタデータ） (2026-03-10T14:16:43Z)
Refusal Steering: Fine-grained Control over LLM Refusal Behaviour for Sensitive Topics [2.4839105527363574]
本稿では,大言語モデルの拒否動作を詳細に制御する推論時間手法であるRefusal Steeringを紹介する。有害なコンテンツの安全性を保ちつつ、政治的拒絶行為を除去できることを示す。
論文参考訳（メタデータ） (2025-12-18T14:43:04Z)
DUAL-Bench: Measuring Over-Refusal and Robustness in Vision-Language Models [59.45605332033458]
安全メカニズムはバックファイアし、過剰な拒絶を引き起こし、モデルが過度に注意を払って良質な要求を減らします。既存のベンチマークは、視覚的モダリティの過剰な拒絶に体系的に対処していない。この設定は、命令が無害であるが付随する画像には有害な内容が含まれているというような、ユニークな課題をもたらす。
論文参考訳（メタデータ） (2025-10-12T23:21:34Z)
SaFeR-VLM: Toward Safety-aware Fine-grained Reasoning in Multimodal Models [66.71948519280669]
MLRM(Multimodal Large Reasoning Models)は、クロスモーダルな推論を示すが、しばしば敵のプロンプトによる安全性のリスクを増幅する。既存の防御は主に出力レベルで動作し、推論プロセスを制約せず、モデルは暗黙のリスクに置かれる。 4つのコンポーネントを統合し,表面レベルのフィルタリングを超える動的かつ解釈可能な安全性決定をサポートするSaFeR-VLMを提案する。
論文参考訳（メタデータ） (2025-10-08T10:39:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。