論文の概要: Hazard or Anomaly? Evaluating VLMs for Understanding Dangers and Discrepancies
- arxiv url: http://arxiv.org/abs/2607.18325v1
- Date: Sat, 18 Jul 2026 02:24:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-22 19:05:05.182887
- Title: Hazard or Anomaly? Evaluating VLMs for Understanding Dangers and Discrepancies
- Title(参考訳): 危険か異常か : 危険と不一致を理解するためのVLMの評価
- Abstract要約: 視覚言語モデル(VLM)は複雑なシーンを解釈し、安全関連情報を伝える。
現在の評価では、しばしば二項決定(セーフ/アンセーフ)として危険認識を行う。
危険状態と異常状態とを明確に区別し,危険状態と異常状態とを別々に認識する。
- 参考スコア(独自算出の注目度): 3.227001704699474
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Modern safety-critical systems increasingly rely on human-robot interaction to reduce disaster risk and support decision-making during emergencies. Vision-Language Models (VLMs) are promising for these settings because they can interpret complex scenes and communicate safety-relevant information, but they still require careful evaluation to ensure reliable safety reasoning. In particular, current evaluations often frame danger recognition as a binary decision (Safe/Unsafe), making it unclear whether a model is identifying true physical hazards or merely reacting to unusual scene elements. We address this limitation by introducing an explicit distinction between hazard and anomaly, and by separately recognizing hazardous and anomalous states. We evaluate several state-of-the-art VLMs across two datasets and multiple prompting strategies to test whether this distinction changes model behavior. Our results show that VLMs frequently misinterpret anomalousness as hazardousness, revealing an over-reliance on contextual irregularity as a proxy for danger. We further show that explicitly separating anomaly from hazard provides a more informative evaluation of VLM safety reasoning and exposes failure modes that binary safety judgments can obscure. Our public dataset is available on Roboflow https://app.roboflow.com/vlm-in-context-anomaly-and-hazard-detection/camera-ready-roman-ds.
- Abstract(参考訳): 現代の安全クリティカルシステムは、災害リスクの低減と緊急時の意思決定を支援するために、人間とロボットの相互作用にますます依存している。
VLM(Vision-Language Models)は、複雑なシーンを解釈し、安全関連情報を伝達できるため、これらの設定に対して有望であるが、信頼性の高い安全推論を保証するためには、慎重な評価が必要である。
特に、現在の評価では、危険認識を二項決定(セーフ/アンセーフ)として表すことが多く、モデルが真の物理的危険を識別しているか、あるいは、異常なシーン要素にのみ反応しているかがはっきりしない。
本研究は,危険と異常とを明確に区別し,危険と異常の状態を別々に認識することで,この制限に対処する。
2つのデータセットにまたがるいくつかの最先端のVLMを評価し、この区別がモデル動作を変えるかどうかをテストするための複数の戦略を提案する。
以上の結果から, VLMは異常を危険であると誤解し, 危険の指標としてコンテキスト不規則を過度に信頼していることが判明した。
さらに、危険から異常を明示的に分離することは、VLMの安全性推論をより情報的に評価し、二項安全性判断が不明瞭な障害モードを明らかにすることを示している。
私たちの公開データセットはRoboflow https://app.roboflow.com/vlm-in-context-anomaly-and-hazard-detection/camera-ready-roman-dsで公開されています。
関連論文リスト
- When Seeing Overrides Knowing: Visual Dominance and Deferral-Based Method for Personalized Safety in VLMs [54.95635713318535]
視覚言語モデル(VLM)は、一般的に妥当な応答が特定のユーザにとって安全でない場合、ハイテイクな設定でデプロイされることが多い。
マルチモーダルシステムにおけるパーソナライズされた安全性の問題について検討し,MPS-Benchを紹介した。
我々は、ほとんど常に(86-99%)直接応答し、コンテキストの欠如を求めるのではなく、パーソナライズされた安全性において2.6/5を超えないことを発見した。
このメカニズムにより、双方向の相互変調を用いてクエリがいつ要求されるかを予測する軽量な入力モニタであるPRISMを提案する。
論文 参考訳(メタデータ) (2026-09-03T03:58:56Z) - EgoSafetyBench: A Diagnostic Egocentric Video Benchmark for Evaluating Embodied VLMs as Runtime Safety Guards [4.6400797556929545]
視覚言語モデル (VLM) は、住宅や工場で実施するエージェントの安全ガードとして提案されている。
我々はEgoSafetyBenchを紹介した。EgoSafetyBenchは、1200のロボットビューシナリオを半秒の粒度でアノテートしたエゴセントリックなビデオベンチマークである。
警備員は、危険を含むビデオを確実に認識する一方で、特定の危険瞬間を見逃すことがよくあります。
論文 参考訳(メタデータ) (2026-06-30T21:50:49Z) - SafetyALFRED: Evaluating Safety-Conscious Planning of Multimodal Large Language Models [46.968844120076916]
実装エージェントベンチマークALFRED上に構築されたSafetyALFREDを紹介し,実際のキッチンハザードの6つのカテゴリを拡張した。
我々は,リスク認識だけでなく,具体的計画によるアクティブなリスク軽減についても,11種類の最先端モデルを評価した。
論文 参考訳(メタデータ) (2026-04-21T16:27:20Z) - HazardArena: Evaluating Semantic Safety in Vision-Language-Action Models [87.35765363039638]
本研究では,視覚・言語・アクションモデルのセマンティック安全性を評価するためのベンチマークであるHazardArenaを紹介する。
安全シナリオに特化してトレーニングされたVLAモデルは、対応する安全でないシナリオで評価された場合、安全に動作しないことが多い。
本研究では,セマンティック属性や視覚言語判断を用いた行動実行を制約する,トレーニングフリーの安全オプション層を提案する。
論文 参考訳(メタデータ) (2026-04-14T08:32:02Z) - Uncertainty-Aware Vision-based Risk Object Identification via Conformal Risk Tube Prediction [7.840136094141999]
既存のアプローチは意思決定を行い、不確実性を無視します。
これらの課題にもかかわらず、現在の手法には、空間と時間にわたって共同でリスクの不確実性をモデル化する原則的な枠組みが欠如している。
本稿では, リスクの原則的不確実性を把握し, 真のリスクに対するカバレッジ保証を提供し, 不確実性を考慮した校正リスクスコアを生成するコンフォーマルリスク予測統一定式化を提案する。
論文 参考訳(メタデータ) (2026-03-25T04:13:42Z) - SAVeS: Steering Safety Judgments in Vision-Language Models via Semantic Cues [50.928203120795786]
本研究では,視覚言語モデルにおけるマルチモーダル安全性の挙動を,単純な意味的手がかりによって評価できるかどうかを考察する。
シーン内容を変更することなく、テキスト、視覚、認知の介入を制御できるセマンティック・ステアリング・フレームワークを導入する。
論文 参考訳(メタデータ) (2026-03-19T16:18:00Z) - Safety Not Found (404): Hidden Risks of LLM-Based Robotics Decision Making [12.400383981686801]
安全クリティカルな環境でのAIシステムによる1つの間違いは、命がかかる可能性がある。
大きな言語モデル(LLM)がロボットの意思決定に不可欠なものになると、リスクの物理的次元が大きくなる。
本稿では,軽微な誤りであっても破滅的なシナリオにおいて,LCMの性能を体系的に評価する緊急的必要性について論じる。
論文 参考訳(メタデータ) (2026-01-09T05:04:15Z) - AGENTSAFE: Benchmarking the Safety of Embodied Agents on Hazardous Instructions [64.85086226439954]
本稿では,有害な指示に対するVLMエージェントの安全性を評価するためのベンチマークであるSAFEを提案する。
SAFEは、SAFE−THOR、SAFE−VERSE、SAFE−DIAGNOSEの3つの成分からなる。
我々は、ハザード認識を安全な計画と実行に翻訳する体系的な失敗を明らかにする。
論文 参考訳(メタデータ) (2025-06-17T16:37:35Z) - Better Safe Than Sorry? Overreaction Problem of Vision Language Models in Visual Emergency Recognition [12.054081112688074]
VLM(Vision-Language Models)は、視覚的コンテンツを解釈する能力を示しているが、安全クリティカルなシナリオにおける信頼性はまだ十分に調査されていない。
本稿では,200枚の合成画像(100対)と50枚の実世界の画像(25対)からなる診断ベンチマークVERIを紹介する。
各緊急シーンは、人間の検証によって視覚的に似ているが安全なものとペアリングされる。
論文 参考訳(メタデータ) (2025-05-21T10:57:40Z) - Towards a Multi-Agent Vision-Language System for Zero-Shot Novel Hazardous Object Detection for Autonomous Driving Safety [0.0]
視覚言語推論とゼロショットオブジェクト検出を統合したマルチモーダル手法を提案する。
予測ハザードとバウンディングボックスアノテーションを一致させるために,OpenAIのCLIPモデルを取り入れたオブジェクト検出を改良する。
その結果,現在の視覚言語に基づくアプローチの長所と短所が明らかになった。
論文 参考訳(メタデータ) (2025-04-18T01:25:02Z) - A Counterfactual Safety Margin Perspective on the Scoring of Autonomous
Vehicles' Riskiness [52.27309191283943]
本稿では,異なるAVの行動のリスクを評価するためのデータ駆動型フレームワークを提案する。
本稿では,衝突を引き起こす可能性のある名目行動から最小限の偏差を示す,対実的安全マージンの概念を提案する。
論文 参考訳(メタデータ) (2023-08-02T09:48:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。