論文の概要: EgoSafetyBench: A Diagnostic Egocentric Video Benchmark for Evaluating Embodied VLMs as Runtime Safety Guards
- arxiv url: http://arxiv.org/abs/2607.00218v1
- Date: Tue, 30 Jun 2026 21:50:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-02 19:56:07.649035
- Title: EgoSafetyBench: A Diagnostic Egocentric Video Benchmark for Evaluating Embodied VLMs as Runtime Safety Guards
- Title（参考訳）: EgoSafetyBench: 自家用VLMをランタイムセーフガードとして評価するための診断エゴセントリックビデオベンチマーク
- Abstract要約: 視覚言語モデル (VLM) は、住宅や工場で実施するエージェントの安全ガードとして提案されている。
我々はEgoSafetyBenchを紹介した。EgoSafetyBenchは、1200のロボットビューシナリオを半秒の粒度でアノテートしたエゴセントリックなビデオベンチマークである。
警備員は、危険を含むビデオを確実に認識する一方で、特定の危険瞬間を見逃すことがよくあります。
- 参考スコア（独自算出の注目度）: 4.6400797556929545
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Vision-language models (VLMs) are now proposed as runtime safety guards for embodied agents in homes and factories. A deployable guard must catch genuinely unsafe situations while avoiding unnecessary intervention on routine but superficially alarming activity, a distinction that binary safety benchmarks obscure. We introduce EgoSafetyBench, an egocentric video benchmark of 1,200 robot-view scenarios annotated at half-second granularity, to evaluate VLMs as streaming guards across two tracks. The situational track (800 scenarios) spans four families, from routine and safe-but-suspicious scenes to obvious and contextual hazards. The visual-channel track (400 scenarios) targets in-scene text-a sign, sticker, or label visible in the scene-that can misrepresent the physical situation, pairing each misleading sign with a truthful version to test both whether a guard flags the text as misleading and whether the text corrupts its physical-safety judgment. Both tracks use contrastive ladders: near-identical scenarios differing only in a single visible deciding cue, so a correct call must hinge on that cue rather than the overall scene type. We evaluate ten open- and closed-source VLMs. We find that while guards reliably recognize videos containing hazards, they often miss specific hazardous moments, particularly contextual hazards. Furthermore, misleading in-scene signs degrade all tested guards: vulnerable models miss up to a third of hazards, while robust models over-intervene on safe content. Matched controls reveal that apparent safety robustness often reflects indiscriminate alarming rather than true physical reasoning.
- Abstract（参考訳）: ヴィジュアル言語モデル(VLM)は、現在、住宅や工場におけるエンボディエージェントのランタイム安全ガードとして提案されている。
デプロイ可能なガードは、ルーチンの不要な介入を回避しながら、真に安全でない状況をキャッチしなければなりません。
半秒の粒度でアノテートされた1200のロボットビューシナリオのエゴセントリックなビデオベンチマークであるEgoSafetyBenchを導入し、VLMを2トラックにわたるストリーミングガードとして評価する。
状況追跡(800のシナリオ)は、日常的な場面から安全だが目立たしいシーンから、明白で文脈上の危険まで、4つのファミリーにまたがる。
ビジュアルチャネルトラック(400シナリオ)は、現場で見えるテキスト・ア・サイン、ステッカー、ラベルをターゲットとしており、これは物理的状況を誤って表現し、各誤解を招くサインと真正なバージョンをペアリングして、ガードがテキストを誤解を招き、テキストが物理的安全判断を損なうかどうかをテストする。
両方のトラックは対照的なはしごを使用する: ほぼ同一のシナリオは、単一の可視的決定キューでのみ異なるため、全体のシーンタイプではなく、正しい呼び出しがそのキューにヒンジしなければならない。
10個のオープンソースVLMとクローズドソースVLMを評価した。
監視員は、危険を含む映像を確実に認識するが、特定の危険瞬間、特に文脈上の危険を見逃すことがしばしばある。
脆弱性のあるモデルはリスクの3分の1を逃し、堅牢なモデルは安全なコンテンツに過度に介入する。
一致した制御により、明らかな安全性の堅牢性は、真の物理的推論よりも無差別な警報を反映していることが明らかになった。
関連論文リスト
- When Seeing Overrides Knowing: Visual Dominance and Deferral-Based Method for Personalized Safety in VLMs [54.95635713318535]
視覚言語モデル(VLM)は、一般的に妥当な応答が特定のユーザにとって安全でない場合、ハイテイクな設定でデプロイされることが多い。
マルチモーダルシステムにおけるパーソナライズされた安全性の問題について検討し,MPS-Benchを紹介した。
我々は、ほとんど常に(86-99%)直接応答し、コンテキストの欠如を求めるのではなく、パーソナライズされた安全性において2.6/5を超えないことを発見した。
このメカニズムにより、双方向の相互変調を用いてクエリがいつ要求されるかを予測する軽量な入力モニタであるPRISMを提案する。
論文 参考訳（メタデータ） (2026-09-03T03:58:56Z) - GuardianBench: A Same-Scene Instruction-Contrastive Benchmark for Latent Contextual Risk in Embodied AI [33.22835977135006]
具体化されたAIでは、良心的な指示と安全なシーンが構成された場合にのみ危険になる、安全リスクが潜む。
GuardianBenchは、国際安全基準に基づくインストラクションコントラストベンチマークである。
最先端のビジョン言語モデル(VLM)のベンチマークでは、命令に敏感な検証が明らかにされている。
論文 参考訳（メタデータ） (2026-08-22T11:40:27Z) - From Sports to Safety: Benchmarking Proactive Risk Inference in MLLMs [11.582231928519754]
SPRINT (Sports Proactive Risk Inference Testbed) は、14のスポーツと3つの環境設定にまたがる2,888の現実世界のスポーツビデオ(2,440の事故、448の安全制御)のベンチマークである。
事故ビデオには、早期の危険状況、事故のタイミング、階層的な原因の微妙なアノテーションがあり、安全なビデオは事故のないものとして手動で検証され、即発の誤報を診断するのに役立つ。
論文 参考訳（メタデータ） (2026-08-06T03:25:39Z) - Hazard or Anomaly? Evaluating VLMs for Understanding Dangers and Discrepancies [3.227001704699474]
視覚言語モデル(VLM)は複雑なシーンを解釈し、安全関連情報を伝える。
現在の評価では、しばしば二項決定(セーフ/アンセーフ)として危険認識を行う。
危険状態と異常状態とを明確に区別し,危険状態と異常状態とを別々に認識する。
論文 参考訳（メタデータ） (2026-07-18T02:24:06Z) - PaSBench-Video: A Streaming Video Benchmark for Proactive Safety Warning [54.70033525672316]
ビデオ対応の大型言語モデル(MLLM)は、このウィンドウ内で警告を発する常時オンの安全モニタとして機能する。
今回紹介するPaSBench-Videoは、481のリスクと4つのドメインにわたる259のリスクビデオを備えた740のビデオベンチマークだ。
最も厳密な基準ではモデルが20.0%を超えることはなく、リコールは偽陽性率と強く結びついている。
論文 参考訳（メタデータ） (2026-06-01T16:14:01Z) - Discovering Agentic Safety Specifications from 1-Bit Danger Signals [6.599344783327054]
EPO-Safeは、エージェントが反復的にアクションプランを生成し、スパースバイナリ警告を受け取り、リフレクションを通じて自然言語の振る舞い仕様を進化させるフレームワークである。
EPO-Safeは、構造化された低次元環境において、厳格に貧弱な信号から安全推論を行うことができることを示す。
標準的な報酬駆動リフレクションは安全性を積極的に低下させ、リフレクションを専用の安全チャンネルと組み合わせなければならないことを示す。
論文 参考訳（メタデータ） (2026-04-25T08:35:36Z) - HazardArena: Evaluating Semantic Safety in Vision-Language-Action Models [87.35765363039638]
本研究では,視覚・言語・アクションモデルのセマンティック安全性を評価するためのベンチマークであるHazardArenaを紹介する。
安全シナリオに特化してトレーニングされたVLAモデルは、対応する安全でないシナリオで評価された場合、安全に動作しないことが多い。
本研究では,セマンティック属性や視覚言語判断を用いた行動実行を制約する,トレーニングフリーの安全オプション層を提案する。
論文 参考訳（メタデータ） (2026-04-14T08:32:02Z) - SAVeS: Steering Safety Judgments in Vision-Language Models via Semantic Cues [50.928203120795786]
本研究では,視覚言語モデルにおけるマルチモーダル安全性の挙動を,単純な意味的手がかりによって評価できるかどうかを考察する。
シーン内容を変更することなく、テキスト、視覚、認知の介入を制御できるセマンティック・ステアリング・フレームワークを導入する。
論文 参考訳（メタデータ） (2026-03-19T16:18:00Z) - RoboSafe: Safeguarding Embodied Agents via Executable Safety Logic [56.38397499463889]
視覚言語モデル(VLM)を利用するエージェントは、複雑な現実世界のタスクを実行する能力がますます高まっている。
しかし、安全でない行動を引き起こす可能性のある危険な指示に弱いままである。
提案するRoboSafeは,実行可能述語ベースの安全ロジックを通じて,エージェントを具体化するためのランタイムセーフガードである。
論文 参考訳（メタデータ） (2025-12-24T15:01:26Z) - HoliSafe: Holistic Safety Benchmarking and Modeling for Vision-Language Model [58.12612140992874]
我々は、安全で安全でない5つの画像テキストの組み合わせにまたがる、全体的な安全データセットとベンチマークである textbfHoliSafeを紹介した。
また,入力画像の有害性を評価するために,視覚ガードモジュール(VGM)を用いて,VLMの安全性を高めるための新しいモジュラーフレームワークを提案する。
実験により、HoliSafeでトレーニングされたVGMを使用したSafe-VLMは、複数のVLMベンチマークで最先端の安全性能を実現していることがわかった。
論文 参考訳（メタデータ） (2025-06-05T07:26:34Z) - Better Safe Than Sorry? Overreaction Problem of Vision Language Models in Visual Emergency Recognition [12.054081112688074]
VLM(Vision-Language Models)は、視覚的コンテンツを解釈する能力を示しているが、安全クリティカルなシナリオにおける信頼性はまだ十分に調査されていない。
本稿では,200枚の合成画像(100対)と50枚の実世界の画像(25対)からなる診断ベンチマークVERIを紹介する。
各緊急シーンは、人間の検証によって視覚的に似ているが安全なものとペアリングされる。
論文 参考訳（メタデータ） (2025-05-21T10:57:40Z) - Video-SafetyBench: A Benchmark for Safety Evaluation of Video LVLMs [45.265397990158846]
Video-SafetyBenchは、ビデオテキスト攻撃下でのLVLMの安全性を評価するために設計された最初のベンチマークである。
ビデオテキストのペアは2,264で、48のきめ細かいアンセーフなカテゴリにまたがっている。
安全性評価のためのセマンティックなビデオを生成するために,ビデオ意味論を主題画像とモーションテキストに分解する制御可能なパイプラインを設計する。
論文 参考訳（メタデータ） (2025-05-17T05:06:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。