論文の概要: TSHA: A Benchmark for Visual Language Models in Trustworthy Safety Hazard Assessment Scenarios

• arxiv url: http://arxiv.org/abs/2603.29759v1
• Date: Tue, 31 Mar 2026 14:00:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-01 15:25:03.69914
• Title: TSHA: A Benchmark for Visual Language Models in Trustworthy Safety Hazard Assessment Scenarios
• Title（参考訳）: TSHA: 信頼できる安全リスク評価シナリオにおけるビジュアル言語モデルのベンチマーク
• Authors: Qiucheng Yu, Ruijie Xu, Mingang Chen, Xuequan Lu, Jianfeng Dong, Chaochao Lu, Xin Tan,
• Abstract要約: TSHA (textbfTrustworthy textbfSafety textbfHazards textbfAssessment) は、81,809個のトレーニングサンプルを慎重にキュレートした総合ベンチマークである。 このベンチマークセットには、複雑な安全シナリオにおけるモデルの堅牢性を評価するために使用される、1707のサンプルによる非常に難しいテストセットも含まれている。 TSHAトレーニングセットでトレーニングされたモデルは、TSHAテストセットで+18.3ポイントの大幅なパフォーマンス向上を達成する。
• 参考スコア（独自算出の注目度）: 44.39592692705693
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in vision-language models (VLMs) have accelerated their application to indoor safety hazards assessment. However, existing benchmarks suffer from three fundamental limitations: (1) heavy reliance on synthetic datasets constructed via simulation software, creating a significant domain gap with real-world environments; (2) oversimplified safety tasks with artificial constraints on hazard and scene types, thereby limiting model generalization; and (3) absence of rigorous evaluation protocols to thoroughly assess model capabilities in complex home safety scenarios. To address these challenges, we introduce TSHA (\textbf{T}rustworthy \textbf{S}afety \textbf{H}azards \textbf{A}ssessment), a comprehensive benchmark comprising 81,809 carefully curated training samples drawn from four complementary sources: existing indoor datasets, internet images, AIGC images, and newly captured images. This benchmark set also includes a highly challenging test set with 1707 samples, comprising not only a carefully selected subset from the training distribution but also newly added videos and panoramic images containing multiple safety hazards, used to evaluate the model's robustness in complex safety scenarios. Extensive experiments on 23 popular VLMs demonstrate that current VLMs lack robust capabilities for safety hazard assessment. Importantly, models trained on the TSHA training set not only achieve a significant performance improvement of up to +18.3 points on the TSHA test set but also exhibit enhanced generalizability across other benchmarks, underscoring the substantial contribution and importance of the TSHA benchmark.
• Abstract（参考訳）: 近年の視覚言語モデル (VLM) の進歩により, 室内の安全性評価への適用が加速している。 しかし,既存のベンチマークでは,(1)シミュレーションソフトウェアを用いて構築された合成データセットに強く依存し,現実世界環境とのドメインギャップを著しく形成する,(2)危険やシーンタイプに人為的制約を課す安全タスクを単純化し,モデル一般化を制限する,(3)複雑な住宅安全シナリオにおけるモデル機能を完全に評価する厳密な評価プロトコルが存在しない,という3つの基本的な制限が課されている。 これらの課題に対処するために、TSHA(\textbf{T}rustworthy \textbf{S}afety \textbf{H}azards \textbf{A}ssessments)を紹介した。 このベンチマークセットには、トレーニングディストリビューションから慎重に選択されたサブセットだけでなく、複数の安全リスクを含むビデオとパノラマ画像を含む、1707のサンプルを含む非常に困難なテストセットが含まれており、複雑な安全シナリオにおけるモデルの堅牢性を評価するために使用される。 23種類のVLMの大規模な実験により、現在のVLMは安全リスク評価のための堅牢な能力が欠如していることが示されている。 重要なことに、TSHAトレーニングセットでトレーニングされたモデルは、TSHAテストセットで+18.3ポイントの大幅なパフォーマンス向上を達成するだけでなく、TSHAベンチマークの相当な貢献と重要性を前提として、他のベンチマークで拡張された一般化性も示している。

関連論文リスト

• Automated Safety Benchmarking: A Multi-agent Pipeline for LVLMs [61.01470415470677]
  大規模視覚言語モデル(LVLM)は、クロスモーダルタスクにおいて顕著な能力を示すが、重大な安全性上の課題に直面している。 既存のベンチマークは、労働集約的な建設プロセス、静的な複雑さ、限定的な差別力によって妨げられている。 LVLMの安全性ベンチマークのための最初の自動システムであるVLSafetyBencherを提案する。
  論文  参考訳（メタデータ） (2026-01-27T11:51:30Z)
• SaFeR-VLM: Toward Safety-aware Fine-grained Reasoning in Multimodal Models [66.71948519280669]
  MLRM(Multimodal Large Reasoning Models)は、クロスモーダルな推論を示すが、しばしば敵のプロンプトによる安全性のリスクを増幅する。 既存の防御は主に出力レベルで動作し、推論プロセスを制約せず、モデルは暗黙のリスクに置かれる。 4つのコンポーネントを統合し,表面レベルのフィルタリングを超える動的かつ解釈可能な安全性決定をサポートするSaFeR-VLMを提案する。
  論文  参考訳（メタデータ） (2025-10-08T10:39:12Z)
• HoliSafe: Holistic Safety Benchmarking and Modeling for Vision-Language Model [58.12612140992874]
  我々は、安全で安全でない5つの画像テキストの組み合わせにまたがる、全体的な安全データセットとベンチマークである textbfHoliSafeを紹介した。 また,入力画像の有害性を評価するために,視覚ガードモジュール(VGM)を用いて,VLMの安全性を高めるための新しいモジュラーフレームワークを提案する。 実験により、HoliSafeでトレーニングされたVGMを使用したSafe-VLMは、複数のVLMベンチマークで最先端の安全性能を実現していることがわかった。
  論文  参考訳（メタデータ） (2025-06-05T07:26:34Z)
• Beyond Safe Answers: A Benchmark for Evaluating True Risk Awareness in Large Reasoning Models [29.569220030102986]
  textbfBeyond Safe Answers (BSA) ベンチは,3つの異なるSSAシナリオタイプに構成された2,000のチャレンジインスタンスからなる,新しいベンチマークである。 19の最先端のLEMの評価では、このベンチマークの難しさが示され、最高性能のモデルはリスクの合理性を正確に識別する上で、わずか38.0%の精度しか達成していない。 我々の研究は、LEMの安全性推論の忠実さを評価し改善するための総合的な評価ツールを提供し、真にリスクを意識し、確実に安全なAIシステムの開発を進める。
  論文  参考訳（メタデータ） (2025-05-26T08:49:19Z)
• ReasoningShield: Safety Detection over Reasoning Traces of Large Reasoning Models [20.274878511727945]
  ReasoningShieldは、Large Reasoning Models (LRMs)におけるChain-of-Thoughts (CoTs)をモデレートするためのフレームワークである ReasoningShieldは最新のパフォーマンスを実現し、LlamaGuard-4のようなタスク固有のツールを35.6%、GPT-4oのような汎用商用モデルを15.8%向上させた。
  論文  参考訳（メタデータ） (2025-05-22T19:44:41Z)
• Rethinking Bottlenecks in Safety Fine-Tuning of Vision Language Models [25.606641582511106]
  モデル性能を向上させるために,マルチイメージ入力と安全チェーン・オブ・ソート(CoT)ラベルを微粒な推論ロジックとして統合する新しいデータセットを提案する。 実験の結果,MISを用いた微調整InternVL2.5-8Bは,マルチイメージタスクに挑戦する上で,強力なオープンソースモデルとAPIベースモデルの両方を著しく上回っていることがわかった。
  論文  参考訳（メタデータ） (2025-01-30T17:59:45Z)
• Benchmarking Zero-Shot Robustness of Multimodal Foundation Models: A Pilot Study [61.65123150513683]
  CLIPのようなマルチモーダル基盤モデルは、最先端のゼロショット結果を生成する。 これらのモデルは、ImageNetでトレーニングされた教師付きモデルのパフォーマンスを一致させることで、ロバスト性ギャップを埋めることが報告されている。 CLIPは、ベンチマーク上の教師付きImageNetモデルと比較して、かなりの堅牢性低下をもたらすことを示す。
  論文  参考訳（メタデータ） (2024-03-15T17:33:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。