論文の概要: TSHA: A Benchmark for Visual Language Models in Trustworthy Safety Hazard Assessment Scenarios

• arxiv url: http://arxiv.org/abs/2603.29759v1
• Date: Tue, 31 Mar 2026 14:00:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-01 15:25:03.69914
• Title: TSHA: A Benchmark for Visual Language Models in Trustworthy Safety Hazard Assessment Scenarios
• Title（参考訳）: TSHA: 信頼できる安全リスク評価シナリオにおけるビジュアル言語モデルのベンチマーク
• Abstract要約: TSHA (textbfTrustworthy textbfSafety textbfHazards textbfAssessment) は、81,809個のトレーニングサンプルを慎重にキュレートした総合ベンチマークである。 このベンチマークセットには、複雑な安全シナリオにおけるモデルの堅牢性を評価するために使用される、1707のサンプルによる非常に難しいテストセットも含まれている。 TSHAトレーニングセットでトレーニングされたモデルは、TSHAテストセットで+18.3ポイントの大幅なパフォーマンス向上を達成する。
• 参考スコア（独自算出の注目度）: 44.39592692705693
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in vision-language models (VLMs) have accelerated their application to indoor safety hazards assessment. However, existing benchmarks suffer from three fundamental limitations: (1) heavy reliance on synthetic datasets constructed via simulation software, creating a significant domain gap with real-world environments; (2) oversimplified safety tasks with artificial constraints on hazard and scene types, thereby limiting model generalization; and (3) absence of rigorous evaluation protocols to thoroughly assess model capabilities in complex home safety scenarios. To address these challenges, we introduce TSHA (\textbf{T}rustworthy \textbf{S}afety \textbf{H}azards \textbf{A}ssessment), a comprehensive benchmark comprising 81,809 carefully curated training samples drawn from four complementary sources: existing indoor datasets, internet images, AIGC images, and newly captured images. This benchmark set also includes a highly challenging test set with 1707 samples, comprising not only a carefully selected subset from the training distribution but also newly added videos and panoramic images containing multiple safety hazards, used to evaluate the model's robustness in complex safety scenarios. Extensive experiments on 23 popular VLMs demonstrate that current VLMs lack robust capabilities for safety hazard assessment. Importantly, models trained on the TSHA training set not only achieve a significant performance improvement of up to +18.3 points on the TSHA test set but also exhibit enhanced generalizability across other benchmarks, underscoring the substantial contribution and importance of the TSHA benchmark.
• Abstract（参考訳）: 近年の視覚言語モデル (VLM) の進歩により, 室内の安全性評価への適用が加速している。 しかし,既存のベンチマークでは,(1)シミュレーションソフトウェアを用いて構築された合成データセットに強く依存し,現実世界環境とのドメインギャップを著しく形成する,(2)危険やシーンタイプに人為的制約を課す安全タスクを単純化し,モデル一般化を制限する,(3)複雑な住宅安全シナリオにおけるモデル機能を完全に評価する厳密な評価プロトコルが存在しない,という3つの基本的な制限が課されている。 これらの課題に対処するために、TSHA(\textbf{T}rustworthy \textbf{S}afety \textbf{H}azards \textbf{A}ssessments)を紹介した。 このベンチマークセットには、トレーニングディストリビューションから慎重に選択されたサブセットだけでなく、複数の安全リスクを含むビデオとパノラマ画像を含む、1707のサンプルを含む非常に困難なテストセットが含まれており、複雑な安全シナリオにおけるモデルの堅牢性を評価するために使用される。 23種類のVLMの大規模な実験により、現在のVLMは安全リスク評価のための堅牢な能力が欠如していることが示されている。 重要なことに、TSHAトレーニングセットでトレーニングされたモデルは、TSHAテストセットで+18.3ポイントの大幅なパフォーマンス向上を達成するだけでなく、TSHAベンチマークの相当な貢献と重要性を前提として、他のベンチマークで拡張された一般化性も示している。

関連論文リスト

• SafeAtlas-VL: Beyond Binary Multimodal Safety with Large-Scale Data and Guard Models [73.04773649437375]
  マルチモーダル・セーフティ・モデレーションは、視覚的コンテンツ、ユーザ意図、およびアシスタント行動から生じるリスクを区別する必要がある。 SafeAtlas-VLは、1.5Mのトレーニングインスタンスのデータセットで、画像、要求レベル、応答レベルを5段階の順序で判定する。 SafeAtlas-Benchは5段階の予測と継続的なリスクスコアを評価するための5000のインスタンスである。
  論文  参考訳（メタデータ） (2026-08-29T07:08:01Z)
• LIBERO-Safety: A Comprehensive Benchmark for Physical and Semantic Safety in Vision-Language-Action Models [41.877429133192514]
  包括性のある安全クリティカルシナリオを手続き的に生成するためのパラメトリック安全ベンチマークを導入する。 人間の遠隔操作のスケーラビリティを克服するため,新しいキー駆動型データ生成パイプラインを開発した。 スケーラブルなパイプライン、堅牢なデータセット、深い障害モードの洞察を提供することで、LIBERO-Safetyは安全で信頼性の高いVLAモデルを開発する上で重要な基盤を確立する。
  論文  参考訳（メタデータ） (2026-06-22T17:59:53Z)
• SABER: Benchmarking Operational Safety of LLM Coding Agents in Stateful Project Workspaces [18.650640826228862]
  SABERは、大規模言語モデルにおける環境に配慮した運用安全性のベンチマークである。 リアルなエージェントスタイルのプロジェクトにモデルを配置し、一連のアクションの後に最終環境状態から安全性を評価する。 評価の結果, 最高性能モデルでさえ, 54%以上の有害な安全違反率を有することが明らかとなった。
  論文  参考訳（メタデータ） (2026-05-31T16:06:02Z)
• Deliberative Alignment is Deep, but Uncertainty Remains: Inference time safety improvement in reasoning via attribution of unsafe behavior to base model [50.29667251847595]
  モデルサイズが大きく,安全性が向上しているにもかかわらず,教師と生徒の言語モデルの間にはアライメントギャップがあることが示される。 本稿では,不安全な動作を潜在空間のベースLLMに還元するBoNサンプリング手法を提案する。 特に7つの教師モデルと6つの生徒モデルが異なるクラスとサイズで、平均攻撃成功率(ASR)はDANで28.2%、WildJailbreakで31.3%、StrongREJECTベンチマークで35.4%低下した。
  論文  参考訳（メタデータ） (2026-04-01T02:42:41Z)
• Automated Safety Benchmarking: A Multi-agent Pipeline for LVLMs [61.01470415470677]
  大規模視覚言語モデル(LVLM)は、クロスモーダルタスクにおいて顕著な能力を示すが、重大な安全性上の課題に直面している。 既存のベンチマークは、労働集約的な建設プロセス、静的な複雑さ、限定的な差別力によって妨げられている。 LVLMの安全性ベンチマークのための最初の自動システムであるVLSafetyBencherを提案する。
  論文  参考訳（メタデータ） (2026-01-27T11:51:30Z)
• SaFeR-VLM: Toward Safety-aware Fine-grained Reasoning in Multimodal Models [66.71948519280669]
  MLRM(Multimodal Large Reasoning Models)は、クロスモーダルな推論を示すが、しばしば敵のプロンプトによる安全性のリスクを増幅する。 既存の防御は主に出力レベルで動作し、推論プロセスを制約せず、モデルは暗黙のリスクに置かれる。 4つのコンポーネントを統合し,表面レベルのフィルタリングを超える動的かつ解釈可能な安全性決定をサポートするSaFeR-VLMを提案する。
  論文  参考訳（メタデータ） (2025-10-08T10:39:12Z)
• HoliSafe: Holistic Safety Benchmarking and Modeling for Vision-Language Model [58.12612140992874]
  我々は、安全で安全でない5つの画像テキストの組み合わせにまたがる、全体的な安全データセットとベンチマークである textbfHoliSafeを紹介した。 また,入力画像の有害性を評価するために,視覚ガードモジュール(VGM)を用いて,VLMの安全性を高めるための新しいモジュラーフレームワークを提案する。 実験により、HoliSafeでトレーニングされたVGMを使用したSafe-VLMは、複数のVLMベンチマークで最先端の安全性能を実現していることがわかった。
  論文  参考訳（メタデータ） (2025-06-05T07:26:34Z)
• Beyond Safe Answers: A Benchmark for Evaluating True Risk Awareness in Large Reasoning Models [29.569220030102986]
  textbfBeyond Safe Answers (BSA) ベンチは,3つの異なるSSAシナリオタイプに構成された2,000のチャレンジインスタンスからなる,新しいベンチマークである。 19の最先端のLEMの評価では、このベンチマークの難しさが示され、最高性能のモデルはリスクの合理性を正確に識別する上で、わずか38.0%の精度しか達成していない。 我々の研究は、LEMの安全性推論の忠実さを評価し改善するための総合的な評価ツールを提供し、真にリスクを意識し、確実に安全なAIシステムの開発を進める。
  論文  参考訳（メタデータ） (2025-05-26T08:49:19Z)
• ReasoningShield: Safety Detection over Reasoning Traces of Large Reasoning Models [20.274878511727945]
  ReasoningShieldは、Large Reasoning Models (LRMs)におけるChain-of-Thoughts (CoTs)をモデレートするためのフレームワークである ReasoningShieldは最新のパフォーマンスを実現し、LlamaGuard-4のようなタスク固有のツールを35.6%、GPT-4oのような汎用商用モデルを15.8%向上させた。
  論文  参考訳（メタデータ） (2025-05-22T19:44:41Z)
• Rethinking Bottlenecks in Safety Fine-Tuning of Vision Language Models [25.606641582511106]
  モデル性能を向上させるために,マルチイメージ入力と安全チェーン・オブ・ソート(CoT)ラベルを微粒な推論ロジックとして統合する新しいデータセットを提案する。 実験の結果,MISを用いた微調整InternVL2.5-8Bは,マルチイメージタスクに挑戦する上で,強力なオープンソースモデルとAPIベースモデルの両方を著しく上回っていることがわかった。
  論文  参考訳（メタデータ） (2025-01-30T17:59:45Z)
• Benchmarking Zero-Shot Robustness of Multimodal Foundation Models: A Pilot Study [61.65123150513683]
  CLIPのようなマルチモーダル基盤モデルは、最先端のゼロショット結果を生成する。 これらのモデルは、ImageNetでトレーニングされた教師付きモデルのパフォーマンスを一致させることで、ロバスト性ギャップを埋めることが報告されている。 CLIPは、ベンチマーク上の教師付きImageNetモデルと比較して、かなりの堅牢性低下をもたらすことを示す。
  論文  参考訳（メタデータ） (2024-03-15T17:33:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。