論文の概要: Omni-SafetyBench: A Benchmark for Safety Evaluation of Audio-Visual Large Language Models

• arxiv url: http://arxiv.org/abs/2508.07173v1
• Date: Sun, 10 Aug 2025 04:15:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-12 21:23:28.737764
• Title: Omni-SafetyBench: A Benchmark for Safety Evaluation of Audio-Visual Large Language Models
• Title（参考訳）: Omni-SafetyBench: オーディオ・ビジュアル大言語モデルの安全性評価ベンチマーク
• Authors: Leyi Pan, Zheyu Fu, Yunpeng Zhai, Shuchang Tao, Sheng Guan, Shiyu Huang, Lingzhe Zhang, Zhaoyang Liu, Bolin Ding, Felix Henry, Lijie Wen, Aiwei Liu,
• Abstract要約: Omni-SafetyBenchは、OLLMの安全性評価のための最初の総合的な並列ベンチマークである。 24種類のモダリティの組み合わせと992のサンプルによるバリエーションがあり、それぞれに専用のオーディオ・ビジュアル・ハーネスケースが含まれている。 複雑なOmni-Modal入力に対するOLLMの理解上の課題と、相互整合性評価の必要性を考慮して、調整されたメトリクスを提案する。
• 参考スコア（独自算出の注目度）: 38.60780699655966
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The rise of Omni-modal Large Language Models (OLLMs), which integrate visual and auditory processing with text, necessitates robust safety evaluations to mitigate harmful outputs. However, no dedicated benchmarks currently exist for OLLMs, and prior benchmarks designed for other LLMs lack the ability to assess safety performance under audio-visual joint inputs or cross-modal safety consistency. To fill this gap, we introduce Omni-SafetyBench, the first comprehensive parallel benchmark for OLLM safety evaluation, featuring 24 modality combinations and variations with 972 samples each, including dedicated audio-visual harm cases. Considering OLLMs' comprehension challenges with complex omni-modal inputs and the need for cross-modal consistency evaluation, we propose tailored metrics: a Safety-score based on conditional Attack Success Rate (C-ASR) and Refusal Rate (C-RR) to account for comprehension failures, and a Cross-Modal Safety Consistency Score (CMSC-score) to measure consistency across modalities. Evaluating 6 open-source and 4 closed-source OLLMs reveals critical vulnerabilities: (1) no model excels in both overall safety and consistency, with only 3 models achieving over 0.6 in both metrics and top performer scoring around 0.8; (2) safety defenses weaken with complex inputs, especially audio-visual joints; (3) severe weaknesses persist, with some models scoring as low as 0.14 on specific modalities. Our benchmark and metrics highlight urgent needs for enhanced OLLM safety, providing a foundation for future improvements.
• Abstract（参考訳）: Omni-modal Large Language Models (OLLM) の台頭は、視覚的および聴覚的処理をテキストと統合し、有害な出力を軽減するために堅牢な安全性評価を必要とする。 しかし、OLLM用の専用のベンチマークは存在しておらず、他のLCM用に設計された以前のベンチマークでは、音声-視覚的関節入力やモード間安全性の整合性の下での安全性性能を評価する能力が欠如している。 Omni-SafetyBenchは、OLLMの安全性評価のための最初の総合的な並列ベンチマークであり、24のモダリティの組み合わせとバリエーションがあり、それぞれ942のサンプルがあり、それぞれに専用のオーディオ視覚障害がある。 複雑なOmni-Modal入力に対するOLLMの理解的課題と相互整合性評価の必要性を考慮し、条件付きの成功成功率(C-ASR)と拒絶率(C-RR)に基づく安全スコアと、モダリティ間の整合性を測定するためのクロスモーダル安全一貫性スコア(CMSC-score)を提案する。 1) 全体的な安全性と整合性の両方に優れたモデルはなく、メトリックとトップパフォーマーの両方で0.6以上を達成できるモデルが3つしかなく、2) 複雑な入力、特にオーディオと視覚の関節で弱く、(3) 深刻な弱点が持続し、いくつかのモデルは特定のモードで0.14以下とスコア付けされている。 我々のベンチマークとメトリクスは、OLLMの安全性を高めるための緊急のニーズを強調し、将来の改善の基盤を提供します。

関連論文リスト

• SafeLawBench: Towards Safe Alignment of Large Language Models [18.035407356604832]
  大きな言語モデル(LLM)の安全性を評価するための明確な基準が欠如している。 SafeLawBenchは、法的基準に基づいて、安全リスクを3つのレベルに分類する。 24,860のマルチチョイス質問と1,106のオープンドメイン質問回答(QA)タスクで構成されている。
  論文  参考訳（メタデータ） (2025-06-07T03:09:59Z)
• USB: A Comprehensive and Unified Safety Evaluation Benchmark for Multimodal Large Language Models [31.412080488801507]
  Unified Safety Benchmarks (USB) はMLLMの安全性において最も包括的な評価ベンチマークの一つである。 我々のベンチマークでは、高品質なクエリ、広範囲なリスクカテゴリ、包括的なモーダルの組み合わせ、脆弱性と過度な評価の両方が特徴である。
  論文  参考訳（メタデータ） (2025-05-26T08:39:14Z)
• aiXamine: Simplified LLM Safety and Security [7.933485586826888]
  安全とセキュリティのための総合的なブラックボックス評価プラットフォームであるaiXamineについて紹介する。 AiXamineは40以上のテスト(ベンチマーク)を、特定の安全性とセキュリティをターゲットとした8つの重要なサービスに統合する。 プラットフォームは、評価結果をモデル毎の1つの詳細なレポートに集約し、モデルパフォーマンス、テスト例、リッチな視覚化を提供する。
  論文  参考訳（メタデータ） (2025-04-21T09:26:05Z)
• SafeBench: A Safety Evaluation Framework for Multimodal Large Language Models [75.67623347512368]
  MLLMの安全性評価を行うための総合的なフレームワークであるツールンを提案する。 我々のフレームワークは、包括的な有害なクエリデータセットと自動評価プロトコルで構成されています。 本研究では,広く利用されている15のオープンソースMLLMと6つの商用MLLMの大規模実験を行った。
  論文  参考訳（メタデータ） (2024-10-24T17:14:40Z)
• SALAD-Bench: A Hierarchical and Comprehensive Safety Benchmark for Large Language Models [107.82336341926134]
  SALAD-Benchは、大規模言語モデル(LLM)を評価するために特別に設計された安全ベンチマークである。 それは、その大規模な、豊富な多様性、三つのレベルにまたがる複雑な分類、多目的機能を通じて、従来のベンチマークを超越している。
  論文  参考訳（メタデータ） (2024-02-07T17:33:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。