論文の概要: MCBench: A Multicontext Safety Assessment Benchmark for Omni Large Language Models

• arxiv url: http://arxiv.org/abs/2606.05177v1
• Date: Fri, 17 Apr 2026 12:31:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-15 07:09:36.63051
• Title: MCBench: A Multicontext Safety Assessment Benchmark for Omni Large Language Models
• Title（参考訳）: MCBench:Omni大規模言語モデルのマルチコンテキスト安全性評価ベンチマーク
• Authors: Manh Luong, Tamas Abraham, Junae Kim, Amar Kaur, Rollin Omari, Gholamreza Haffari, Trang Vu, Lizhen Qu, Dinh Phung,
• Abstract要約: 既存のマルチモーダル安全ベンチマークは視覚入力のみに焦点を当てており、視覚、音声、テキストを処理するOmni Large Language Models (LLM)を評価することはできない。 MCBenchは4つの安全カテゴリにまたがる1196のシナリオを持つベンチマークで、正確な安全性評価のために複数のモダリティを統合する必要がある。
• 参考スコア（独自算出の注目度）: 47.43519512313406
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Existing multimodal safety benchmarks focus solely on visual inputs and cannot assess Omni Large Language Models (LLMs) that process vision, audio, and text. We introduce MCBench, a benchmark with 1196 scenarios spanning four safety categories that require integrating multiple modalities for accurate safety assessment. Each unsafe scenario is paired with a minimally different safe counterpart to assess model sensitivity. Our evaluations of state-of-the-art models reveal significant challenges. Omni LLMs struggle with subtle or non-physical risks but perform better when salient visual or acoustic cues are present. Analysis of reasoning traces shows that, although models can extract modality-specific information, they often fail to integrate these cues effectively for safety judgments. Our findings reveal that current Omni LLMs lack robust cross-modal reasoning in safety-critical settings, underscoring the need for improved architectures and training strategies for multimodal safety.
• Abstract（参考訳）: 既存のマルチモーダル安全ベンチマークは視覚入力のみに焦点を当てており、視覚、音声、テキストを処理するOmni Large Language Models (LLM)を評価することはできない。 MCBenchは4つの安全カテゴリにまたがる1196のシナリオを持つベンチマークで、正確な安全性評価のために複数のモダリティを統合する必要がある。 各安全でないシナリオは、モデル感度を評価するために、最小限の異なる安全なシナリオとペアリングされる。 我々の最先端モデルの評価は、重大な課題を浮き彫りにしている。 オムニLSMは微妙または非物理的リスクに苦しむが、視覚的または音響的手がかりが存在する場合、より優れた性能を発揮する。 推論トレースの分析は、モデルがモダリティ固有の情報を抽出できるが、安全判断のためにこれらの手がかりを効果的に統合することができないことを示している。 以上の結果から,現在のOmni LLMは安全クリティカルな環境では堅牢なクロスモーダル推論を欠いていることが明らかとなり,アーキテクチャの改善やマルチモーダル安全性のためのトレーニング戦略の必要性が強調された。

関連論文リスト

• OutSafe-Bench: A Benchmark for Multimodal Offensive Content Detection in Large Language Models [54.80460603255789]
  マルチモーダル時代に設計された,最も包括的なコンテンツ安全性評価テストスイートであるOutSafe-Benchを紹介する。 OutSafe-Benchには、4つのモダリティにまたがる大規模なデータセットが含まれており、18,000以上のバイリンガル(中国語と英語)テキストプロンプト、4500のイメージ、450のオーディオクリップ、450のビデオが9つの重要なコンテンツリスクカテゴリで体系的に注釈付けされている。 このデータセットに加えて,多次元クロスリスクスコア(Multidimensional Cross Risk Score, MCRS)も導入した。
  論文  参考訳（メタデータ） (2025-11-13T13:18:27Z)
• Think in Safety: Unveiling and Mitigating Safety Alignment Collapse in Multimodal Large Reasoning Model [29.63418384788804]
  5つのベンチマークでMLRM(Multimodal Large Reasoning Model)11の安全性評価を行う。 分析の結果、異なるベンチマークで異なる安全性パターンが明らかになった。 これは、モデル固有の推論能力を活用して安全でない意図を検出することで、MLRMの安全性問題に対処する潜在的アプローチである。
  論文  参考訳（メタデータ） (2025-05-10T06:59:36Z)
• Can't See the Forest for the Trees: Benchmarking Multimodal Safety Awareness for Multimodal LLMs [56.440345471966666]
  MLLM(Multimodal Large Language Models)は、テキストと画像の両方を通して対話を可能にすることで、従来の言語モデルの能力を拡大した。 MMSafeAwareは,安全シナリオ29のMLLMを評価するために設計された,初の総合的マルチモーダル安全意識ベンチマークである。 MMSafeAwareには安全でないサブセットと安全でないサブセットの両方が含まれており、安全でないコンテンツを正しく識別するモデルの評価と、有用性を阻害する過敏性を回避することができる。
  論文  参考訳（メタデータ） (2025-02-16T16:12:40Z)
• Rethinking Bottlenecks in Safety Fine-Tuning of Vision Language Models [25.606641582511106]
  モデル性能を向上させるために,マルチイメージ入力と安全チェーン・オブ・ソート(CoT)ラベルを微粒な推論ロジックとして統合する新しいデータセットを提案する。 実験の結果,MISを用いた微調整InternVL2.5-8Bは,マルチイメージタスクに挑戦する上で,強力なオープンソースモデルとAPIベースモデルの両方を著しく上回っていることがわかった。
  論文  参考訳（メタデータ） (2025-01-30T17:59:45Z)
• Multimodal Situational Safety [73.63981779844916]
  マルチモーダル・シチュエーション・セーフティ(Multimodal situational Safety)と呼ばれる新しい安全課題の評価と分析を行う。 MLLMが言語やアクションを通じても安全に応答するためには、言語クエリが対応する視覚的コンテキスト内での安全性への影響を評価する必要があることが多い。 我々は,現在のMLLMの状況安全性能を評価するためのマルチモーダル状況安全ベンチマーク(MSSBench)を開発した。
  論文  参考訳（メタデータ） (2024-10-08T16:16:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。