論文の概要: Multimodal Situational Safety

• arxiv url: http://arxiv.org/abs/2410.06172v1
• Date: Tue, 8 Oct 2024 16:16:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-01 10:50:51.527661
• Title: Multimodal Situational Safety
• Title（参考訳）: マルチモーダルシチュエーションの安全性
• Authors: Kaiwen Zhou, Chengzhi Liu, Xuandong Zhao, Anderson Compalas, Dawn Song, Xin Eric Wang,
• Abstract要約: マルチモーダル・シチュエーション・セーフティ(Multimodal situational Safety)と呼ばれる新しい安全課題の評価と分析を行う。 MLLMが言語やアクションを通じても安全に応答するためには、言語クエリが対応する視覚的コンテキスト内での安全性への影響を評価する必要があることが多い。 我々は,現在のMLLMの状況安全性能を評価するためのマルチモーダル状況安全ベンチマーク(MSSBench)を開発した。
• 参考スコア（独自算出の注目度）: 73.63981779844916
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal Large Language Models (MLLMs) are rapidly evolving, demonstrating impressive capabilities as multimodal assistants that interact with both humans and their environments. However, this increased sophistication introduces significant safety concerns. In this paper, we present the first evaluation and analysis of a novel safety challenge termed Multimodal Situational Safety, which explores how safety considerations vary based on the specific situation in which the user or agent is engaged. We argue that for an MLLM to respond safely, whether through language or action, it often needs to assess the safety implications of a language query within its corresponding visual context. To evaluate this capability, we develop the Multimodal Situational Safety benchmark (MSSBench) to assess the situational safety performance of current MLLMs. The dataset comprises 1,820 language query-image pairs, half of which the image context is safe, and the other half is unsafe. We also develop an evaluation framework that analyzes key safety aspects, including explicit safety reasoning, visual understanding, and, crucially, situational safety reasoning. Our findings reveal that current MLLMs struggle with this nuanced safety problem in the instruction-following setting and struggle to tackle these situational safety challenges all at once, highlighting a key area for future research. Furthermore, we develop multi-agent pipelines to coordinately solve safety challenges, which shows consistent improvement in safety over the original MLLM response. Code and data: mssbench.github.io.
• Abstract（参考訳）: MLLM(Multimodal Large Language Models)は急速に進化し、人間と環境の両方と対話するマルチモーダルアシスタントとして素晴らしい能力を発揮している。 しかし、この高度化は、重大な安全上の懸念をもたらす。 本稿では,ユーザやエージェントが関与する特定の状況に基づいて,安全性の考慮事項がどう変化するかを検討する,Multimodal situational Safetyと呼ばれる新しい安全課題について,まず評価と分析を行う。 MLLMが言語や行動によっても安全に応答するためには、言語クエリが対応する視覚的コンテキスト内で安全に与える影響を評価する必要がある。 この能力を評価するために,現在のMLLMの状況安全性能を評価するためのマルチモーダル状況安全ベンチマーク(MSSBench)を開発した。 データセットは1,820の言語クエリイメージペアで構成されており、その半分はイメージコンテキストが安全であり、残り半分は安全ではない。 また, 明確な安全性推論, 視覚的理解, 重要な状況的安全性推論など, 重要な安全性の側面を分析する評価フレームワークも開発している。 以上の結果から,現在のMLLMは,これらの状況下での安全対策の課題に対処する上で,これらの課題に対処する上で困難であり,今後の研究の要点を浮き彫りにしている。 さらに,安全上の課題を協調的に解決するマルチエージェントパイプラインを開発し,MLLM応答に対して一貫した安全性向上を示す。 コードとデータ: mssbench.github.io

関連論文リスト

• SafeBench: A Safety Evaluation Framework for Multimodal Large Language Models [75.67623347512368]
  MLLMの安全性評価を行うための総合的なフレームワークであるツールンを提案する。 我々のフレームワークは、包括的な有害なクエリデータセットと自動評価プロトコルで構成されています。 本研究では,広く利用されている15のオープンソースMLLMと6つの商用MLLMの大規模実験を行った。
  論文  参考訳（メタデータ） (2024-10-24T17:14:40Z)
• Cross-Modality Safety Alignment [73.8765529028288]
  我々は、モダリティ間の安全アライメントを評価するために、セーフインプットとアンセーフアウトプット(SIUO)と呼ばれる新しい安全アライメントの課題を導入する。 この問題を実証的に調査するため,我々はSIUOを作成した。SIUOは,自己修復,違法行為,プライバシー侵害など,9つの重要な安全領域を含むクロスモダリティベンチマークである。 以上の結果から, クローズドおよびオープンソース両方のLVLMの安全性上の重大な脆弱性が明らかとなり, 複雑で現実的なシナリオを確実に解釈し, 応答する上で, 現行モデルが不十分であることが示唆された。
  論文  参考訳（メタデータ） (2024-06-21T16:14:15Z)
• CHiSafetyBench: A Chinese Hierarchical Safety Benchmark for Large Language Models [7.054112690519648]
  CHiSafetyBenchは、リスクのあるコンテンツを特定し、中国のコンテキストにおけるリスクのある質問への回答を拒否する大きな言語モデルの能力を評価するための安全ベンチマークである。 このデータセットは、複数の選択質問と質問回答、リスクコンテンツ識別の観点からのLSMの評価、リスクのある質問への回答を拒否する能力の2つのタスクからなる。 本実験により, 各種安全領域における各種モデルの各種性能が明らかとなり, 中国における安全能力向上の可能性が示唆された。
  論文  参考訳（メタデータ） (2024-06-14T06:47:40Z)
• Safety of Multimodal Large Language Models on Images and Texts [33.97489213223888]
  本稿では,MLLMの安全性の評価,攻撃,防衛に関する現在の取り組みを,画像やテキスト上で体系的に調査する。 MLLMの安全性を評価するための評価データセットと指標について概説する。 次に,MLLMの安全性に関する攻撃・防御技術について概説する。
  論文  参考訳（メタデータ） (2024-02-01T05:57:10Z)
• The Art of Defending: A Systematic Evaluation and Analysis of LLM Defense Strategies on Safety and Over-Defensiveness [56.174255970895466]
  大規模言語モデル(LLM)は、自然言語処理アプリケーションにおいて、ますます重要な役割を担っている。 本稿では,SODE(Safety and Over-Defensiveness Evaluation)ベンチマークを提案する。
  論文  参考訳（メタデータ） (2023-12-30T17:37:06Z)
• Safety-Gymnasium: A Unified Safe Reinforcement Learning Benchmark [12.660770759420286]
  本稿では,単一エージェントとマルチエージェントの両方のシナリオにおいて,安全クリティカルなタスクを含む環境スイートであるSafety-Gymnasiumを提案する。 Safe Policy Optimization (SafePO) という,最先端のSafeRLアルゴリズム16種からなるアルゴリズムのライブラリを提供する。
  論文  参考訳（メタデータ） (2023-10-19T08:19:28Z)
• SafetyBench: Evaluating the Safety of Large Language Models [54.878612385780805]
  SafetyBenchは、大規模言語モデル(LLM)の安全性を評価するための包括的なベンチマークである。 11,435 の多様な選択質問が 7 つの異なるカテゴリーの安全問題にまたがっている。 ゼロショット設定と少数ショット設定の両方で、中国語と英語のLLMを25回以上テストしたところ、GPT-4よりも大幅にパフォーマンス上の優位性を示しました。
  論文  参考訳（メタデータ） (2023-09-13T15:56:50Z)
• Safety Assessment of Chinese Large Language Models [51.83369778259149]
  大規模言語モデル(LLM)は、侮辱や差別的なコンテンツを生成し、誤った社会的価値を反映し、悪意のある目的のために使用されることがある。 安全で責任があり倫理的なAIの展開を促進するため、LLMによる100万の強化プロンプトとレスポンスを含むセーフティプロンプトをリリースする。
  論文  参考訳（メタデータ） (2023-04-20T16:27:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。