論文の概要: SafeAtlas-VL: Beyond Binary Multimodal Safety with Large-Scale Data and Guard Models

• arxiv url: http://arxiv.org/abs/2608.29098v1
• Date: Sat, 29 Aug 2026 07:08:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:30.836759
• Title: SafeAtlas-VL: Beyond Binary Multimodal Safety with Large-Scale Data and Guard Models
• Title（参考訳）: SafeAtlas-VL: 大規模データとガードモデルによるバイナリマルチモーダル安全性を超えて
• Abstract要約: マルチモーダル・セーフティ・モデレーションは、視覚的コンテンツ、ユーザ意図、およびアシスタント行動から生じるリスクを区別する必要がある。 SafeAtlas-VLは、1.5Mのトレーニングインスタンスのデータセットで、画像、要求レベル、応答レベルを5段階の順序で判定する。 SafeAtlas-Benchは5段階の予測と継続的なリスクスコアを評価するための5000のインスタンスである。
• 参考スコア（独自算出の注目度）: 73.04773649437375
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal safety moderation requires distinguishing risks arising from visual content, user intent, and assistant behavior. Existing safeguards, however, are typically trained for a single judgment target and reduce safety assessment to a binary decision. Consequently, risk becomes difficult to compare across a multimodal interaction, and ambiguous cases are obscured. We introduce SafeAtlas-VL, a dataset of 1.5M training instances that places image-, request-, and response-level judgments on a five-level ordered scale. We curate a broad collection of safety-relevant data from both real-world and synthetic sources and apply a disagreement-aware annotation procedure. The resulting dataset spans 15 harm categories and 55 fine-grained subcategories, covering a broad range of multimodal safety scenarios. We also construct SafeAtlas-Bench, a held-out set of 5,000 instances for evaluating five-level predictions and continuous risk scores. Upon this dataset, we train the SafeAtlas Guard series of models via target-conditioned tuning for multimodal safety detection. Our models not only perform five-way classification of safety levels but also map safety to continuous scores through a soft cumulative ordinal head. Experimental results demonstrate that guard models trained on our dataset exhibit strong generalization: even without using the training sets of other benchmarks, they achieve competitive performance on the corresponding test sets. Notably, our 8B model attains the overall best performance, outperforming the previous SOTA by approximately 4% in F1 score. Code, data, and models are released to support further research. Warning: this paper contains example data that may be offensive, harmful, graphic, or disturbing.
• Abstract（参考訳）: マルチモーダル・セーフティ・モデレーションは、視覚的コンテンツ、ユーザ意図、およびアシスタント行動から生じるリスクを区別する必要がある。 しかし、既存の安全対策は、通常、単一の判断対象に対して訓練され、二項決定に対する安全性評価が軽減される。 その結果、マルチモーダル相互作用間でのリスクの比較が難しくなり、あいまいなケースが曖昧になる。 SafeAtlas-VLは、1.5Mのトレーニングインスタンスのデータセットで、画像、要求レベル、応答レベルを5段階の順序で判定する。 我々は、現実世界と合成源の両方の安全関連データの広範囲の収集をキュレートし、不一致を意識したアノテーションの手順を適用した。 その結果得られたデータセットは15の有害カテゴリと55のきめ細かいサブカテゴリで構成され、幅広いマルチモーダル安全性シナリオをカバーする。 SafeAtlas-Benchは5段階の予測と継続的なリスクスコアを評価するための5000のインスタンスからなる。 本データセットでは,マルチモーダル安全性検出のための目標条件チューニングにより,SafeAtlas Guardシリーズをトレーニングする。 我々のモデルは、安全レベルを5方向分類するだけでなく、ソフトな累積順序ヘッドを通して、安全性を連続的なスコアにマップする。 実験の結果,データセット上でトレーニングされたガードモデルは,他のベンチマークのトレーニングセットを使わずに,対応するテストセット上での競合性能を達成できた。 特に、我々の8Bモデルは、F1スコアで、以前のSOTAを約4%上回り、全体的な最高のパフォーマンスを達成しています。 コード、データ、モデルがリリースされ、さらなる研究をサポートする。 警告:本論文は、攻撃的、有害、グラフィック的、または乱暴なデータを含む。

関連論文リスト

• No One Model Catches Every Harm: Benchmarking Content Moderation Across Safety Scenarios [0.12277343096128711]
  大規模言語モデル(LLM)は、現実世界のアプリケーションにますますデプロイされているが、有害なコンテンツを生成するには弱いままである。 安全フィルターをバイパスする敵対的ジェイルブレイクから、検出を避けるという暗黙の憎悪まで、これらのモデルがもたらすリスクの範囲は増え続けている。 現在までに最も包括的なLCM安全性評価を行い、textbf53モデルをtextbf11データセットで体系的にテストしている。
  論文  参考訳（メタデータ） (2026-08-22T04:44:24Z)
• Shieldstral [183.97744446582863]
  Shieldstralはポリシー適応型マルチモーダル安全分類器で、テキスト安全性ベンチマークで約7$timesのモデルに適合または性能を向上する。 本稿では、約54.1Mサンプルのキュレーションと生成をカバーしたデータ構築レシピと、政策適応性を評価するためのきめ細かい評価セットを提案する。
  論文  参考訳（メタデータ） (2026-07-28T15:27:53Z)
• OutSafe-Bench: A Benchmark for Multimodal Offensive Content Detection in Large Language Models [54.80460603255789]
  マルチモーダル時代に設計された,最も包括的なコンテンツ安全性評価テストスイートであるOutSafe-Benchを紹介する。 OutSafe-Benchには、4つのモダリティにまたがる大規模なデータセットが含まれており、18,000以上のバイリンガル(中国語と英語)テキストプロンプト、4500のイメージ、450のオーディオクリップ、450のビデオが9つの重要なコンテンツリスクカテゴリで体系的に注釈付けされている。 このデータセットに加えて,多次元クロスリスクスコア(Multidimensional Cross Risk Score, MCRS)も導入した。
  論文  参考訳（メタデータ） (2025-11-13T13:18:27Z)
• DUAL-Bench: Measuring Over-Refusal and Robustness in Vision-Language Models [59.45605332033458]
  安全メカニズムはバックファイアし、過剰な拒絶を引き起こし、モデルが過度に注意を払って良質な要求を減らします。 既存のベンチマークは、視覚的モダリティの過剰な拒絶に体系的に対処していない。 この設定は、命令が無害であるが付随する画像には有害な内容が含まれているというような、ユニークな課題をもたらす。
  論文  参考訳（メタデータ） (2025-10-12T23:21:34Z)
• Building a Foundational Guardrail for General Agentic Systems via Synthetic Data [76.18834864749606]
  LLMエージェントは、計画段階で介入するマルチステップタスクを計画できる。 既存のガードレールは主にポスト・エグゼクティブ(英語版)を運用しており、スケーリングが困難であり、計画レベルで制御可能な監督を行う余地がほとんどない。 我々は、良性軌道を合成し、カテゴリーラベル付きリスクを困難に注入し、自動報酬モデルを介して出力をフィルタリングする制御可能なエンジンであるAuraGenを紹介する。
  論文  参考訳（メタデータ） (2025-10-10T18:42:32Z)
• SaFeR-VLM: Toward Safety-aware Fine-grained Reasoning in Multimodal Models [66.71948519280669]
  MLRM(Multimodal Large Reasoning Models)は、クロスモーダルな推論を示すが、しばしば敵のプロンプトによる安全性のリスクを増幅する。 既存の防御は主に出力レベルで動作し、推論プロセスを制約せず、モデルは暗黙のリスクに置かれる。 4つのコンポーネントを統合し,表面レベルのフィルタリングを超える動的かつ解釈可能な安全性決定をサポートするSaFeR-VLMを提案する。
  論文  参考訳（メタデータ） (2025-10-08T10:39:12Z)
• aiXamine: Simplified LLM Safety and Security [7.933485586826888]
  安全とセキュリティのための総合的なブラックボックス評価プラットフォームであるaiXamineについて紹介する。 AiXamineは40以上のテスト(ベンチマーク)を、特定の安全性とセキュリティをターゲットとした8つの重要なサービスに統合する。 プラットフォームは、評価結果をモデル毎の1つの詳細なレポートに集約し、モデルパフォーマンス、テスト例、リッチな視覚化を提供する。
  論文  参考訳（メタデータ） (2025-04-21T09:26:05Z)
• Rethinking Bottlenecks in Safety Fine-Tuning of Vision Language Models [25.606641582511106]
  モデル性能を向上させるために,マルチイメージ入力と安全チェーン・オブ・ソート(CoT)ラベルを微粒な推論ロジックとして統合する新しいデータセットを提案する。 実験の結果,MISを用いた微調整InternVL2.5-8Bは,マルチイメージタスクに挑戦する上で,強力なオープンソースモデルとAPIベースモデルの両方を著しく上回っていることがわかった。
  論文  参考訳（メタデータ） (2025-01-30T17:59:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。