論文の概要: Nemotron 3.5 Content Safety Moderator: A Compact Multimodal, Multilingual, and Reasoning Enabled Content Safety Moderator
- arxiv url: http://arxiv.org/abs/2608.27548v1
- Date: Thu, 27 Aug 2026 17:29:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-31 17:16:04.103884
- Title: Nemotron 3.5 Content Safety Moderator: A Compact Multimodal, Multilingual, and Reasoning Enabled Content Safety Moderator
- Title（参考訳）: ネモトロン3.5コンテントセーフティモデレータ:小型マルチモーダル・マルチリンガル・推論型コンテントセーフティモデレータ
- Abstract要約: Nemotron 3.5 Content Safety Moderatorは、12言語にわたるユーザのプロンプト、画像、アシスタント応答を共同で分類する、コンパクトな4B視覚言語安全モデレーターである。
Nemotron 3.5 CSはレイテンシに敏感なモデレーションのための安全ラベルを返却し、供給されたカスタムポリシーを適用する推論トレースを生成する。
マルチモーダル安全性、テキストモデレーション、マルチリンガルロバスト性、カスタムポリシーフォロー、良質な偽陽性、レイテンシなど、さまざまな評価において、Nemotron 3.5 CSは実用的なカバレッジトレードオフを示している。
- 参考スコア（独自算出の注目度）: 4.935522903507678
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Safety moderation for deployed AI applications is moving beyond text-only prompts: systems increasingly need to judge images, documents, screenshots, and generated responses under policies that vary across domains. Existing guardrails usually cover only part of this setting, making it difficult to combine broad coverage, custom policy control, and low compute cost. We present Nemotron 3.5 Content Safety Moderator, also referred to as Nemotron 3.5 CS in this paper for brevity, a compact 4B vision-language safety moderator that jointly classifies user prompts, images, and assistant responses across 12 languages. Nemotron 3.5 CS returns safety labels for latency-sensitive moderation and can additionally produce concise reasoning traces that apply supplied custom policies and identify violated categories when reasoning is requested. We also release a multimodal and multilingual safety dataset for guard training, spanning human-labeled real-image moderation, benign vision-language and document tasks, synthetic rare-risk and jailbreak cases, and custom-policy examples. Across evaluations spanning multimodal safety, text moderation, multilingual robustness, custom-policy following, benign false positives, and latency, Nemotron 3.5 CS demonstrates a practical coverage tradeoff: it adds image-conditioned and policy-conditioned moderation while remaining broadly competitive with specialized guard models. These results suggest that compact vision-language moderators can serve as deployable front-line safety components, with reasoning used selectively for audit and policy review.
- Abstract（参考訳）: システムは、ドメインによって異なるポリシーの下で、画像、ドキュメント、スクリーンショット、および生成されたレスポンスをますます判断する必要がある。
既存のガードレールは通常、この設定の一部のみをカバーするため、広範なカバレッジ、カスタムポリシーコントロール、計算コストの削減が困難である。
本稿では,12言語にわたるユーザプロンプト,画像,アシスタント応答を共同で分類する,コンパクトな4B視覚言語安全モデレータであるNemotron 3.5コンテンツ安全モデレータについて述べる。
Nemotron 3.5 CSは遅延に敏感なモデレーションのための安全ラベルを返却し、供給されたカスタムポリシーを適用した簡潔な推論トレースを生成し、推論要求時に違反したカテゴリを識別する。
また、ガードトレーニングのためのマルチモーダルおよび多言語安全データセット、人間のラベル付き実像モデレーション、良質な視覚言語および文書タスク、合成レアリスクおよびジェイルブレイクケース、カスタム・ポリシーの例をリリースする。
マルチモーダル安全性、テキストモデレーション、マルチリンガルロバスト性、カスタムポリティクス、良識のある偽陽性、レイテンシなど、さまざまな評価が実施されているが、Nemotron 3.5 CSは実用的なカバレッジトレードオフを示している。
これらの結果は、コンパクトな視覚言語モデレータが、監査やポリシーレビューに選択的に使用されるため、デプロイ可能なフロントラインセーフティコンポーネントとして機能することを示唆している。
関連論文リスト
- Automatic Red Teaming for Implicit Vulnerabilities of Text-to-Image Models [58.59008920408855]
本稿では,ターゲットモデルのパラメータへのアクセスを必要とせずに,暗黙の脆弱性を明らかにするためのAdvPIE(Adversarial Probing for Implicit VulnErabilities)を提案する。
AdvPIEは、審査員からのフィードバックに基づいて暗黙の敵のプロンプトを生成し、洗練するためのポリシーエージェントを採用する。
標準および安全性に適合したT2Iモデルの実験では、AdvPIE1が暗黙の脆弱性を効果的に発見している。
論文 参考訳（メタデータ） (2026-09-05T13:45:09Z) - COMIC: Reference-Aware Safety Gating for Multimodal Large Language Models [9.772233159718601]
マルチモーダルな大言語モデル(MLLM)は、スクリーンショット、スキャンされた文書、図、その他の視覚的に接地された入力と対話するために、ますます使われるようになっている。
安全でない振る舞いは、モデルが局所化された視覚的ターゲットに要約、翻訳、追従のような明らかに良質な操作を結び付ける場合にのみ現れる。
MLLMのための参照対応プレジェネレーション安全ゲートであるCOMICを提案する。
論文 参考訳（メタデータ） (2026-08-18T00:45:29Z) - Shieldstral [183.97744446582863]
Shieldstralはポリシー適応型マルチモーダル安全分類器で、テキスト安全性ベンチマークで約7$timesのモデルに適合または性能を向上する。
本稿では、約54.1Mサンプルのキュレーションと生成をカバーしたデータ構築レシピと、政策適応性を評価するためのきめ細かい評価セットを提案する。
論文 参考訳（メタデータ） (2026-07-28T15:27:53Z) - SingGuard: A Policy-Adaptive Multimodal LLM Guardrail with Dynamic Reasoning [0.0]
マルチモーダル会話における安全評価のためのポリシー適応型ガードレールモデルファミリーである textbfSingGuard を提案する。
SingGuardはアクティブポリシーをランタイム入力として扱う。
ターゲットコンテンツをアクティブポリシールールに対してルールでチェックし、安全ラベルとトリガルールの両方を予測する。
論文 参考訳（メタデータ） (2026-06-22T05:37:43Z) - SafeRedir: Prompt Embedding Redirection for Robust Unlearning in Image Generation Models [67.84174763413178]
我々はSafeRedirを紹介した。SafeRedirは、迅速な埋め込みリダイレクトによる堅牢なアンラーニングのための軽量な推論時フレームワークである。
SafeRedirは,効果的な非学習能力,意味的・知覚的保存能力,堅牢な画像品質,対人攻撃に対する耐性の向上を実現している。
論文 参考訳（メタデータ） (2026-01-13T15:01:38Z) - OutSafe-Bench: A Benchmark for Multimodal Offensive Content Detection in Large Language Models [54.80460603255789]
マルチモーダル時代に設計された,最も包括的なコンテンツ安全性評価テストスイートであるOutSafe-Benchを紹介する。
OutSafe-Benchには、4つのモダリティにまたがる大規模なデータセットが含まれており、18,000以上のバイリンガル(中国語と英語)テキストプロンプト、4500のイメージ、450のオーディオクリップ、450のビデオが9つの重要なコンテンツリスクカテゴリで体系的に注釈付けされている。
このデータセットに加えて,多次元クロスリスクスコア(Multidimensional Cross Risk Score, MCRS)も導入した。
論文 参考訳（メタデータ） (2025-11-13T13:18:27Z) - Value-Aligned Prompt Moderation via Zero-Shot Agentic Rewriting for Safe Image Generation [11.663809872664103]
現在の防衛は、生産物を生産品質を犠牲にしたり、高いコストを発生させることなく、人的価値と整合させるのに苦労している。
我々は、より安全でより有用なテキスト・ツー・イメージ・ジェネレーションのためのゼロショットエージェント・フレームワークであるVALORを紹介した。
VALORは、階層化されたプロンプト分析とヒューマンアラインな値推論を統合している。
論文 参考訳（メタデータ） (2025-11-12T09:52:47Z) - Qwen3Guard Technical Report [127.69960525219051]
Qwen3Guardは、多言語安全ガードレールモデルである。
生成的Qwen3Guardは、きめ細かい三級判定を可能にする命令追従タスクとして安全分類をキャストする。
Stream Qwen3Guardは、リアルタイム安全監視のためのトークンレベルの分類ヘッドを導入している。
論文 参考訳（メタデータ） (2025-10-16T04:00:18Z) - SAGE: A Generic Framework for LLM Safety Evaluation [7.5058318880108885]
SAGE(Safety AI Generic Evaluation)は、カスタマイズおよび動的害評価のための自動モジュール化フレームワークである。
我々は3つのアプリケーションにまたがる7つの最先端の大規模言語モデルと有害ポリシーを評価した。
結果は、より安全な現実世界のデプロイメントのための適応性、ポリシー対応、コンテキスト固有のテストに動機付けます。
論文 参考訳（メタデータ） (2025-04-28T11:01:08Z) - MrGuard: A Multilingual Reasoning Guardrail for Universal LLM Safety [56.77103365251923]
大規模言語モデル(LLM)は、ジェイルブレイクのような敵の攻撃を受けやすい。
この脆弱性は、多言語セーフティアライメントされたデータが制限される多言語設定で悪化する。
素早い分類のための多言語ガードレールを提案する。
論文 参考訳（メタデータ） (2025-04-21T17:15:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。