Fugu-MT 論文翻訳(概要): No One Model Catches Every Harm: Benchmarking Content Moderation Across Safety Scenarios

論文の概要: No One Model Catches Every Harm: Benchmarking Content Moderation Across Safety Scenarios

arxiv url: http://arxiv.org/abs/2608.21775v1
Date: Sat, 22 Aug 2026 04:44:24 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-25 13:29:43.456038
Title: No One Model Catches Every Harm: Benchmarking Content Moderation Across Safety Scenarios
Title（参考訳）: 安全シナリオ全体にわたるコンテンツモデレーションのベンチマーク
Abstract要約: 大規模言語モデル(LLM)は、現実世界のアプリケーションにますますデプロイされているが、有害なコンテンツを生成するには弱いままである。安全フィルターをバイパスする敵対的ジェイルブレイクから、検出を避けるという暗黙の憎悪まで、これらのモデルがもたらすリスクの範囲は増え続けている。現在までに最も包括的なLCM安全性評価を行い、textbf53モデルをtextbf11データセットで体系的にテストしている。
参考スコア（独自算出の注目度）: 0.12277343096128711
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Large Language Models (LLMs) are increasingly deployed in real-world applications, yet they remain vulnerable to generating harmful content. From adversarial jailbreaks that bypass safety filters to implicit hate that evades detection, the range of risks these models pose continues to grow. While both specialized content moderators and general-purpose LLMs are being used as safety layers, the question of which model is best suited for which type of harmful content remains unanswered. We present the most comprehensive evaluation of LLM safety capabilities to date, systematically testing \textbf{53} models across \textbf{11} datasets that we organize into four distinct categories. Our evaluation under both prompt-only and prompt-response settings uncovers critical blind spots: large frontier models that lead on one category fall significantly behind smaller, specialized alternatives on others, and real-world conversational safety remains largely unsolved across all model families. These findings challenge the assumption that scale alone ensures safety, and provide the community with a structured framework for informed model selection.
Abstract（参考訳）: 大規模言語モデル(LLM)は、現実世界のアプリケーションにますますデプロイされているが、有害なコンテンツを生成するには弱いままである。安全フィルターをバイパスする敵対的ジェイルブレイクから、検出を避けるという暗黙の憎悪まで、これらのモデルがもたらすリスクの範囲は増え続けている。特殊なコンテンツモデレーターと汎用LLMの両方が安全層として使用されているが、どのモデルが有害なコンテンツの種類に最も適しているかという問題は未解決のままである。 LLMの安全性に関する最も包括的な評価を,4つの異なるカテゴリに分類したデータセットに対して,体系的に \textbf{53} モデルをテストした。一つのカテゴリーに繋がる大きなフロンティアモデルは、他のカテゴリーのより小さく特別な選択肢に大きく遅れており、現実の会話の安全性は、すべてのモデルファミリーでほとんど解決されていない。これらの知見は,スケールのみが安全性を確保し,コミュニティに情報モデル選択のための構造化されたフレームワークを提供するという仮定に挑戦する。

関連論文リスト

SafeAtlas-VL: Beyond Binary Multimodal Safety with Large-Scale Data and Guard Models [73.04773649437375]
マルチモーダル・セーフティ・モデレーションは、視覚的コンテンツ、ユーザ意図、およびアシスタント行動から生じるリスクを区別する必要がある。 SafeAtlas-VLは、1.5Mのトレーニングインスタンスのデータセットで、画像、要求レベル、応答レベルを5段階の順序で判定する。 SafeAtlas-Benchは5段階の予測と継続的なリスクスコアを評価するための5000のインスタンスである。
論文参考訳（メタデータ） (2026-08-29T07:08:01Z)
Enhancing Safety of Large Language Models via Embedding Space Separation [24.821172423424866]
大きな言語モデル(LLM)は印象的な機能を達成したが、有害なプロンプトに対する安全性を保証することは、依然として重要な課題である。最近の研究によると、LLMにおける有害で安全なクエリの潜伏表現(埋め込み)は、通常線形分離性を示す。この観測により,埋め込み空間分離(ES2)という表現レベルの微調整手法を提案する。
論文参考訳（メタデータ） (2026-03-01T07:22:38Z)
OutSafe-Bench: A Benchmark for Multimodal Offensive Content Detection in Large Language Models [54.80460603255789]
マルチモーダル時代に設計された,最も包括的なコンテンツ安全性評価テストスイートであるOutSafe-Benchを紹介する。 OutSafe-Benchには、4つのモダリティにまたがる大規模なデータセットが含まれており、18,000以上のバイリンガル(中国語と英語)テキストプロンプト、4500のイメージ、450のオーディオクリップ、450のビデオが9つの重要なコンテンツリスクカテゴリで体系的に注釈付けされている。このデータセットに加えて,多次元クロスリスクスコア(Multidimensional Cross Risk Score, MCRS)も導入した。
論文参考訳（メタデータ） (2025-11-13T13:18:27Z)
DUAL-Bench: Measuring Over-Refusal and Robustness in Vision-Language Models [59.45605332033458]
安全メカニズムはバックファイアし、過剰な拒絶を引き起こし、モデルが過度に注意を払って良質な要求を減らします。既存のベンチマークは、視覚的モダリティの過剰な拒絶に体系的に対処していない。この設定は、命令が無害であるが付随する画像には有害な内容が含まれているというような、ユニークな課題をもたらす。
論文参考訳（メタデータ） (2025-10-12T23:21:34Z)
The Problem with Safety Classification is not just the Models [3.2634122554914002]
18言語を対象としたデータセットを考慮し,5つの安全分類モデルに多言語差が存在することを示す。評価データセットの潜在的な問題を特定し、現在の安全分類器の欠点はモデル自体が原因ではないと主張した。
論文参考訳（メタデータ） (2025-07-29T13:09:40Z)
HoliSafe: Holistic Safety Benchmarking and Modeling for Vision-Language Model [58.12612140992874]
我々は、安全で安全でない5つの画像テキストの組み合わせにまたがる、全体的な安全データセットとベンチマークである textbfHoliSafeを紹介した。また,入力画像の有害性を評価するために,視覚ガードモジュール(VGM)を用いて,VLMの安全性を高めるための新しいモジュラーフレームワークを提案する。実験により、HoliSafeでトレーニングされたVGMを使用したSafe-VLMは、複数のVLMベンチマークで最先端の安全性能を実現していることがわかった。
論文参考訳（メタデータ） (2025-06-05T07:26:34Z)
Understanding and Mitigating Overrefusal in LLMs from an Unveiling Perspective of Safety Decision Boundary [28.247658612894668]
RASSは、安全境界付近で過度に拒絶するプロンプトを戦略的にターゲットとする、プロンプト生成と選択のための自動化されたフレームワークである。 RASSは、境界に沿ったプロンプトを効果的に識別し、キュレートし、オーバーリフレクションのより効果的でターゲットを絞った緩和を可能にする。
論文参考訳（メタデータ） (2025-05-23T19:30:49Z)
ShieldGemma: Generative AI Content Moderation Based on Gemma [49.91147965876678]
ShieldGemmaは、Gemma2上に構築された安全コンテンツモデレーションモデルのスイートである。モデルは、主要な危険タイプにわたる安全リスクの堅牢で最先端の予測を提供する。
論文参考訳（メタデータ） (2024-07-31T17:48:14Z)
Refuse Whenever You Feel Unsafe: Improving Safety in LLMs via Decoupled Refusal Training [67.30423823744506]
我々は,LLMに対して,いかなる応答位置においても有害なプロンプトへのコンプライアンスを拒否する権限を付与する,新しいアプローチであるDecoupled Refusal Training(DeRTa)を導入する。 DeRTaは,(1)安全応答の開始に有害な応答のセグメントを付加することにより,安全でないコンテンツの認識と回避をモデルに訓練する,(2)有害応答シーケンスを通して潜在的障害から安全拒絶へ移行する能力をモデルに装備する強化遷移最適化(RTO)という,2つの新しいコンポーネントを組み込んでいる。
論文参考訳（メタデータ） (2024-07-12T09:36:33Z)
AEGIS: Online Adaptive AI Content Safety Moderation with Ensemble of LLM Experts [0.0]
大規模言語モデル(LLM)や生成AIの普及に伴い、その使用に伴うコンテンツ安全性のリスクも増大する。高品質なコンテンツ安全性データセットとベンチマークには、広範囲のクリティカルな安全領域を包括的にカバーする注目すべき欠如がある。これを解決するために、13の危険リスクと9のスパースリスクカテゴリからなる幅広いコンテンツ安全リスク分類を定義した。
論文参考訳（メタデータ） (2024-04-09T03:54:28Z)
Developing Safe and Responsible Large Language Model : Can We Balance Bias Reduction and Language Understanding in Large Language Models? [2.089112028396727]
本研究では,大規模言語モデルが知識や理解を犠牲にすることなく,安全でバイアスのないアウトプットを生成できるかどうかを考察する。 Safe and Responsible Large Language Model (textbfSR$_textLLM$)を紹介する。 textbfSR$_textLLM$は知識の整合性を保ちながらバイアスを効果的に軽減する。
論文参考訳（メタデータ） (2024-04-01T18:10:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。