論文の概要: A Safety Report on GPT-5.2, Gemini 3 Pro, Qwen3-VL, Doubao 1.8, Grok 4.1 Fast, Nano Banana Pro, and Seedream 4.5
- arxiv url: http://arxiv.org/abs/2601.10527v1
- Date: Thu, 15 Jan 2026 15:52:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-16 19:43:19.204645
- Title: A Safety Report on GPT-5.2, Gemini 3 Pro, Qwen3-VL, Doubao 1.8, Grok 4.1 Fast, Nano Banana Pro, and Seedream 4.5
- Title（参考訳）: GPT-5.2, Gemini 3 Pro, Qwen3-VL, Doubao 1.8, Grok 4.1 Fast, Nano Banana Pro, Seedream 4.5
- Abstract要約: GPT-5.2, Gemini 3 Pro, Qwen3-VL, Doubao 1.8, Grok 4.1 Fast, Nano Banana Pro, Seedream 4.5。
ベンチマーク評価,対角評価,多言語評価,コンプライアンス評価を統合した統一プロトコルを用いて,言語,視覚言語,画像生成設定の各モデルを評価する。
- 参考スコア（独自算出の注目度）: 101.4233736714284
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: The rapid evolution of Large Language Models (LLMs) and Multimodal Large Language Models (MLLMs) has produced substantial gains in reasoning, perception, and generative capability across language and vision. However, whether these advances yield commensurate improvements in safety remains unclear, in part due to fragmented evaluation practices limited to single modalities or threat models. In this report, we present an integrated safety evaluation of 7 frontier models: GPT-5.2, Gemini 3 Pro, Qwen3-VL, Doubao 1.8, Grok 4.1 Fast, Nano Banana Pro, and Seedream 4.5. We evaluate each model across language, vision-language, and image generation settings using a unified protocol that integrates benchmark evaluation, adversarial evaluation, multilingual evaluation, and compliance evaluation. Aggregating our evaluations into safety leaderboards and model safety profiles across multiple evaluation modes reveals a sharply heterogeneous safety landscape. While GPT-5.2 demonstrates consistently strong and balanced safety performance across evaluations, other models exhibit pronounced trade-offs among benchmark safety, adversarial alignment, multilingual generalization, and regulatory compliance. Both language and vision-language modalities show significant vulnerability under adversarial evaluation, with all models degrading substantially despite strong results on standard benchmarks. Text-to-image models achieve relatively stronger alignment in regulated visual risk categories, yet remain brittle under adversarial or semantically ambiguous prompts. Overall, these results show that safety in frontier models is inherently multidimensional--shaped by modality, language, and evaluation scheme, underscoring the need for standardized safety evaluations to accurately assess real-world risk and guide responsible model development and deployment.
- Abstract（参考訳）: LLM(Large Language Models)とMLLM(Multimodal Large Language Models)の急速な進化は、言語とビジョンをまたいだ推論、知覚、生成能力において大きな進歩をもたらした。
しかし、これらの進歩が安全性の複合的な改善をもたらすかどうかは不明であり、その一部は単一モダリティや脅威モデルに限定された断片化された評価手法によるものである。
GPT-5.2, Gemini 3 Pro, Qwen3-VL, Doubao 1.8, Grok 4.1 Fast, Nano Banana Pro, Seedream 4.5。
ベンチマーク評価,対角評価,多言語評価,コンプライアンス評価を統合した統一プロトコルを用いて,言語,視覚言語,画像生成設定の各モデルを評価する。
評価を複数の評価モードにまたがって安全板とモデル安全プロファイルに集約すると、非常に異質な安全景観が明らかになる。
GPT-5.2は、評価において一貫して強固でバランスの取れた安全性能を示すが、他のモデルでは、ベンチマーク安全性、逆アライメント、多言語一般化、規制コンプライアンスのトレードオフが顕著である。
言語と視覚言語の両方のモダリティは、標準ベンチマークの強い結果にもかかわらず、すべてのモデルが大幅に劣化する一方で、敵対的評価の下で重大な脆弱性を示す。
テキスト・ツー・イメージ・モデルは、規制された視覚的リスクカテゴリーにおいて比較的強いアライメントを達成するが、敵対的あるいは意味的に曖昧なプロンプトの下では不安定なままである。
これらの結果から,フロンティアモデルの安全性は,モダリティ,言語,評価スキームによって本質的に多次元形状であり,現実世界のリスクを正確に評価し,責任あるモデル開発と展開を導くための標準化された安全性評価の必要性が示唆された。
関連論文リスト
- ForesightSafety-VLA: A Unified Diagnostic Safety Benchmark for Vision-Language-Action Models [7.1396544907031165]
本稿では,視覚自明な動作(VLA)システムにおいて,安全性を主要な評価対象とする診断ベンチマークであるForesightSafety-VLAを紹介する。
物理的相互作用安全性(セーフコア)、命令側安全(セーフラング)、知覚側安全(セーフビジョン)を対象とする13カテゴリーの安全分類を定義する。
我々は,RoboTwinの66の安全拡張ベースシナリオを5つの実施形態でインスタンス化し,代表VLAベースラインについて報告する。
論文 参考訳（メタデータ） (2026-06-25T14:19:36Z) - OOD-MMSafe: Advancing MLLM Safety from Harmful Intent to Hidden Consequences [64.01706941950489]
現在の安全パラダイムは、主に悪意のある意図や状況違反をターゲットとしている。
我々は,自律型および実施型エージェントのロバスト展開に不可欠なパラダイムである,結果駆動型安全に向けた安全フロンティアのシフトを提案する。
本稿では,トークンレベルの自己蒸留報酬の動的参照として,モデル固有の推論を統合したCASPO(Consequence-Aware Safety Policy Optimization)フレームワークを開発する。
論文 参考訳（メタデータ） (2026-03-10T14:16:43Z) - SalamahBench: Toward Standardized Safety Evaluation for Arabic Language Models [6.0860786631767185]
本稿ではアラビア語モデル(ALM)の安全性を評価する統一ベンチマークであるSalamaBenchを紹介する。
このベンチマークを用いて,Fanar 1,2,ALLaM 2,Falcon H1R,Jais 2の5つの最先端ALMを複数のセーフガード構成で評価した。
論文 参考訳（メタデータ） (2026-02-03T12:13:42Z) - ProGuard: Towards Proactive Multimodal Safeguard [48.89789547707647]
ProGuardは視覚言語プロアクティブガードであり、アウト・オブ・ディストリビューション(OOD)の安全性リスクを特定し記述する。
まず,2次安全ラベルとリスクカテゴリの両方を付加した87Kサンプルのモダリティバランスデータセットを構築した。
次に、強化学習を通して視覚言語ベースモデルを純粋に訓練し、効率的かつ簡潔な推論を実現する。
論文 参考訳（メタデータ） (2025-12-29T16:13:23Z) - OutSafe-Bench: A Benchmark for Multimodal Offensive Content Detection in Large Language Models [54.80460603255789]
マルチモーダル時代に設計された,最も包括的なコンテンツ安全性評価テストスイートであるOutSafe-Benchを紹介する。
OutSafe-Benchには、4つのモダリティにまたがる大規模なデータセットが含まれており、18,000以上のバイリンガル(中国語と英語)テキストプロンプト、4500のイメージ、450のオーディオクリップ、450のビデオが9つの重要なコンテンツリスクカテゴリで体系的に注釈付けされている。
このデータセットに加えて,多次元クロスリスクスコア(Multidimensional Cross Risk Score, MCRS)も導入した。
論文 参考訳（メタデータ） (2025-11-13T13:18:27Z) - Prompt Injection as an Emerging Threat: Evaluating the Resilience of Large Language Models [0.0]
本研究では,Large Language Models (LLM) のインジェクション攻撃に対する耐性を評価するための統一フレームワークを提案する。
このフレームワークは、堅牢性、安全性、セマンティック安定性を共同で測定するRDI(Resilience Degradation Index)、SCC(Safety Compliance Coefficient)、IIM(Constructal Integrity Metric)という3つの指標を定義している。
論文 参考訳（メタデータ） (2025-11-03T14:43:56Z) - Qwen3Guard Technical Report [127.69960525219051]
Qwen3Guardは、多言語安全ガードレールモデルである。
生成的Qwen3Guardは、きめ細かい三級判定を可能にする命令追従タスクとして安全分類をキャストする。
Stream Qwen3Guardは、リアルタイム安全監視のためのトークンレベルの分類ヘッドを導入している。
論文 参考訳（メタデータ） (2025-10-16T04:00:18Z) - DUAL-Bench: Measuring Over-Refusal and Robustness in Vision-Language Models [59.45605332033458]
安全メカニズムはバックファイアし、過剰な拒絶を引き起こし、モデルが過度に注意を払って良質な要求を減らします。
既存のベンチマークは、視覚的モダリティの過剰な拒絶に体系的に対処していない。
この設定は、命令が無害であるが付随する画像には有害な内容が含まれているというような、ユニークな課題をもたらす。
論文 参考訳（メタデータ） (2025-10-12T23:21:34Z) - SaFeR-VLM: Toward Safety-aware Fine-grained Reasoning in Multimodal Models [66.71948519280669]
MLRM(Multimodal Large Reasoning Models)は、クロスモーダルな推論を示すが、しばしば敵のプロンプトによる安全性のリスクを増幅する。
既存の防御は主に出力レベルで動作し、推論プロセスを制約せず、モデルは暗黙のリスクに置かれる。
4つのコンポーネントを統合し,表面レベルのフィルタリングを超える動的かつ解釈可能な安全性決定をサポートするSaFeR-VLMを提案する。
論文 参考訳（メタデータ） (2025-10-08T10:39:12Z) - PL-Guard: Benchmarking Language Model Safety for Polish [43.39208658482427]
ポーランド語における言語モデルの安全性分類のために,手動で注釈付きベンチマークデータセットを導入する。
また、モデルロバスト性に挑戦するために設計されたこれらのサンプルの逆摂動変異体も作成する。
我々は、アノテーション付きデータの異なる組み合わせを用いてこれらのモデルをトレーニングし、それらのパフォーマンスを評価し、公開されているガードモデルと比較する。
論文 参考訳（メタデータ） (2025-06-19T13:56:41Z) - REVEAL: Multi-turn Evaluation of Image-Input Harms for Vision LLM [0.098314893665023]
視覚大言語モデル(VLLM)における画像入力障害を評価するためのスケーラブルで自動化されたパイプラインであるREVEAL Frameworkを紹介する。
VLLMs, GPT-4o, Llama-3.2, Qwen2-VL, Phi3.5V, Pixtralの5種を, 性的被害, 暴力, 誤報の3つの重要な危険カテゴリーで評価した。
GPT-4oは、我々の安全ユーザビリティ指標(SUI)で測定された最もバランスの取れた性能を示し、Pixtralに近づいた。
論文 参考訳（メタデータ） (2025-05-07T10:09:55Z) - Towards Understanding the Safety Boundaries of DeepSeek Models: Evaluation and Findings [51.65890794988425]
本研究は,DeepSeekモデルの最初の包括的安全性評価である。
評価対象は,DeepSeekの最新の大規模言語モデル,マルチモーダル大規模言語モデル,テキスト・ツー・イメージモデルである。
論文 参考訳（メタデータ） (2025-03-19T10:44:37Z) - Rethinking Bottlenecks in Safety Fine-Tuning of Vision Language Models [25.606641582511106]
モデル性能を向上させるために,マルチイメージ入力と安全チェーン・オブ・ソート(CoT)ラベルを微粒な推論ロジックとして統合する新しいデータセットを提案する。
実験の結果,MISを用いた微調整InternVL2.5-8Bは,マルチイメージタスクに挑戦する上で,強力なオープンソースモデルとAPIベースモデルの両方を著しく上回っていることがわかった。
論文 参考訳（メタデータ） (2025-01-30T17:59:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。