論文の概要: Lingua-SafetyBench: A Benchmark for Safety Evaluation of Multilingual Vision-Language Models

• arxiv url: http://arxiv.org/abs/2601.22737v1
• Date: Fri, 30 Jan 2026 09:18:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-02 18:28:15.341756
• Title: Lingua-SafetyBench: A Benchmark for Safety Evaluation of Multilingual Vision-Language Models
• Title（参考訳）: Lingua-SafetyBench:多言語視覚言語モデルの安全性評価ベンチマーク
• Authors: Enyi Shi, Pengyang Shao, Yanxin Zhang, Chenhang Cui, Jiayi Lyu, Xu Xie, Xiaobo Xia, Fei Shen, Tat-Seng Chua,
• Abstract要約: 既存のベンチマークは、典型的にはマルチリンガルだがテキストのみ、あるいはマルチモーダルだがモノリンガルである。 近年の多言語的赤チームの取り組みは、画像に有害なプロンプトを与えるが、タイポグラフィースタイルの視覚に強く依存している。 10言語にまたがる100,440の有害な画像テキストペアのベンチマークを導入し、明示的に画像支配サブセットとテキスト支配サブセットに分割する。
• 参考スコア（独自算出の注目度）: 54.10540442330978
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Robust safety of vision-language large models (VLLMs) under joint multilingual and multimodal inputs remains underexplored. Existing benchmarks are typically multilingual but text-only, or multimodal but monolingual. Recent multilingual multimodal red-teaming efforts render harmful prompts into images, yet rely heavily on typography-style visuals and lack semantically grounded image-text pairs, limiting coverage of realistic cross-modal interactions. We introduce Lingua-SafetyBench, a benchmark of 100,440 harmful image-text pairs across 10 languages, explicitly partitioned into image-dominant and text-dominant subsets to disentangle risk sources. Evaluating 11 open-source VLLMs reveals a consistent asymmetry: image-dominant risks yield higher ASR in high-resource languages, while text-dominant risks are more severe in non-high-resource languages. A controlled study on the Qwen series shows that scaling and version upgrades reduce Attack Success Rate (ASR) overall but disproportionately benefit HRLs, widening the gap between HRLs and Non-HRLs under text-dominant risks. This underscores the necessity of language- and modality-aware safety alignment beyond mere scaling.To facilitate reproducibility and future research, we will publicly release our benchmark, model checkpoints, and source code.The code and dataset will be available at https://github.com/zsxr15/Lingua-SafetyBench.Warning: this paper contains examples with unsafe content.
• Abstract（参考訳）: 視覚言語大モデル(VLLM)の多言語入力と多モーダル入力によるロバスト安全性は未解明のままである。 既存のベンチマークは、典型的にはマルチリンガルだがテキストのみ、あるいはマルチモーダルだがモノリンガルである。 近年の多言語マルチモーダル・レッドチームの取り組みは、画像に有害なプロンプトを与えるが、タイポグラフィースタイルの視覚に強く依存し、意味的に基底付けられた画像とテキストのペアが欠如し、現実的な相互モーダル相互作用のカバレッジを制限する。 10言語にわたる100,440の有害な画像テキストペアのベンチマークであるLingua-SafetyBenchを紹介した。 11のオープンソースVLLMを評価すると、一貫した非対称性が明らかになる。 Qwenシリーズの制御された研究によると、スケーリングとバージョンアップグレードは全体としてアタック成功率(ASR)を低下させるが、不均等にHRLに利益をもたらし、テキスト支配リスク下でHRLと非HRLのギャップを広げている。 再現性と将来の研究を促進するために、我々のベンチマーク、モデルチェックポイント、ソースコードを公開します。コードとデータセットはhttps://github.com/zsxr15/Lingua-SafetyBench.Warning: この論文には、安全でないコンテンツの例が含まれています。

関連論文リスト

• RabakBench: Scaling Human Annotations to Construct Localized Multilingual Safety Benchmarks for Low-Resource Languages [3.7678366606419345]
  RabakBenchはシンガポール独自の言語コンテキストにローカライズされた新しい多言語安全ベンチマークである。 人間の検証された翻訳や評価コードを含むベンチマークデータセットが公開されている。
  論文  参考訳（メタデータ） (2025-07-08T13:37:25Z)
• MrGuard: A Multilingual Reasoning Guardrail for Universal LLM Safety [56.77103365251923]
  大規模言語モデル(LLM)は、ジェイルブレイクのような敵の攻撃を受けやすい。 この脆弱性は、多言語セーフティアライメントされたデータが制限される多言語設定で悪化する。 素早い分類のための多言語ガードレールを提案する。
  論文  参考訳（メタデータ） (2025-04-21T17:15:06Z)
• The Hidden Space of Safety: Understanding Preference-Tuned LLMs in Multilingual context [0.9130277390156759]
  アライメントチューニングにより、大きな言語モデルは、推論、命令追従、有害な世代を最小化できる。 広く展開されているにもかかわらず、これらのモデルはモノリンガルバイアスを示し、言語間のアライメントの有効性に関する懸念を提起する。 現在のアライメント手法は主に英語に重点を置いており、アライメント機構が多言語設定にどのように一般化するかははっきりしない。
  論文  参考訳（メタデータ） (2025-04-03T15:46:46Z)
• Text Embedding Inversion Security for Multilingual Language Models [2.790855523145802]
  研究は、基礎となるモデルに関する知識がなくても、埋め込みからテキストを再構築できることを示している。 本研究は,単言語・多言語・多言語・多言語・多言語・多言語・多言語・多言語・多言語・多言語・多言語・多言語・多言語・多言語・多言語・多言語・多言語・多言語・多言語・多言語・多言語・多言語・多言語・多言語・多言語・多言語・多言語・多言語・多言語・多言語・多言語・多言語・多言語・多言語・多言語
  論文  参考訳（メタデータ） (2024-01-22T18:34:42Z)
• All Languages Matter: On the Multilingual Safety of Large Language Models [96.47607891042523]
  我々は、大規模言語モデル(LLM)のための最初の多言語安全ベンチマークを構築した。 XSafetyは、複数の言語ファミリーにまたがる10言語にわたる14種類の一般的な安全問題をカバーしている。 本稿では,ChatGPTの多言語安全性向上のための簡易かつ効果的なプロンプト手法を提案する。
  論文  参考訳（メタデータ） (2023-10-02T05:23:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。