論文の概要: XL-SafetyBench: A Country-Grounded Cross-Cultural Benchmark for LLM Safety and Cultural Sensitivity

• arxiv url: http://arxiv.org/abs/2605.05662v1
• Date: Thu, 07 May 2026 04:35:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-08 22:27:11.518045
• Title: XL-SafetyBench: A Country-Grounded Cross-Cultural Benchmark for LLM Safety and Cultural Sensitivity
• Title（参考訳）: XL-SafetyBench: LLMの安全性と文化的感受性に関する国別クロスカルチャーベンチマーク
• Abstract要約: XL-SafetyBenchは10の国語対にわたる5500のテストケーススイートである。 国に面した敵のプロンプトのジェイルブレイクベンチマークと、地元の感性が無害な要求に埋め込まれた文化ベンチマークで構成されている。 各アイテムは多段階パイプラインを通じて構築され、LSM支援の原則的発見、自動検証ゲート、国毎に独立したネイティブスピーカーアノテーションが組み合わされている。
• 参考スコア（独自算出の注目度）: 3.342964361434013
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Current LLM safety benchmarks are predominantly English-centric and often rely on translation, failing to capture country-specific harms. Moreover, they rarely evaluate a model's ability to detect culturally embedded sensitivities as distinct from universal harms. We introduce XL-SafetyBench. a suite of 5,500 test cases across 10 country-language pairs, comprising a Jailbreak Benchmark of country-grounded adversarial prompts and a Cultural Benchmark where local sensitivities are embedded within innocuous requests. Each item is constructed via a multi-stage pipeline that combines LLM-assisted discovery, automated validation gates, and dual independent native-speaker annotators per country. To distinguish principled refusal from comprehension failure, we evaluate Attack Success Rate (ASR) alongside two complementary metrics we introduce: Neutral-Safe Rate (NSR) and Cultural Sensitivity Rate (CSR). Evaluating 10 frontier and 27 local LLMs reveals two key findings. First, jailbreak robustness and cultural awareness do not show a coupled relationship among frontier models, so a composite safety score obscures per-axis variation. Second, local models exhibit a near-linear ASR-NSR trade-off (r = -0.81), indicating that their apparent safety reflects generation failure rather than genuine alignment. XL-SafetyBench enables more nuanced, cross-cultural safety evaluation in the multilingual era.
• Abstract（参考訳）: 現在のLLMの安全性ベンチマークは、主に英語中心であり、しばしば翻訳に依存しており、国固有の害を捉えていない。 さらに、文化的に埋め込まれた感性を検出する能力が、普遍的な害とは別物であると評価されることは滅多にない。 我々はXL-SafetyBenchを紹介する。 10の国語対にわたる5500件のテストケースのスイートで、国語対のプロンプトのジェイルブレイクベンチマークと、地元の感性が無害な要求に埋め込まれた文化ベンチマークで構成されている。 各アイテムは多段階パイプラインを通じて構築され、LDM支援ディスカバリ、自動バリデーションゲート、国毎に独立したネイティブスピーカーアノテータが組み合わされている。 原則的拒絶と理解的失敗を区別するため,我々は,ニュートラルセーフレート (NSR) とカルチャーセンシティビティレート (CSR) の2つの相補的な指標とともに,勝利の成功率 (ASR) を評価した。 10のフロンティアと27のローカルLCMを評価したところ、2つの重要な発見が判明した。 第一に、ジェイルブレイクの頑健さと文化意識はフロンティアモデル間の結合関係を示さないため、複合安全性スコアは軸ごとの変動を明らかにしない。 第2に、局所モデルはほぼ直線的なASR-NSRトレードオフ(r = -0.81)を示し、その明らかな安全性は真のアライメントではなく生成失敗を反映していることを示している。 XL-SafetyBenchは多言語時代のより微妙で文化横断的な安全性評価を可能にする。

関連論文リスト

• SurakshaEval: An Indic Safety Benchmark for Multilingual LLMs [56.34354368047577]
  既存の言語モデル(LLM)の安全性評価データセットは、主に英語と西洋の文脈に焦点を当てている。 現実世界のシナリオにまたがる人書きプロンプトで構成される新しい安全ベンチマークであるSurakshaEvalを紹介する。 我々は、SurakshaEval上で最先端のLLMをベンチマークし、ベースライン安全性能を確立し、繰り返し発生する障害モードを特定する。
  論文  参考訳（メタデータ） (2026-08-08T02:03:33Z)
• CHILLGuard: Towards Fine-Grained Chinese LLM Safety Guardrail with Scalable Data Construction and Model-aware Preference Alignment [55.74660714572696]
  大きな言語モデル(LLM)から生成された悪意のあるコンテンツは、深刻な安全リスクと倫理的懸念を引き起こす可能性がある。 既存のLLMの安全ガードレールは英語や多言語の設定では優れているが、中国固有の規制政策、文化的文脈、言語的ニュアンスには適応していない。 我々は,中国のシナリオに対して,5マクロ,31マイクロカテゴリの細粒度リスク分類を導入し,中国向けLLMコンテンツ安全ガードレールであるCHILLGuardを構築した。
  論文  参考訳（メタデータ） (2026-06-13T16:57:51Z)
• Schützen: Evaluating LLM Safety in Bulgarian and German Contexts [53.865251738592605]
  本稿では、リスク下でのモデル応答性を評価するために設計された、ドイツとブルガリアの安全データセットであるSchtzenを紹介する。 多言語および言語固有のLLMを用いた実験では、安全行動の言語間差が顕著である。
  論文  参考訳（メタデータ） (2026-06-09T18:01:19Z)
• Beyond English and Evasion: A Human-Annotated Multi-Domain Benchmark for High-Stakes LLM Safety Evaluation in Chinese [1.0221857326642831]
  ChiSafe-PASは、1,897の中国のプロンプトの人間による注釈付きベンチマークである。 セルフハームと暴力、麻薬と違法取引、詐欺、風刺の4つの高い領域をカバーしている。 本稿では,データセットの設計,アノテーションプロセス,難読化分類について述べる。
  論文  参考訳（メタデータ） (2026-05-28T09:28:51Z)
• KSAFE-MM: A Multimodal Safety Benchmark via Localized Contextualization for Korean Cultural Risks [11.227509564873621]
  本稿では,韓国のマルチモーダル安全性評価ベンチマークであるKSAFE-MMを紹介する。 KSAFE-MMはKSAFE-MM-GとKSAFE-MM-Cの2つの部分からなる。 我々は、KSAFE-MM上で12の最先端MLLMを評価し、ジェネリックモデルよりも文化的な攻撃に対する脆弱性が大きいことを示した。
  論文  参考訳（メタデータ） (2026-05-27T06:08:54Z)
• ROK-FORTRESS: Measuring the Effect of Geopolitical Transcreation for National Security and Public Safety [2.929429337200341]
  大規模言語モデルの安全性評価は、国家安全・公共安全(NSPS)リスクをますますターゲットにしている。 言語と地政学的文脈の相互作用の実証的な証拠は 狭い言語対に限られています EmphROK-FORTRESSは、英語と韓国語の組み合わせと米国-ROKの地政軸をケーススタディとして用いた、バイリンガルで文化的に敵対的なNSPSベンチマークである。
  論文  参考訳（メタデータ） (2026-05-13T22:07:22Z)
• IndicSafe: A Benchmark for Evaluating Multilingual LLM Safety in South Asia [0.6978180153516672]
  Indic言語12言語を対象に,大規模言語モデル(LLM)の安全性を初めて体系的に評価した。 言語間の合意はわずか12.8%であり、textttSAFEレートは言語間で17%を超えている。 Indicデプロイメントの文化的な安全性評価を可能にする最初のベンチマークである textscIndicSafe をリリースする。
  論文  参考訳（メタデータ） (2026-03-18T16:54:07Z)
• Can Large Language Models Make Everyone Happy? [12.59854280011403]
  LLM(Large Language Models)は、安全性、価値、文化的側面を同時に満たさないことを指す。 メカニカルプロファイリングにインスパイアされたミスアライメントトレードオフを測定するための統一ベンチマークであるMisAlign-Profileを紹介する。
  論文  参考訳（メタデータ） (2026-02-11T17:57:23Z)
• SalamahBench: Toward Standardized Safety Evaluation for Arabic Language Models [6.0860786631767185]
  本稿ではアラビア語モデル(ALM)の安全性を評価する統一ベンチマークであるSalamaBenchを紹介する。 このベンチマークを用いて,Fanar 1,2,ALLaM 2,Falcon H1R,Jais 2の5つの最先端ALMを複数のセーフガード構成で評価した。
  論文  参考訳（メタデータ） (2026-02-03T12:13:42Z)
• SEA-SafeguardBench: Evaluating AI Safety in SEA Languages and Cultures [36.95168918567729]
  既存のマルチ言語安全ベンチマークは、しばしば機械翻訳された英語データに依存している。 SEA-SafeguardBenchは,SEAの最初の人間認証安全ベンチマークである。 8つの言語、21,640のサンプル、および3つのサブセット(ジェネラル、イン・ザ・ワイルド、コンテンツ生成)をカバーする。
  論文  参考訳（メタデータ） (2025-12-05T07:57:57Z)
• OutSafe-Bench: A Benchmark for Multimodal Offensive Content Detection in Large Language Models [54.80460603255789]
  マルチモーダル時代に設計された,最も包括的なコンテンツ安全性評価テストスイートであるOutSafe-Benchを紹介する。 OutSafe-Benchには、4つのモダリティにまたがる大規模なデータセットが含まれており、18,000以上のバイリンガル(中国語と英語)テキストプロンプト、4500のイメージ、450のオーディオクリップ、450のビデオが9つの重要なコンテンツリスクカテゴリで体系的に注釈付けされている。 このデータセットに加えて,多次元クロスリスクスコア(Multidimensional Cross Risk Score, MCRS)も導入した。
  論文  参考訳（メタデータ） (2025-11-13T13:18:27Z)
• Which Cultural Lens Do Models Adopt? On Cultural Positioning Bias and Agentic Mitigation in LLMs [53.07843733899881]
  大規模言語モデル(LLM)は、幅広い下流生成アプリケーションをアンロックした。 また、米国主流の文化の観点から、文化にまつわる微妙な公平性の問題に対処し、世代を配置するリスクも見いだす。 本稿では、これらのバイアスを解決するための2つの推論時間緩和法を提案する。
  論文  参考訳（メタデータ） (2025-09-25T12:28:25Z)
• XGUARD: A Graded Benchmark for Evaluating Safety Failures of Large Language Models on Extremist Content [3.4303348430261202]
  我々は,Large Language Models (LLMs) が生成する過激派コンテンツの重大さを評価するためのベンチマークおよび評価フレームワーク XGUARD を提案する。 XGUARDには、ソーシャルメディアやニュースなどの現実世界のデータから得られた3,840のレッド・チーム・プロンプトが含まれており、イデオロギー的なシナリオを幅広くカバーしている。 本フレームワークでは, モデル応答を5つの危険レベル(0～4)に分類し, 故障頻度と重大度の両方をより微妙に分析する。
  論文  参考訳（メタデータ） (2025-06-01T11:48:54Z)
• ALERT: A Comprehensive Benchmark for Assessing Large Language Models' Safety through Red Teaming [64.86326523181553]
  ALERTは、新しいきめ細かいリスク分類に基づいて安全性を評価するための大規模なベンチマークである。 脆弱性を特定し、改善を通知し、言語モデルの全体的な安全性を高めることを目的としている。
  論文  参考訳（メタデータ） (2024-04-06T15:01:47Z)
• Fake Alignment: Are LLMs Really Aligned Well? [91.26543768665778]
  本研究では,複数質問とオープンエンド質問の相違点について検討した。 ジェイルブレイク攻撃パターンの研究にインスパイアされた我々は、これが不一致の一般化によって引き起こされたと論じている。
  論文  参考訳（メタデータ） (2023-11-10T08:01:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。