論文の概要: XL-SafetyBench: A Country-Grounded Cross-Cultural Benchmark for LLM Safety and Cultural Sensitivity

• arxiv url: http://arxiv.org/abs/2605.05662v1
• Date: Thu, 07 May 2026 04:35:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-08 22:27:11.518045
• Title: XL-SafetyBench: A Country-Grounded Cross-Cultural Benchmark for LLM Safety and Cultural Sensitivity
• Title（参考訳）: XL-SafetyBench: LLMの安全性と文化的感受性に関する国別クロスカルチャーベンチマーク
• Authors: Dasol Choi, Eugenia Kim, Jaewon Noh, Sang Seo, Eunmi Kim, Myunggyo Oh, Yunjin Park, Brigitta Jesica Kartono, Josef Pichlmeier, Helena Berndt, Sai Krishna Mendu, Glenn Johannes Tungka, Özlem Gökçe, Suresh Gehlot, Katherine Pratt, Amanda Minnich, Haon Park,
• Abstract要約: XL-SafetyBenchは10の国語対にわたる5500のテストケーススイートである。 国に面した敵のプロンプトのジェイルブレイクベンチマークと、地元の感性が無害な要求に埋め込まれた文化ベンチマークで構成されている。 各アイテムは多段階パイプラインを通じて構築され、LSM支援の原則的発見、自動検証ゲート、国毎に独立したネイティブスピーカーアノテーションが組み合わされている。
• 参考スコア（独自算出の注目度）: 3.342964361434013
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Current LLM safety benchmarks are predominantly English-centric and often rely on translation, failing to capture country-specific harms. Moreover, they rarely evaluate a model's ability to detect culturally embedded sensitivities as distinct from universal harms. We introduce XL-SafetyBench. a suite of 5,500 test cases across 10 country-language pairs, comprising a Jailbreak Benchmark of country-grounded adversarial prompts and a Cultural Benchmark where local sensitivities are embedded within innocuous requests. Each item is constructed via a multi-stage pipeline that combines LLM-assisted discovery, automated validation gates, and dual independent native-speaker annotators per country. To distinguish principled refusal from comprehension failure, we evaluate Attack Success Rate (ASR) alongside two complementary metrics we introduce: Neutral-Safe Rate (NSR) and Cultural Sensitivity Rate (CSR). Evaluating 10 frontier and 27 local LLMs reveals two key findings. First, jailbreak robustness and cultural awareness do not show a coupled relationship among frontier models, so a composite safety score obscures per-axis variation. Second, local models exhibit a near-linear ASR-NSR trade-off (r = -0.81), indicating that their apparent safety reflects generation failure rather than genuine alignment. XL-SafetyBench enables more nuanced, cross-cultural safety evaluation in the multilingual era.
• Abstract（参考訳）: 現在のLLMの安全性ベンチマークは、主に英語中心であり、しばしば翻訳に依存しており、国固有の害を捉えていない。 さらに、文化的に埋め込まれた感性を検出する能力が、普遍的な害とは別物であると評価されることは滅多にない。 我々はXL-SafetyBenchを紹介する。 10の国語対にわたる5500件のテストケースのスイートで、国語対のプロンプトのジェイルブレイクベンチマークと、地元の感性が無害な要求に埋め込まれた文化ベンチマークで構成されている。 各アイテムは多段階パイプラインを通じて構築され、LDM支援ディスカバリ、自動バリデーションゲート、国毎に独立したネイティブスピーカーアノテータが組み合わされている。 原則的拒絶と理解的失敗を区別するため,我々は,ニュートラルセーフレート (NSR) とカルチャーセンシティビティレート (CSR) の2つの相補的な指標とともに,勝利の成功率 (ASR) を評価した。 10のフロンティアと27のローカルLCMを評価したところ、2つの重要な発見が判明した。 第一に、ジェイルブレイクの頑健さと文化意識はフロンティアモデル間の結合関係を示さないため、複合安全性スコアは軸ごとの変動を明らかにしない。 第2に、局所モデルはほぼ直線的なASR-NSRトレードオフ(r = -0.81)を示し、その明らかな安全性は真のアライメントではなく生成失敗を反映していることを示している。 XL-SafetyBenchは多言語時代のより微妙で文化横断的な安全性評価を可能にする。

関連論文リスト

• IndicSafe: A Benchmark for Evaluating Multilingual LLM Safety in South Asia [0.6978180153516672]
  Indic言語12言語を対象に,大規模言語モデル(LLM)の安全性を初めて体系的に評価した。 言語間の合意はわずか12.8%であり、textttSAFEレートは言語間で17%を超えている。 Indicデプロイメントの文化的な安全性評価を可能にする最初のベンチマークである textscIndicSafe をリリースする。
  論文  参考訳（メタデータ） (2026-03-18T16:54:07Z)
• Can Large Language Models Make Everyone Happy? [12.59854280011403]
  LLM(Large Language Models)は、安全性、価値、文化的側面を同時に満たさないことを指す。 メカニカルプロファイリングにインスパイアされたミスアライメントトレードオフを測定するための統一ベンチマークであるMisAlign-Profileを紹介する。
  論文  参考訳（メタデータ） (2026-02-11T17:57:23Z)
• SalamahBench: Toward Standardized Safety Evaluation for Arabic Language Models [6.0860786631767185]
  本稿ではアラビア語モデル(ALM)の安全性を評価する統一ベンチマークであるSalamaBenchを紹介する。 このベンチマークを用いて,Fanar 1,2,ALLaM 2,Falcon H1R,Jais 2の5つの最先端ALMを複数のセーフガード構成で評価した。
  論文  参考訳（メタデータ） (2026-02-03T12:13:42Z)
• SEA-SafeguardBench: Evaluating AI Safety in SEA Languages and Cultures [36.95168918567729]
  既存のマルチ言語安全ベンチマークは、しばしば機械翻訳された英語データに依存している。 SEA-SafeguardBenchは,SEAの最初の人間認証安全ベンチマークである。 8つの言語、21,640のサンプル、および3つのサブセット(ジェネラル、イン・ザ・ワイルド、コンテンツ生成)をカバーする。
  論文  参考訳（メタデータ） (2025-12-05T07:57:57Z)
• OutSafe-Bench: A Benchmark for Multimodal Offensive Content Detection in Large Language Models [54.80460603255789]
  マルチモーダル時代に設計された,最も包括的なコンテンツ安全性評価テストスイートであるOutSafe-Benchを紹介する。 OutSafe-Benchには、4つのモダリティにまたがる大規模なデータセットが含まれており、18,000以上のバイリンガル(中国語と英語)テキストプロンプト、4500のイメージ、450のオーディオクリップ、450のビデオが9つの重要なコンテンツリスクカテゴリで体系的に注釈付けされている。 このデータセットに加えて,多次元クロスリスクスコア(Multidimensional Cross Risk Score, MCRS)も導入した。
  論文  参考訳（メタデータ） (2025-11-13T13:18:27Z)
• Which Cultural Lens Do Models Adopt? On Cultural Positioning Bias and Agentic Mitigation in LLMs [53.07843733899881]
  大規模言語モデル(LLM)は、幅広い下流生成アプリケーションをアンロックした。 また、米国主流の文化の観点から、文化にまつわる微妙な公平性の問題に対処し、世代を配置するリスクも見いだす。 本稿では、これらのバイアスを解決するための2つの推論時間緩和法を提案する。
  論文  参考訳（メタデータ） (2025-09-25T12:28:25Z)
• XGUARD: A Graded Benchmark for Evaluating Safety Failures of Large Language Models on Extremist Content [3.4303348430261202]
  我々は,Large Language Models (LLMs) が生成する過激派コンテンツの重大さを評価するためのベンチマークおよび評価フレームワーク XGUARD を提案する。 XGUARDには、ソーシャルメディアやニュースなどの現実世界のデータから得られた3,840のレッド・チーム・プロンプトが含まれており、イデオロギー的なシナリオを幅広くカバーしている。 本フレームワークでは, モデル応答を5つの危険レベル(0～4)に分類し, 故障頻度と重大度の両方をより微妙に分析する。
  論文  参考訳（メタデータ） (2025-06-01T11:48:54Z)
• ALERT: A Comprehensive Benchmark for Assessing Large Language Models' Safety through Red Teaming [64.86326523181553]
  ALERTは、新しいきめ細かいリスク分類に基づいて安全性を評価するための大規模なベンチマークである。 脆弱性を特定し、改善を通知し、言語モデルの全体的な安全性を高めることを目的としている。
  論文  参考訳（メタデータ） (2024-04-06T15:01:47Z)
• Fake Alignment: Are LLMs Really Aligned Well? [91.26543768665778]
  本研究では,複数質問とオープンエンド質問の相違点について検討した。 ジェイルブレイク攻撃パターンの研究にインスパイアされた我々は、これが不一致の一般化によって引き起こされたと論じている。
  論文  参考訳（メタデータ） (2023-11-10T08:01:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。