論文の概要: IndicSafe: A Benchmark for Evaluating Multilingual LLM Safety in South Asia
- arxiv url: http://arxiv.org/abs/2603.17915v1
- Date: Wed, 18 Mar 2026 16:54:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-19 18:32:57.830627
- Title: IndicSafe: A Benchmark for Evaluating Multilingual LLM Safety in South Asia
- Title（参考訳）: IndicSafe: 東南アジアにおける多言語LLM安全性評価ベンチマーク
- Abstract要約: Indic言語12言語を対象に,大規模言語モデル(LLM)の安全性を初めて体系的に評価した。
言語間の合意はわずか12.8%であり、textttSAFEレートは言語間で17%を超えている。
Indicデプロイメントの文化的な安全性評価を可能にする最初のベンチマークである textscIndicSafe をリリースする。
- 参考スコア（独自算出の注目度）: 0.6978180153516672
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As large language models (LLMs) are deployed in multilingual settings, their safety behavior in culturally diverse, low-resource languages remains poorly understood. We present the first systematic evaluation of LLM safety across 12 Indic languages, spoken by over 1.2 billion people but underrepresented in LLM training data. Using a dataset of 6,000 culturally grounded prompts spanning caste, religion, gender, health, and politics, we assess 10 leading LLMs on translated variants of the prompt. Our analysis reveals significant safety drift: cross-language agreement is just 12.8\%, and \texttt{SAFE} rate variance exceeds 17\% across languages. Some models over-refuse benign prompts in low-resource scripts, overflag politically sensitive topics, while others fail to flag unsafe generations. We quantify these failures using prompt-level entropy, category bias scores, and multilingual consistency indices. Our findings highlight critical safety generalization gaps in multilingual LLMs and show that safety alignment does not transfer evenly across languages. We release \textsc{IndicSafe}, the first benchmark to enable culturally informed safety evaluation for Indic deployments, and advocate for language-aware alignment strategies grounded in regional harms.
- Abstract（参考訳）: 大規模言語モデル(LLM)は多言語設定でデプロイされるため、文化的に多様な低リソース言語における安全性の挙動は理解されていない。
本報告では、12言語を対象にしたLLMの安全性を初めて体系的に評価し、12億人以上で話されているが、LLMのトレーニングデータでは不足している。
文化に根ざした6000のプロンプトのデータセットを用いて、そのプロンプトの翻訳変種に基づいて、キャスト、宗教、性別、健康、政治にまたがる10のLLMを評価した。
言語間合意はわずか12.8 %であり, \texttt{SAFE} の差は言語間で17 %以上である。
一部のモデルは、低リソースのスクリプトや政治的に敏感なトピックを過剰に排除するが、他のモデルは安全でない世代にフラグを付けない。
我々は,これらの障害を,プロンプトレベルエントロピー,カテゴリーバイアススコア,多言語一貫性指標を用いて定量化する。
本研究は,多言語LLMにおける安全性の一般化の欠如に注目し,安全性の整合性が言語間で均等に伝達されないことを示す。
Indicデプロイメントの文化的情報に基づく安全性評価を可能にする最初のベンチマークである \textsc{IndicSafe} をリリースし、地域的危害に根ざした言語対応アライメント戦略を提唱する。
関連論文リスト
- IndicSafeEval: Safety Robustness of Large Language Models under Multilingual Persuasive Jailbreak Attacks [33.08360320836576]
IndicSafeEvalは、インドの言語に対する説得力に基づくジェイルブレイク評価フレームワークである。
私たちのベンチマークでは、安全クリティカルなコンテンツカテゴリー10と、異なる4つのインドの言語にわたる6つの人間のような説得戦略を組み合わせています。
我々の分析は、モデルがすべての言語やプロンプトスタイルに対して均等に振る舞うわけではないことを示している。
論文 参考訳（メタデータ） (2026-09-03T12:54:44Z) - The Illusion of Cross-Lingual Safety in Low-Resource Languages [7.471112976694495]
大規模言語モデル (LLM) における安全性の整合性は、多言語設定にまたがって一般化されることを前提として、主に英語で開発されている。
文化的な局所的なプロンプトとリテラル翻訳を組み合わせた新しい安全データセットであるLoDNAを用いて,アフリカ4言語(Twi,Hausa,Amharic,Swahili)の言語間安全トランスファーを調査した。
実験の結果, 言語間の安全伝達は極めて限定的であり, 有害なプロンプトはほとんどの言語モデルペアで英語の拒絶信号の10%未満を維持していることがわかった。
論文 参考訳（メタデータ） (2026-08-11T17:05:26Z) - Schützen: Evaluating LLM Safety in Bulgarian and German Contexts [53.865251738592605]
本稿では、リスク下でのモデル応答性を評価するために設計された、ドイツとブルガリアの安全データセットであるSchtzenを紹介する。
多言語および言語固有のLLMを用いた実験では、安全行動の言語間差が顕著である。
論文 参考訳（メタデータ） (2026-06-09T18:01:19Z) - LASA: Language-Agnostic Semantic Alignment at the Semantic Bottleneck for LLM Safety [88.98698230989186]
大規模言語モデル(LLM)は、しばしば高リソース言語で強力な安全性性能を示すが、低リソース言語では深刻な脆弱性を示す。
このギャップは、言語に依存しない意味理解能力と、高リソース言語に偏った言語に支配的な安全アライメントのミスマッチによるものと考えられる。
セマンティック・アライメント(LASA)を提案し,セマンティック・ボトルネックに直接安全アライメントを固定する。
論文 参考訳（メタデータ） (2026-04-13T15:59:50Z) - Toxicity Red-Teaming: Benchmarking LLM Safety in Singapore's Low-Resource Languages [57.059267233093465]
大規模言語モデル(LLM)は自然言語処理を変革しているが、その安全性メカニズムは低リソースで多言語的な設定では未探索のままである。
シンガポールの多様な言語文脈におけるLLM安全性をベンチマークするための新しいデータセットおよび評価フレームワークであるtextsfSGToxicGuardを紹介した。
我々は最先端の多言語LLMによる広範囲な実験を行い、その安全ガードレールの限界を明らかにする。
論文 参考訳（メタデータ） (2025-09-18T08:14:34Z) - LinguaSafe: A Comprehensive Multilingual Safety Benchmark for Large Language Models [22.273388934888278]
私たちのデータセットは、ハンガリー語からマレー語まで、12言語で45万のエントリで構成されています。
我々のベンチマークは、詳細な安全性評価のための総合的なメトリクススイートを提供する。
論文 参考訳（メタデータ） (2025-08-18T08:59:01Z) - MrGuard: A Multilingual Reasoning Guardrail for Universal LLM Safety [56.77103365251923]
大規模言語モデル(LLM)は、ジェイルブレイクのような敵の攻撃を受けやすい。
この脆弱性は、多言語セーフティアライメントされたデータが制限される多言語設定で悪化する。
素早い分類のための多言語ガードレールを提案する。
論文 参考訳（メタデータ） (2025-04-21T17:15:06Z) - PolyGuard: A Multilingual Safety Moderation Tool for 17 Languages [27.318299273902984]
PolyGUARDは、LLM(Large Language Models)世代を保護するための、最先端の多言語安全モデルである。
これまでに17言語にまたがる190万のサンプルを含む、最大規模の多言語安全訓練コーパスで訓練されている。
PolyGUARDPROMPTSは、安全ガードレールの評価のための29Kサンプルを用いた高品質な多言語ベンチマークである。
論文 参考訳（メタデータ） (2025-04-06T06:09:21Z) - LLMs Lost in Translation: M-ALERT uncovers Cross-Linguistic Safety Inconsistencies [63.10843814055688]
M-ALERTは5つの言語における大規模言語モデルの安全性を評価するベンチマークである。
M-ALERTには言語毎に15kの高品質なプロンプトが含まれており、合計で75k、カテゴリワイドアノテーションがある。
39種類のLLMに関する実験は,言語固有の安全性解析の重要性を強調した。
論文 参考訳（メタデータ） (2024-12-19T16:46:54Z) - All Languages Matter: On the Multilingual Safety of Large Language Models [96.47607891042523]
我々は、大規模言語モデル(LLM)のための最初の多言語安全ベンチマークを構築した。
XSafetyは、複数の言語ファミリーにまたがる10言語にわたる14種類の一般的な安全問題をカバーしている。
本稿では,ChatGPTの多言語安全性向上のための簡易かつ効果的なプロンプト手法を提案する。
論文 参考訳（メタデータ） (2023-10-02T05:23:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。