Fugu-MT 論文翻訳(概要): SurakshaEval: An Indic Safety Benchmark for Multilingual LLMs

論文の概要: SurakshaEval: An Indic Safety Benchmark for Multilingual LLMs

arxiv url: http://arxiv.org/abs/2608.07862v1
Date: Sat, 08 Aug 2026 02:03:33 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-11 19:16:36.536605
Title: SurakshaEval: An Indic Safety Benchmark for Multilingual LLMs
Title（参考訳）: SurakshaEval:多言語LLMの指標安全ベンチマーク
Abstract要約: 既存の言語モデル(LLM)の安全性評価データセットは、主に英語と西洋の文脈に焦点を当てている。現実世界のシナリオにまたがる人書きプロンプトで構成される新しい安全ベンチマークであるSurakshaEvalを紹介する。我々は、SurakshaEval上で最先端のLLMをベンチマークし、ベースライン安全性能を確立し、繰り返し発生する障害モードを特定する。
参考スコア（独自算出の注目度）: 56.34354368047577
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Existing safety evaluation datasets for large language models (LLMs) predominantly focus on English and Western contexts, often overlooking the linguistic diversity and culturally grounded safety risks present in other languages. To address this gap, we introduce SurakshaEval, a novel safety benchmark composed of human-written prompts spanning real-world scenarios, explicitly designed for ten major Indian languages - Assamese, Bengali, Gujarati, Hindi, Kannada, Malayalam, Marathi, Punjabi, Tamil, and Telugu, along with English. SurakshaEval includes both generic prompts common across India and region- and language-specific prompts that capture localized sociocultural sensitivities. We benchmark a broad range of state-of-the-art LLMs on SurakshaEval, establish baseline safety performance, and identify recurring failure modes, including over-refusal, missed detection of implicit bias, and insufficient contextual awareness in regionally sensitive settings. Our results show that even strong multilingual LLMs struggle to reliably meet nuanced safety requirements when operating in Indic languages, particularly in native scripts. These findings highlight the urgent need for safety evaluation frameworks that incorporate region-specific data and structured assessment protocols, enabling the development and deployment of AI systems that operate securely, ethically, and in alignment with diverse societal values. Our code and data are available at https://github.com/debobanerjee/SurakshaEval. Warning: This paper contains text that may be offensive or unsafe.
Abstract（参考訳）: 既存の言語モデル(LLM)の安全性評価データセットは、主に英語と西洋の文脈に焦点を当てており、言語的多様性や、他の言語で見られる文化的に根ざした安全リスクを見越すことが多い。 Assamese, Bengali, Gujarati, Hindi, Kannada, Malayalam, Marathi, Punjabi, Tamil, Teluguの計10言語用に明示的に設計されている。 SurakshaEvalには、インドに共通する一般的なプロンプトと、地域社会の文化的感受性を捉える地域固有のプロンプトの両方が含まれている。我々は,SurakshaEval上で最先端のLCMをベンチマークし,ベースライン安全性能を確立するとともに,過度な拒絶,暗黙のバイアス検出の欠如,地域敏感な設定におけるコンテキスト認識の欠如など,繰り返し発生する障害モードを特定する。この結果から,強い多言語 LLM でさえ,特にネイティブスクリプトにおいて,Indic 言語で動作する際には,ニュアンスな安全性要件を確実に満たすのに苦労していることが明らかとなった。これらの知見は、地域固有のデータと構造化評価プロトコルを組み込んだ安全評価フレームワークの緊急の必要性を強調し、多様な社会的価値に合わせて安全かつ倫理的に運用されるAIシステムの開発と展開を可能にする。私たちのコードとデータはhttps://github.com/debobanerjee/SurakshaEval.comで公開されています。警告: この論文には、攻撃的あるいは安全でない可能性のあるテキストが含まれている。

関連論文リスト

IndicSafeEval: Safety Robustness of Large Language Models under Multilingual Persuasive Jailbreak Attacks [33.08360320836576]
IndicSafeEvalは、インドの言語に対する説得力に基づくジェイルブレイク評価フレームワークである。私たちのベンチマークでは、安全クリティカルなコンテンツカテゴリー10と、異なる4つのインドの言語にわたる6つの人間のような説得戦略を組み合わせています。我々の分析は、モデルがすべての言語やプロンプトスタイルに対して均等に振る舞うわけではないことを示している。
論文参考訳（メタデータ） (2026-09-03T12:54:44Z)
IndicGuard: A Multilingual Safety Guard Model and Dataset for Indic Languages [2.584263027095689]
IndicGuardは、Indic言語のための多言語安全ガードモデルとデータセットである。我々は10の主要なインド語を含む高ボリュームで文化的にニュアンスのある安全データセットを構築した。 Gemma-3-4B-ITをベースとした4Bパラメータ命令調整モデルを微調整し,多言語安全ガードレールとして機能させる。
論文参考訳（メタデータ） (2026-06-22T04:36:57Z)
Schützen: Evaluating LLM Safety in Bulgarian and German Contexts [53.865251738592605]
本稿では、リスク下でのモデル応答性を評価するために設計された、ドイツとブルガリアの安全データセットであるSchtzenを紹介する。多言語および言語固有のLLMを用いた実験では、安全行動の言語間差が顕著である。
論文参考訳（メタデータ） (2026-06-09T18:01:19Z)
LASA: Language-Agnostic Semantic Alignment at the Semantic Bottleneck for LLM Safety [88.98698230989186]
大規模言語モデル(LLM)は、しばしば高リソース言語で強力な安全性性能を示すが、低リソース言語では深刻な脆弱性を示す。このギャップは、言語に依存しない意味理解能力と、高リソース言語に偏った言語に支配的な安全アライメントのミスマッチによるものと考えられる。セマンティック・アライメント(LASA)を提案し,セマンティック・ボトルネックに直接安全アライメントを固定する。
論文参考訳（メタデータ） (2026-04-13T15:59:50Z)
Bridging the Multilingual Safety Divide: Efficient, Culturally-Aware Alignment for Global South Languages [8.667909336164465]
大規模言語モデル(LLM)がグローバル・サウスに展開されている。日々の使用には、低リソース言語、コードミキシング、文化的に特定の規範が含まれる。我々の目標は、多言語安全性を、未表現領域における適切なAIのアドオンではなく、コア要件とすることです。
論文参考訳（メタデータ） (2026-02-14T19:56:40Z)
SEA-SafeguardBench: Evaluating AI Safety in SEA Languages and Cultures [36.95168918567729]
既存のマルチ言語安全ベンチマークは、しばしば機械翻訳された英語データに依存している。 SEA-SafeguardBenchは,SEAの最初の人間認証安全ベンチマークである。 8つの言語、21,640のサンプル、および3つのサブセット(ジェネラル、イン・ザ・ワイルド、コンテンツ生成)をカバーする。
論文参考訳（メタデータ） (2025-12-05T07:57:57Z)
Toxicity Red-Teaming: Benchmarking LLM Safety in Singapore's Low-Resource Languages [57.059267233093465]
大規模言語モデル(LLM)は自然言語処理を変革しているが、その安全性メカニズムは低リソースで多言語的な設定では未探索のままである。シンガポールの多様な言語文脈におけるLLM安全性をベンチマークするための新しいデータセットおよび評価フレームワークであるtextsfSGToxicGuardを紹介した。我々は最先端の多言語LLMによる広範囲な実験を行い、その安全ガードレールの限界を明らかにする。
論文参考訳（メタデータ） (2025-09-18T08:14:34Z)
IndoSafety: Culturally Grounded Safety for LLMs in Indonesian Languages [6.4212082894269535]
IndoSafetyは、インドネシアの文脈に合わせた、最初の高品質で人間認証された安全評価データセットである。 IndoSafetyは、インドネシアの社会文化的文脈を捉えた分類を開発するために、事前の安全枠組みを拡張して構築されている。
論文参考訳（メタデータ） (2025-06-03T07:53:55Z)
MrGuard: A Multilingual Reasoning Guardrail for Universal LLM Safety [56.77103365251923]
大規模言語モデル(LLM)は、ジェイルブレイクのような敵の攻撃を受けやすい。この脆弱性は、多言語セーフティアライメントされたデータが制限される多言語設定で悪化する。素早い分類のための多言語ガードレールを提案する。
論文参考訳（メタデータ） (2025-04-21T17:15:06Z)
Qorgau: Evaluating LLM Safety in Kazakh-Russian Bilingual Contexts [40.0358736497799]
大規模言語モデル(LLM)は有害なコンテンツを生成する可能性があることが知られている。本稿では,カザフ語とロシア語の安全性評価に特化して設計された新しいデータセットであるQorgauを紹介する。
論文参考訳（メタデータ） (2025-02-19T11:33:22Z)
Arabic Dataset for LLM Safeguard Evaluation [62.96160492994489]
本研究では,アラビア語における大言語モデル(LLM)の安全性と,その言語的・文化的複雑さについて考察する。本稿では, 直接攻撃, 間接攻撃, センシティブな単語による無害な要求を含む5,799の質問からなるアラブ地域固有の安全評価データセットを提案する。
論文参考訳（メタデータ） (2024-10-22T14:12:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。