論文の概要: IndicSafeEval: Safety Robustness of Large Language Models under Multilingual Persuasive Jailbreak Attacks

• arxiv url: http://arxiv.org/abs/2609.03781v2
• Date: Fri, 04 Sep 2026 11:46:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-07 13:53:00.688029
• Title: IndicSafeEval: Safety Robustness of Large Language Models under Multilingual Persuasive Jailbreak Attacks
• Title（参考訳）: IndicSafeEval:マルチリンガル・パーサッシブ・ジェイルブレイク攻撃による大規模言語モデルの安全性のロバスト性
• Abstract要約: IndicSafeEvalは、インドの言語に対する説得力に基づくジェイルブレイク評価フレームワークである。 私たちのベンチマークでは、安全クリティカルなコンテンツカテゴリー10と、異なる4つのインドの言語にわたる6つの人間のような説得戦略を組み合わせています。 我々の分析は、モデルがすべての言語やプロンプトスタイルに対して均等に振る舞うわけではないことを示している。
• 参考スコア（独自算出の注目度）: 33.08360320836576
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) are increasingly used in multilingual settings, yet their safety is still evaluated primarily in English. This limits our understanding of how alignment failures manifest in low-resource and culturally diverse languages. We introduce IndicSafeEval, a persuasion-based jailbreak evaluation framework for Indian languages. Our benchmark combines ten safety critical content categories with six human-like persuasive strategies across four different Indian languages, such as Hindi, Bengali, Marathi and Punjabi, resulting in 7,200 adversarial prompts. We conduct a systematic black-box evaluation of several open-source LLMs to examine how their safety behaviour varies across languages, persuasion strategies, and risk categories. Our analysis shows that the model does not behave equally safely across all languages and prompt styles. Instead, safety performance depends strongly on both the languages used and the way a request is phrased using persuasive cues. We further observe that different risk categories exhibit different levels of vulnerability, with some types of harmful content being significantly more susceptible to persuasion-based jailbreaks than others. These findings reveal important limitations of current safety evaluations, which are largely English-centric, and underscore the need for multilingual and persuasion-aware benchmarking frameworks to more accurately assess real-world LLM safety. Our implementation is available at https://github.com/MonSaikat/IndicSafeEval. Warning: this paper contains example data that may be offensive or harmful.
• Abstract（参考訳）: 大規模言語モデル(LLM)は多言語設定での利用が増えているが、その安全性は主として英語で評価されている。 これにより、低リソースで文化的に多様な言語でアライメント障害がどのように現れるか、という理解が制限されます。 IndicSafeEvalは、インドの言語に対する説得力に基づくジェイルブレイク評価フレームワークである。 我々のベンチマークは、ヒンディー語、ベンガル語、マラティー語、パンジャービ語といった4つの異なるインドの言語をまたいだ6つの人間的な説得戦略と10の安全クリティカルコンテンツカテゴリを組み合わせており、7200の敵対的プロンプトをもたらしている。 我々は,複数のオープンソース LLM のブラックボックス評価を行い,それらの安全行動が言語,説得戦略,リスクカテゴリによってどのように異なるかを検討する。 我々の分析は、モデルがすべての言語やプロンプトスタイルに対して均等に振る舞うわけではないことを示している。 その代わり、安全性能は使用する言語と、説得力のあるキューを使って要求を言い換える方法の両方に強く依存する。 さらに、さまざまなリスクカテゴリが異なるレベルの脆弱性を示しており、いくつかの有害なコンテンツは、他のものよりも説得ベースのジェイルブレイクの影響を受けやすい。 これらの結果から,LLMの安全性をより正確に評価する上で,多言語およびパース・アウェア・ベンチマーク・フレームワークの必要性が浮き彫りにされている。 実装はhttps://github.com/MonSaikat/IndicSafeEval.comで公開しています。 警告: 攻撃的あるいは有害である可能性のあるサンプルデータを含む。

関連論文リスト

• The Illusion of Cross-Lingual Safety in Low-Resource Languages [7.471112976694495]
  大規模言語モデル (LLM) における安全性の整合性は、多言語設定にまたがって一般化されることを前提として、主に英語で開発されている。 文化的な局所的なプロンプトとリテラル翻訳を組み合わせた新しい安全データセットであるLoDNAを用いて,アフリカ4言語(Twi,Hausa,Amharic,Swahili)の言語間安全トランスファーを調査した。 実験の結果, 言語間の安全伝達は極めて限定的であり, 有害なプロンプトはほとんどの言語モデルペアで英語の拒絶信号の10%未満を維持していることがわかった。
  論文  参考訳（メタデータ） (2026-08-11T17:05:26Z)
• SurakshaEval: An Indic Safety Benchmark for Multilingual LLMs [56.34354368047577]
  既存の言語モデル(LLM)の安全性評価データセットは、主に英語と西洋の文脈に焦点を当てている。 現実世界のシナリオにまたがる人書きプロンプトで構成される新しい安全ベンチマークであるSurakshaEvalを紹介する。 我々は、SurakshaEval上で最先端のLLMをベンチマークし、ベースライン安全性能を確立し、繰り返し発生する障害モードを特定する。
  論文  参考訳（メタデータ） (2026-08-08T02:03:33Z)
• LLM Safety Alignment in Low-Resource Languages: A Systematic Literature Review [9.895109697164283]
  LLM(Large Language Models)は、安全性の大幅な向上を実現している。 安全性の保証は、低リソースおよび多言語設定において著しく弱いままである。
  論文  参考訳（メタデータ） (2026-07-20T21:11:00Z)
• IndicSafe: A Benchmark for Evaluating Multilingual LLM Safety in South Asia [0.6978180153516672]
  Indic言語12言語を対象に,大規模言語モデル(LLM)の安全性を初めて体系的に評価した。 言語間の合意はわずか12.8%であり、textttSAFEレートは言語間で17%を超えている。 Indicデプロイメントの文化的な安全性評価を可能にする最初のベンチマークである textscIndicSafe をリリースする。
  論文  参考訳（メタデータ） (2026-03-18T16:54:07Z)
• Toxicity Red-Teaming: Benchmarking LLM Safety in Singapore's Low-Resource Languages [57.059267233093465]
  大規模言語モデル(LLM)は自然言語処理を変革しているが、その安全性メカニズムは低リソースで多言語的な設定では未探索のままである。 シンガポールの多様な言語文脈におけるLLM安全性をベンチマークするための新しいデータセットおよび評価フレームワークであるtextsfSGToxicGuardを紹介した。 我々は最先端の多言語LLMによる広範囲な実験を行い、その安全ガードレールの限界を明らかにする。
  論文  参考訳（メタデータ） (2025-09-18T08:14:34Z)
• MrGuard: A Multilingual Reasoning Guardrail for Universal LLM Safety [56.77103365251923]
  大規模言語モデル(LLM)は、ジェイルブレイクのような敵の攻撃を受けやすい。 この脆弱性は、多言語セーフティアライメントされたデータが制限される多言語設定で悪化する。 素早い分類のための多言語ガードレールを提案する。
  論文  参考訳（メタデータ） (2025-04-21T17:15:06Z)
• LLMs Lost in Translation: M-ALERT uncovers Cross-Linguistic Safety Inconsistencies [63.10843814055688]
  M-ALERTは5つの言語における大規模言語モデルの安全性を評価するベンチマークである。 M-ALERTには言語毎に15kの高品質なプロンプトが含まれており、合計で75k、カテゴリワイドアノテーションがある。 39種類のLLMに関する実験は,言語固有の安全性解析の重要性を強調した。
  論文  参考訳（メタデータ） (2024-12-19T16:46:54Z)
• Benchmarking LLM Guardrails in Handling Multilingual Toxicity [57.296161186129545]
  7つのデータセットと10以上の言語にまたがる包括的な多言語テストスイートを導入し、最先端ガードレールのパフォーマンスをベンチマークする。 近年の脱獄技術に対するガードレールの弾力性について検討し,ガードレールの性能に及ぼすコンテキスト内安全ポリシーと言語資源の可利用性の影響について検討した。 以上の結果から, 既存のガードレールは多言語毒性の処理に依然として効果がなく, 脱獄プロンプトに対する堅牢性が欠如していることが示唆された。
  論文  参考訳（メタデータ） (2024-10-29T15:51:24Z)
• All Languages Matter: On the Multilingual Safety of Large Language Models [96.47607891042523]
  我々は、大規模言語モデル(LLM)のための最初の多言語安全ベンチマークを構築した。 XSafetyは、複数の言語ファミリーにまたがる10言語にわたる14種類の一般的な安全問題をカバーしている。 本稿では,ChatGPTの多言語安全性向上のための簡易かつ効果的なプロンプト手法を提案する。
  論文  参考訳（メタデータ） (2023-10-02T05:23:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。