論文の概要: Register Shifts Break LLM Safety: A Bengali Benchmark with Culturally Grounded Harms
- arxiv url: http://arxiv.org/abs/2608.22335v1
- Date: Sun, 23 Aug 2026 10:09:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-25 13:29:43.723313
- Title: Register Shifts Break LLM Safety: A Bengali Benchmark with Culturally Grounded Harms
- Title（参考訳）: LLMの安全性を損ねる登録のシフト:文化的なハームとベンガルのベンチマーク
- Abstract要約: 879のBengaliプロンプトと570のエキスパートレビュープロンプトを組み合わせたベンチマークであるBanglaSafeを紹介します。
回答の半数以上は安全でないか安全でない(53.6%)が、14.7%は有害な内容を含んでいる。
公式な新聞調査と同じ有害な要求は、カジュアルなメッセージと同じ要求よりも17パーセント多く成功している。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Bengali is the seventh-most-spoken language globally, yet LLM safety evaluation remains overwhelmingly English-centric. We introduce BanglaSafe, a benchmark of 879 Bengali prompts combining 309 natively authored prompts with 570 expert-reviewed prompts, spanning 17 culturally grounded harm categories and five prompting conditions that vary language, writing style, and authority framing. Evaluating 18 frontier LLMs, we find that over half of all responses are unsafe or partially unsafe (53.6%) while 14.7% contains strictly harmful content, and that the strongest observed effect is not the switch from English to Bengali but the choice of writing style within Bengali: the same harmful request phrased as a formal newspaper investigation succeeds 17 percentage points more often than the same request phrased as a casual message, with no adversarial engineering involved. We further show that existing safety classifiers struggle to reliably evaluate Bengali content, with even frontier models failing on nearly half of all cases.
- Abstract（参考訳）: ベンガル語は世界第7位の言語であるが、LLMの安全性評価は圧倒的に英語中心である。
バングラセーフ(BanglaSafe)は、ネイティブに書かれた309のプロンプトと570のエキスパートレビューされたプロンプトを組み合わせ、文化に根ざした17のハーモカテゴリーと、言語、書体、権威のフレーミングの異なる5つのプロンプト条件を組み合わせたベンチマークである。
18のフロンティア LLM を評価すると、全ての応答の半数以上が安全でないか、部分的に安全でない(53.6%)が、14.7%は厳密に有害な内容であり、最も強い効果は、英語からベンガル語への切り替えではなく、ベンガル語での書式の選択である。
さらに、既存の安全分類器がベンガルのコンテンツを確実に評価するのに苦労していることを示し、フロンティアモデルでさえほぼすべてのケースで失敗している。
関連論文リスト
- BanglaVeilGuard: Cross-Script Safety Benchmarking and Lightweight Guardrails for Bangla Large Language Models [0.0]
本稿では,コンパクトなBangla-first安全性ベンチマークであるBanglaVeilGuardについて述べる。
ベンチマークには2,366のクオリティフィルタプロンプトと、安全でない、安全で、機密性の高い要求にまたがる354のプロンプト評価スプリットが含まれている。
論文 参考訳（メタデータ） (2026-08-22T09:46:03Z) - SurakshaEval: An Indic Safety Benchmark for Multilingual LLMs [56.34354368047577]
既存の言語モデル(LLM)の安全性評価データセットは、主に英語と西洋の文脈に焦点を当てている。
現実世界のシナリオにまたがる人書きプロンプトで構成される新しい安全ベンチマークであるSurakshaEvalを紹介する。
我々は、SurakshaEval上で最先端のLLMをベンチマークし、ベースライン安全性能を確立し、繰り返し発生する障害モードを特定する。
論文 参考訳（メタデータ） (2026-08-08T02:03:33Z) - GanitLLM: Difficulty-Aware Bengali Mathematical Reasoning through Curriculum-GRPO [0.0]
本稿では,GanitLLMと呼ばれるベンガルの数学的推論モデルを提案する。
また,難易度の高いベンガル数学コーパスとカリキュラムベースのGRPOパイプラインを提案する。
論文 参考訳（メタデータ） (2026-01-11T03:49:18Z) - JMedEthicBench: A Multi-Turn Conversational Benchmark for Evaluating Medical Safety in Japanese Large Language Models [47.20100799532625]
JMedEthicBenchは,大規模言語モデルの医療安全性を評価するための,最初のマルチターン対話型ベンチマークである。
デュアルLLMスコアリングプロトコルを用いて27のモデルを評価し,医療特化モデルでは脆弱性が増大するのに対して,商業モデルは堅牢な安全性を維持していることを確認した。
論文 参考訳（メタデータ） (2026-01-04T18:18:18Z) - BengaliFig: A Low-Resource Challenge for Figurative and Culturally Grounded Reasoning in Bengali [0.0]
コンパクトでリッチな注釈付き挑戦集合であるBengaliFigを提示する。
データセットには、ベンガルの口頭と文学の伝統から採られた435のユニークな謎が含まれている。
各項目は、推論タイプ、トラップタイプ、文化的深さ、回答カテゴリ、難易度を5次元にアノテートする。
論文 参考訳（メタデータ） (2025-11-25T15:26:47Z) - BengaliMoralBench: A Benchmark for Auditing Moral Reasoning in Large Language Models within Bengali Language and Culture [5.215285027585101]
ベンガル語は2億8500万人以上が話しており、世界第6位である。
既存の倫理ベンチマークは、主に英語中心で、西洋のフレームワークによって形作られています。
我々はベンガル語と社会文化の文脈に関する最初の大規模倫理ベンチマークであるBengaliMoralBenchを紹介する。
論文 参考訳（メタデータ） (2025-11-05T04:55:35Z) - BLUCK: A Benchmark Dataset for Bengali Linguistic Understanding and Cultural Knowledge [11.447710593895831]
BLUCKはベンガルの言語理解と文化知識における大規模言語モデル(LLM)の性能を測定するために設計された新しいデータセットである。
私たちのデータセットは、2366の多重選択質問(MCQ)で構成されています。
GPT-4o、Claude-3.5-Sonnet、Gemini-1.5-Pro、Llama-3.3-70B-Instruct、DeepSeekV3を含む6つのプロプライエタリおよび3つのオープンソースLCMを用いてBLUCKをベンチマークした。
論文 参考訳（メタデータ） (2025-05-27T12:19:12Z) - SafeDialBench: A Fine-Grained Safety Benchmark for Large Language Models in Multi-Turn Dialogues with Diverse Jailbreak Attacks [90.41592442792181]
大規模言語モデル(LLM)の安全性を評価するための詳細なベンチマーク SafeDialBench を提案する。
具体的には,6つの安全次元を考慮した2階層型階層型安全分類法を設計し,22の対話シナリオの下で中国語と英語の双方で4000以上のマルチターン対話を生成する。
特に,LLMの革新的なアセスメントフレームワークを構築し,安全でない情報を検出し,処理し,ジェイルブレイク攻撃時の一貫性を維持する。
論文 参考訳（メタデータ） (2025-02-16T12:08:08Z) - LLMs Lost in Translation: M-ALERT uncovers Cross-Linguistic Safety Inconsistencies [63.10843814055688]
M-ALERTは5つの言語における大規模言語モデルの安全性を評価するベンチマークである。
M-ALERTには言語毎に15kの高品質なプロンプトが含まれており、合計で75k、カテゴリワイドアノテーションがある。
39種類のLLMに関する実験は,言語固有の安全性解析の重要性を強調した。
論文 参考訳（メタデータ） (2024-12-19T16:46:54Z) - Arabic Dataset for LLM Safeguard Evaluation [62.96160492994489]
本研究では,アラビア語における大言語モデル(LLM)の安全性と,その言語的・文化的複雑さについて考察する。
本稿では, 直接攻撃, 間接攻撃, センシティブな単語による無害な要求を含む5,799の質問からなるアラブ地域固有の安全評価データセットを提案する。
論文 参考訳（メタデータ） (2024-10-22T14:12:43Z) - All Languages Matter: On the Multilingual Safety of Large Language Models [96.47607891042523]
我々は、大規模言語モデル(LLM)のための最初の多言語安全ベンチマークを構築した。
XSafetyは、複数の言語ファミリーにまたがる10言語にわたる14種類の一般的な安全問題をカバーしている。
本稿では,ChatGPTの多言語安全性向上のための簡易かつ効果的なプロンプト手法を提案する。
論文 参考訳（メタデータ） (2023-10-02T05:23:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。