論文の概要: BanglaShield: A Script-Robust Safety Classifier and Benchmark for Bangla Native, Romanized, and Code-Mixed Prompts
- arxiv url: http://arxiv.org/abs/2610.24288v1
- Date: Fri, 16 Oct 2026 22:38:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-26 02:37:47.532901
- Title: BanglaShield: A Script-Robust Safety Classifier and Benchmark for Bangla Native, Romanized, and Code-Mixed Prompts
- Title（参考訳）: BanglaShield: Bangla Native, Romanized, Code-Mixed Prompts用のスクリプト-ロバスト安全分類とベンチマーク
- Abstract要約: ここでは、段階的なプロンプトセーフティ分類のためのリソースとモデルであるBanglaShieldを紹介する。
我々は4段階の分類の下で6つの情報源から10,245個のバングラプロンプトを統合した。
モデル独自の分類を入力フィルタとして使用すると、有害なコンプライアンスを5ポイント程度削減できる。
- 参考スコア（独自算出の注目度）: 10.954206297403687
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Safety classifiers for large language models (LLMs) are typically built and evaluated on standard-script text, yet Bangla, like many lower-resource languages, is routinely written in native script, in Latin-script romanization, and code-mixed with English, Hindi, or Urdu. We introduce BanglaShield, a resource and model for graded prompt-safety classification across these written forms. We consolidate 10,245 Bangla prompts from six sources under a four-level taxonomy (Safe, Offensive, Harmful, Severe) and render each prompt in three aligned forms that share labels and a group-aware split, enabling strictly paired comparisons. Benchmarking six contemporary LLMs, including a Bangla-specialized one, on 36,882 classification queries and 24,318 judged responses, we find that LLM classifiers label 47.0% of unsafe native-script prompts as Safe, rising to 63.4% under romanization, while response-level safety accuracy drops by 10.3 points. Three multilingual guard models also pass 30.3-57.3% of unsafe native-script prompts. Using a model's own classification as an input filter reduces harmful compliance by only about five points. In contrast, BanglaShield, a compact fine-tuned encoder, reaches 87.8 macro-F1 on native-script and 84.4 on romanized prompts, outperforming the best LLM on each form by 42.8-46.1 points with ~130x fewer parameters than Gemma 4 31B. We release the corpus, splits, judgments, and model.
- Abstract（参考訳）: 大きな言語モデル(LLM)の安全性分類器は通常標準のテキストで構築され評価されるが、Banglaは多くの低リソース言語と同様に、ラテン文字のロマン化や、英語、ヒンディー語、ウルドゥー語とコードミキシングされる。
ここでは、これらの書式にまたがって、格付けされたプロンプトセーフティ分類のためのリソースとモデルであるBanglaShieldを紹介する。
10,245個のBanglaプロンプトを4段階の分類(Safe, Offensive, Harmful, Severe)の下で6つのソースから統合し、各プロンプトをラベルとグループ対応のスプリットを共有する3つのアライメント形式でレンダリングし、厳密な比較を可能にする。
バングラ特化クエリ36,882の分類クエリと24,318の判定応答を含む6つの現代のLLMをベンチマークした結果、LLM分類器は、安全でないネイティブスクリプトプロンプトの47.0%をSafeとしてラベル付けし、ロマン化下で63.4%まで上昇し、応答レベルの安全性の精度は10.3ポイント低下した。
3つの多言語ガードモデルも30.3-57.3%の安全でないネイティブスクリプトプロンプトをパスしている。
モデル独自の分類を入力フィルタとして使用すると、有害なコンプライアンスを5ポイント程度削減できる。
対照的に、コンパクトな微調整エンコーダであるBanglaShieldは、ネイティブスクリプトでは87.8マクロF1、ローマン化プロンプトでは84.4マクロF1に達し、それぞれ42.8-46.1ポイントで、Gemma 4 31Bの約130倍のパラメータを持つ。
コーパス、分割、判断、モデルをリリースします。
関連論文リスト
- BanglaVeilGuard: Cross-Script Safety Benchmarking and Lightweight Guardrails for Bangla Large Language Models [0.0]
本稿では,コンパクトなBangla-first安全性ベンチマークであるBanglaVeilGuardについて述べる。
ベンチマークには2,366のクオリティフィルタプロンプトと、安全でない、安全で、機密性の高い要求にまたがる354のプロンプト評価スプリットが含まれている。
論文 参考訳（メタデータ） (2026-08-22T09:46:03Z) - Text2DSL: LLM-Based Code Generation for Domain-Specific Languages [78.29352305480285]
本稿では、自然言語記述からDSLコードを自動的に生成するタスクであるText2を定式化する。
我々は,PolkitBenchデータセットを導入し,4,204個の自然言語対を検証した。
論文 参考訳（メタデータ） (2026-06-21T16:44:20Z) - CHILLGuard: Towards Fine-Grained Chinese LLM Safety Guardrail with Scalable Data Construction and Model-aware Preference Alignment [55.74660714572696]
大きな言語モデル(LLM)から生成された悪意のあるコンテンツは、深刻な安全リスクと倫理的懸念を引き起こす可能性がある。
既存のLLMの安全ガードレールは英語や多言語の設定では優れているが、中国固有の規制政策、文化的文脈、言語的ニュアンスには適応していない。
我々は,中国のシナリオに対して,5マクロ,31マイクロカテゴリの細粒度リスク分類を導入し,中国向けLLMコンテンツ安全ガードレールであるCHILLGuardを構築した。
論文 参考訳（メタデータ） (2026-06-13T16:57:51Z) - Opir: Efficient Multi-Task Safety Classification for Toxicity, Jailbreaks, Hate Speech, and Harmful Content [46.13517417540154]
Opirは、GLiClassアーキテクチャ上に構築されたエンコーダベースのガードレールモデルのファミリーである。
Opirには、バイナリセーフ/アンセーフ分類、マルチラベル毒性分類、ジェイルブレイク分類、ゼロショットアンセーフプロンプトとレスポンス分類のためのマルチタスクモデルが含まれている。
論文 参考訳（メタデータ） (2026-05-28T09:21:42Z) - RabakBench: Scaling Human Annotations to Construct Localized Multilingual Safety Benchmarks for Low-Resource Languages [3.7678366606419345]
RabakBenchはシンガポール独自の言語コンテキストにローカライズされた新しい多言語安全ベンチマークである。
人間の検証された翻訳や評価コードを含むベンチマークデータセットが公開されている。
論文 参考訳（メタデータ） (2025-07-08T13:37:25Z) - Vuyko Mistral: Adapting LLMs for Low-Resource Dialectal Translation [0.0]
本稿では,ウクライナのフツル方言に大規模な言語モデルを適用するための最初の取り組みを紹介する。
我々は、9852語対標準ウクライナ語の文対と7320語の単語マッピングの辞書の並列コーパスを作成しました。
論文 参考訳（メタデータ） (2025-06-09T10:30:35Z) - OMNIGUARD: An Efficient Approach for AI Safety Moderation Across Modalities [54.152681077418805]
現在の検出アプローチは誤りがあり、特にモデル機能のミスマッチした一般化を利用する攻撃の影響を受けやすい。
OMNIGUARDは,言語やモダリティにまたがる有害なプロンプトを検出する手法である。
提案手法は,多言語環境において最強のベースラインよりも11.57%,有害なプロンプト分類精度を向上する。
論文 参考訳（メタデータ） (2025-05-29T05:25:27Z) - SafeDialBench: A Fine-Grained Safety Benchmark for Large Language Models in Multi-Turn Dialogues with Diverse Jailbreak Attacks [90.41592442792181]
大規模言語モデル(LLM)の安全性を評価するための詳細なベンチマーク SafeDialBench を提案する。
具体的には,6つの安全次元を考慮した2階層型階層型安全分類法を設計し,22の対話シナリオの下で中国語と英語の双方で4000以上のマルチターン対話を生成する。
特に,LLMの革新的なアセスメントフレームワークを構築し,安全でない情報を検出し,処理し,ジェイルブレイク攻撃時の一貫性を維持する。
論文 参考訳（メタデータ） (2025-02-16T12:08:08Z) - SORRY-Bench: Systematically Evaluating Large Language Model Safety Refusal [64.9938658716425]
SORRY-Benchは、安全でないユーザ要求を認識し拒否する大規模言語モデル(LLM)能力を評価するためのベンチマークである。
まず、既存の手法では、安全でないトピックの粗い分類を使い、いくつかのきめ細かいトピックを過剰に表現している。
第二に、プロンプトの言語的特徴とフォーマッティングは、様々な言語、方言など、多くの評価において暗黙的にのみ考慮されているように、しばしば見過ごされる。
論文 参考訳（メタデータ） (2024-06-20T17:56:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。