論文の概要: BanglaVeilGuard: Cross-Script Safety Benchmarking and Lightweight Guardrails for Bangla Large Language Models
- arxiv url: http://arxiv.org/abs/2608.21880v1
- Date: Sat, 22 Aug 2026 09:46:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-25 13:29:43.500236
- Title: BanglaVeilGuard: Cross-Script Safety Benchmarking and Lightweight Guardrails for Bangla Large Language Models
- Title(参考訳): BanglaVeilGuard: Bangla大規模言語モデルのためのクロススクリプト安全ベンチマークと軽量ガードレール
- Abstract要約: 本稿では,コンパクトなBangla-first安全性ベンチマークであるBanglaVeilGuardについて述べる。
ベンチマークには2,366のクオリティフィルタプロンプトと、安全でない、安全で、機密性の高い要求にまたがる354のプロンプト評価スプリットが含まれている。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Bangla large language model (LLM) safety is difficult to evaluate with English-centric or standard-script benchmarks because Bangla users routinely write across scripts, spellings, code-mixed forms, and regional registers. This paper presents BanglaVeilGuard, a compact Bangla-first safety benchmark and lightweight prompt guard for six language forms: standard Bangla, Romanized Bangla, Banglish, code-mixed Bangla--English, noisy Bangla, and dialectal Bangla. The benchmark contains 2,366 quality-filtered prompts and a held-out 354-prompt evaluation split spanning unsafe, safe, and safe-sensitive requests. BanglaVeilGuard uses non-destructive multi-view normalization with a prompt-risk classifier and thresholded pre-generation gate, allowing it to screen prompts for heterogeneous target models without changing their weights. Across target-model families, guarded runs reduce attack success under deterministic response scoring from 93.8--100.0\% to 6.3\% for Claude Opus 4.8, BanglaLLama, and TituLLM; TigerLLM-1B with BanglaVeilGuard achieves 78.2\% accuracy with 8.8\% ASR. The prompt guard also attains 88.5\% unsafe recall, substantially above the evaluated prompt-only guard baselines. The main remaining cost is over-refusal on dialectal and noisy benign prompts, revealing a concrete safety-helpfulness frontier for Bangla LLM deployment.
- Abstract(参考訳): Bangla large language model (LLM) の安全性は、英語や標準のベンチマークでは評価が難しい。
本稿では,コンパクトバングラ第一安全ベンチマークであるBanglaVeilGuardについて,標準バングラ,ロマン化バングラ,バングリッシュ,コード混在バングラ-英語,ノイズの多いバングラ,方言バングラの6つの言語形式の軽量プロンプトガードについて述べる。
ベンチマークには2,366のクオリティフィルタプロンプトと、安全でない、安全で、機密性の高い要求にまたがる354のプロンプト評価スプリットが含まれている。
BanglaVeilGuardは、プロンプトリスク分類器としきい値付きプレジェネレーションゲートを備えた非破壊的なマルチビュー正規化を使用して、重みを変更することなく、異種ターゲットモデルのプロンプトをスクリーニングする。
ターゲットモデルファミリ全体では、ガードドは93.8--100.0\%から6.3\%まで決定的な反応で攻撃の成功を減らし、Claude Opus 4.8、BanglaLLama、TituLLMでは6.3\%、BanglaVeilGuardではTigerLLM-1Bは78.2\%、ASRでは8.8\%となる。
プロンプトガードはまた、評価されたプロンプトのみのガードベースラインよりもかなり高い88.5\%のアンセーフリコールを達成している。
残りの主なコストは、方言や騒々しい良心のプロンプトの過剰な拒絶であり、バングラのLLM展開のための具体的な安全性を保ったフロンティアが明らかにされている。
関連論文リスト
- Aligned in Form, Not in Meaning: The Comprehension - Containment Decoupling of LLM Safety in Low-Resource Bangla Derogatory Speech [0.0]
6つのプロトコルで5つの大きな言語モデルをネイティブバングラ弁論音声(ガリ)で評価する。
本稿では, 現代安全アライメントが有害な意味ではなく, 高資源表面形状に結びついていることを提案する。
論文 参考訳(メタデータ) (2026-08-03T23:09:19Z) - Safety Targeted Embedding Exploit via Refinement [1.384477926572109]
本研究は、英語を主とする安全機構が多言語入力にまたがる一般化を想定できないことを示す。
STEERは、単語を低リソース言語に翻訳し、有害な意図を保ちながら拒絶を抑制する、勾配誘導攻撃である。
マルチリンガル安全性の向上にはアライメントとアウト・オブ・ディストリビューション・インプットを明示的に検出・棄却するメカニズムの広範な適用が必要であると論じる。
論文 参考訳(メタデータ) (2026-07-02T08:17:57Z) - CHILLGuard: Towards Fine-Grained Chinese LLM Safety Guardrail with Scalable Data Construction and Model-aware Preference Alignment [55.74660714572696]
大きな言語モデル(LLM)から生成された悪意のあるコンテンツは、深刻な安全リスクと倫理的懸念を引き起こす可能性がある。
既存のLLMの安全ガードレールは英語や多言語の設定では優れているが、中国固有の規制政策、文化的文脈、言語的ニュアンスには適応していない。
我々は,中国のシナリオに対して,5マクロ,31マイクロカテゴリの細粒度リスク分類を導入し,中国向けLLMコンテンツ安全ガードレールであるCHILLGuardを構築した。
論文 参考訳(メタデータ) (2026-06-13T16:57:51Z) - LASA: Language-Agnostic Semantic Alignment at the Semantic Bottleneck for LLM Safety [88.98698230989186]
大規模言語モデル(LLM)は、しばしば高リソース言語で強力な安全性性能を示すが、低リソース言語では深刻な脆弱性を示す。
このギャップは、言語に依存しない意味理解能力と、高リソース言語に偏った言語に支配的な安全アライメントのミスマッチによるものと考えられる。
セマンティック・アライメント(LASA)を提案し,セマンティック・ボトルネックに直接安全アライメントを固定する。
論文 参考訳(メタデータ) (2026-04-13T15:59:50Z) - PyBangla at BLP-2025 Task 2: Enhancing Bangla-to-Python Code Generation with Iterative Self-Correction and Multilingual Agents [0.5735035463793009]
我々はBangla-to-Pythonでコード生成を行うエージェントベースのフレームワークであるBanglaCodeActを紹介する。
BanglaCodeActは、Thought-Code-Observationループ内にオープンソースの多言語LLMを採用し、Bangla命令からの動的生成、テスト、改善を可能にする。
本結果は,Bangla-to-Python翻訳のための新しいベンチマークを確立し,低リソース言語における信頼性コード生成に対するエージェントベースの推論の可能性を強調した。
論文 参考訳(メタデータ) (2025-11-27T07:09:47Z) - OMNIGUARD: An Efficient Approach for AI Safety Moderation Across Modalities [54.152681077418805]
現在の検出アプローチは誤りがあり、特にモデル機能のミスマッチした一般化を利用する攻撃の影響を受けやすい。
OMNIGUARDは,言語やモダリティにまたがる有害なプロンプトを検出する手法である。
提案手法は,多言語環境において最強のベースラインよりも11.57%,有害なプロンプト分類精度を向上する。
論文 参考訳(メタデータ) (2025-05-29T05:25:27Z) - Performance Evaluation of Large Language Models in Bangla Consumer Health Query Summarization [1.2289361708127877]
本研究では,9大言語モデル(LLM)のゼロショット性能について検討する。
ROUGEメトリクスを用いてこれらのLCMを、細調整された最先端モデルであるBangla T5に対してベンチマークした。
その結果、ゼロショットLLMは微調整モデルと競合し、タスク固有の訓練を必要とせずに高品質なサマリーを達成できることを示した。
論文 参考訳(メタデータ) (2025-05-08T09:06:28Z) - Safety Pretraining: Toward the Next Generation of Safe AI [68.99129474671282]
モデルの安全性を最初から構築する,データ中心の事前トレーニングフレームワークを提案する。
我々のフレームワークは、セーフティフィルタリング、セーフティリフレージング、Native Refusal、Harmfulness-Tag Annotated Pretrainingの4つの重要なステップで構成されています。
我々の安全事前訓練モデルでは、一般的な劣化タスクのパフォーマンスを伴わない標準LLM安全性ベンチマークにおいて、攻撃成功率を38.8%から8.4%に下げている。
論文 参考訳(メタデータ) (2025-04-23T17:58:08Z) - MrGuard: A Multilingual Reasoning Guardrail for Universal LLM Safety [56.77103365251923]
大規模言語モデル(LLM)は、ジェイルブレイクのような敵の攻撃を受けやすい。
この脆弱性は、多言語セーフティアライメントされたデータが制限される多言語設定で悪化する。
素早い分類のための多言語ガードレールを提案する。
論文 参考訳(メタデータ) (2025-04-21T17:15:06Z) - Zero-Shot Multi-Label Classification of Bangla Documents: Large Decoders Vs. Classic Encoders [0.0]
バングラ語は3億人以上の母語話者によって話され、世界でも6番目に話されている言語である。
32種類の最先端モデルの評価結果から,既存の強力なエンコーダやデコーダは,Bangla Zero-Shot-MLCタスクの高精度化に苦慮していることが明らかとなった。
論文 参考訳(メタデータ) (2025-03-04T20:39:07Z) - SafeDialBench: A Fine-Grained Safety Benchmark for Large Language Models in Multi-Turn Dialogues with Diverse Jailbreak Attacks [90.41592442792181]
大規模言語モデル(LLM)の安全性を評価するための詳細なベンチマーク SafeDialBench を提案する。
具体的には,6つの安全次元を考慮した2階層型階層型安全分類法を設計し,22の対話シナリオの下で中国語と英語の双方で4000以上のマルチターン対話を生成する。
特に,LLMの革新的なアセスメントフレームワークを構築し,安全でない情報を検出し,処理し,ジェイルブレイク攻撃時の一貫性を維持する。
論文 参考訳(メタデータ) (2025-02-16T12:08:08Z) - Refuse Whenever You Feel Unsafe: Improving Safety in LLMs via Decoupled Refusal Training [67.30423823744506]
我々は,LLMに対して,いかなる応答位置においても有害なプロンプトへのコンプライアンスを拒否する権限を付与する,新しいアプローチであるDecoupled Refusal Training(DeRTa)を導入する。
DeRTaは,(1)安全応答の開始に有害な応答のセグメントを付加することにより,安全でないコンテンツの認識と回避をモデルに訓練する,(2)有害応答シーケンスを通して潜在的障害から安全拒絶へ移行する能力をモデルに装備する強化遷移最適化(RTO)という,2つの新しいコンポーネントを組み込んでいる。
論文 参考訳(メタデータ) (2024-07-12T09:36:33Z) - WildGuard: Open One-Stop Moderation Tools for Safety Risks, Jailbreaks, and Refusals of LLMs [54.10865585773691]
LLM安全性のためのオープンで軽量なモデレーションツールであるWildGuardを紹介します。
WildGuardは、ユーザプロンプトにおける悪意のある意図の特定、モデルレスポンスの安全性リスクの検出、モデル拒絶率の決定という3つの目標を達成する。
論文 参考訳(メタデータ) (2024-06-26T16:58:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。