論文の概要: Minionese: Comprehensive Benchmark and Mechanistic Study of Multilingual LLM Safety
- arxiv url: http://arxiv.org/abs/2607.10112v1
- Date: Sat, 11 Jul 2026 04:13:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-14 15:40:48.304065
- Title: Minionese: Comprehensive Benchmark and Mechanistic Study of Multilingual LLM Safety
- Title(参考訳): Minionese:多言語LDMの安全性に関する総合的ベンチマークと力学的研究
- Abstract要約: 大規模な言語モデルにおける安全性の整合性は、言語間でも不安定である。
我々は18言語にまたがる多言語ジェイルブレイクベンチマークであるtextscMinioneseを紹介した。
各攻撃タイプは、異なる脆弱性プロファイルを生成する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Safety alignment in large language models remains brittle across languages: prompts reliably refused in English can elicit harmful compliance in non-English and low-resource settings. We introduce \textsc{Minionese}, a multilingual jailbreak benchmark spanning 18 languages, 4 resource tiers, and 4 perturbation types (standard translation, code-switching, transliteration, and translationese), paired with a geometric mechanistic analysis of refusal failure across language tiers. We show that each attack type produces a distinct vulnerability profile: transliteration vulnerability is mediated by script identity, code-switching maintains effectiveness through the lowest-resource tier, and a sharp safety regime transition between Tiers 2 and 3 is consistent across all models. Mechanistically, low-resource jailbreaks succeed by routing harmful content through a geometrically misaligned subspace that projects insufficiently onto the refusal directions, leaving the refusal mechanism intact but untriggered. These findings show that English-only safety evaluations are insufficient; they require accounting for script family, perturbation type, and per-language alignment coverage. The benchmark and analysis code is at https://github.com/Brentkong/Minionese-Comprehensive-Benchmark-and-Mechanistic-Study-of-Multilingual -LLM-Safety.git.
- Abstract(参考訳): 英語で確実に拒否されるプロンプトは、非英語および低リソース設定における有害なコンプライアンスを誘発する。
我々は18の言語、4つのリソース層、および4つの摂動型(標準翻訳、コードスイッチング、翻訳、翻訳)にまたがる多言語ジェイルブレイクベンチマークである \textsc{Minionese} を紹介し、言語階層間での拒絶失敗の幾何学的力学解析と組み合わせた。
トランスリテラル脆弱性はスクリプトアイデンティティによって媒介され、コードスイッチングは低リソース層を通じて有効性を維持し、タイア2と3間の急激な安全状態遷移は全モデルにわたって一貫している。
機械的には、低リソースのジェイルブレイクは、幾何学的に不整合な部分空間を通じて有害なコンテンツをルーティングすることで成功し、拒絶のメカニズムは無傷のまま残される。
これらの結果から,英語のみの安全性評価は不十分であることが示唆された。
ベンチマークと分析コードはhttps://github.com/Brentkong/Minionese-Comprehensive-Benchmark-and-Mechanistic-Study-of-Multilingual -LLM-Safety.gitにある。
関連論文リスト
- The Illusion of Cross-Lingual Safety in Low-Resource Languages [7.471112976694495]
大規模言語モデル (LLM) における安全性の整合性は、多言語設定にまたがって一般化されることを前提として、主に英語で開発されている。
文化的な局所的なプロンプトとリテラル翻訳を組み合わせた新しい安全データセットであるLoDNAを用いて,アフリカ4言語(Twi,Hausa,Amharic,Swahili)の言語間安全トランスファーを調査した。
実験の結果, 言語間の安全伝達は極めて限定的であり, 有害なプロンプトはほとんどの言語モデルペアで英語の拒絶信号の10%未満を維持していることがわかった。
論文 参考訳(メタデータ) (2026-08-11T17:05:26Z) - LLM Safety Alignment in Low-Resource Languages: A Systematic Literature Review [9.895109697164283]
LLM(Large Language Models)は、安全性の大幅な向上を実現している。
安全性の保証は、低リソースおよび多言語設定において著しく弱いままである。
論文 参考訳(メタデータ) (2026-07-20T21:11:00Z) - Why Do Safety Guardrails Degrade Across Languages? [21.521293656854183]
大規模な言語モデルは、英語以外の言語で安全性の低下を示す。
我々は、安全運転要因を分離する潜在変数モデル、多群項目応答理論(IRT)フレームワークを導入する。
5つの閉モデルファミリーと10の言語にまたがる61のモデル構成の安全性のロバスト性を評価する。
論文 参考訳(メタデータ) (2026-05-16T22:08:54Z) - Cross-Lingual Jailbreak Detection via Semantic Codebooks [0.0]
大規模言語モデル(LLM)の安全性メカニズムは、主に英語中心であり、多言語展開における体系的な脆弱性を生み出している。
本研究では,言語に依存しないセマンティックな類似性によって,リトレーニングや言語固有の適応なしにこのような攻撃を軽減できるかどうかを検討する。
論文 参考訳(メタデータ) (2026-04-28T14:43:40Z) - LASA: Language-Agnostic Semantic Alignment at the Semantic Bottleneck for LLM Safety [88.98698230989186]
大規模言語モデル(LLM)は、しばしば高リソース言語で強力な安全性性能を示すが、低リソース言語では深刻な脆弱性を示す。
このギャップは、言語に依存しない意味理解能力と、高リソース言語に偏った言語に支配的な安全アライメントのミスマッチによるものと考えられる。
セマンティック・アライメント(LASA)を提案し,セマンティック・ボトルネックに直接安全アライメントを固定する。
論文 参考訳(メタデータ) (2026-04-13T15:59:50Z) - Toxicity Red-Teaming: Benchmarking LLM Safety in Singapore's Low-Resource Languages [57.059267233093465]
大規模言語モデル(LLM)は自然言語処理を変革しているが、その安全性メカニズムは低リソースで多言語的な設定では未探索のままである。
シンガポールの多様な言語文脈におけるLLM安全性をベンチマークするための新しいデータセットおよび評価フレームワークであるtextsfSGToxicGuardを紹介した。
我々は最先端の多言語LLMによる広範囲な実験を行い、その安全ガードレールの限界を明らかにする。
論文 参考訳(メタデータ) (2025-09-18T08:14:34Z) - RabakBench: Scaling Human Annotations to Construct Localized Multilingual Safety Benchmarks for Low-Resource Languages [3.7678366606419345]
RabakBenchはシンガポール独自の言語コンテキストにローカライズされた新しい多言語安全ベンチマークである。
人間の検証された翻訳や評価コードを含むベンチマークデータセットが公開されている。
論文 参考訳(メタデータ) (2025-07-08T13:37:25Z) - Multilingual Collaborative Defense for Large Language Models [39.28665703568305]
注目すべき脆弱性の1つは、有害なクエリを稀で表現不足の言語に翻訳することで、セーフガードを回避できることである。
懸念が高まっているにもかかわらず、多言語シナリオにおけるLLMの保護に対処する研究は限られている。
本稿では,連続的かつソフトな安全プロンプトを自動で最適化する新しい学習手法であるMCDを提案する。
論文 参考訳(メタデータ) (2025-05-17T04:47:16Z) - MrGuard: A Multilingual Reasoning Guardrail for Universal LLM Safety [56.77103365251923]
大規模言語モデル(LLM)は、ジェイルブレイクのような敵の攻撃を受けやすい。
この脆弱性は、多言語セーフティアライメントされたデータが制限される多言語設定で悪化する。
素早い分類のための多言語ガードレールを提案する。
論文 参考訳(メタデータ) (2025-04-21T17:15:06Z) - LLMs Lost in Translation: M-ALERT uncovers Cross-Linguistic Safety Inconsistencies [63.10843814055688]
M-ALERTは5つの言語における大規模言語モデルの安全性を評価するベンチマークである。
M-ALERTには言語毎に15kの高品質なプロンプトが含まれており、合計で75k、カテゴリワイドアノテーションがある。
39種類のLLMに関する実験は,言語固有の安全性解析の重要性を強調した。
論文 参考訳(メタデータ) (2024-12-19T16:46:54Z) - Benchmarking LLM Guardrails in Handling Multilingual Toxicity [57.296161186129545]
7つのデータセットと10以上の言語にまたがる包括的な多言語テストスイートを導入し、最先端ガードレールのパフォーマンスをベンチマークする。
近年の脱獄技術に対するガードレールの弾力性について検討し,ガードレールの性能に及ぼすコンテキスト内安全ポリシーと言語資源の可利用性の影響について検討した。
以上の結果から, 既存のガードレールは多言語毒性の処理に依然として効果がなく, 脱獄プロンプトに対する堅牢性が欠如していることが示唆された。
論文 参考訳(メタデータ) (2024-10-29T15:51:24Z) - Multilingual Jailbreak Challenges in Large Language Models [96.74878032417054]
本研究では,大規模言語モデル(LLM)における多言語ジェイルブレイク問題の存在を明らかにする。
我々は、意図しないシナリオと意図的なシナリオの2つを考えます。
安全な微調整のための多言語学習データを自動的に生成する新しいtextscSelf-Defense フレームワークを提案する。
論文 参考訳(メタデータ) (2023-10-10T09:44:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。