論文の概要: LLMs Lost in Translation: M-ALERT uncovers Cross-Linguistic Safety Gaps

• arxiv url: http://arxiv.org/abs/2412.15035v1
• Date: Thu, 19 Dec 2024 16:46:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-20 18:44:16.213399
• Title: LLMs Lost in Translation: M-ALERT uncovers Cross-Linguistic Safety Gaps
• Title（参考訳）: LLM:M-ALERTが言語横断の安全装置を発見
• Abstract要約: M-ALERTは、英語、フランス語、ドイツ語、イタリア語、スペイン語の5言語で大言語モデルの安全性を評価するベンチマークである。 M-ALERTは、ALERTの詳細な分類に従って、言語ごとの高品質なプロンプトが15kあり、合計で75kである。
• 参考スコア（独自算出の注目度）: 63.10843814055688
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Building safe Large Language Models (LLMs) across multiple languages is essential in ensuring both safe access and linguistic diversity. To this end, we introduce M-ALERT, a multilingual benchmark that evaluates the safety of LLMs in five languages: English, French, German, Italian, and Spanish. M-ALERT includes 15k high-quality prompts per language, totaling 75k, following the detailed ALERT taxonomy. Our extensive experiments on 10 state-of-the-art LLMs highlight the importance of language-specific safety analysis, revealing that models often exhibit significant inconsistencies in safety across languages and categories. For instance, Llama3.2 shows high unsafety in the category crime_tax for Italian but remains safe in other languages. Similar differences can be observed across all models. In contrast, certain categories, such as substance_cannabis and crime_propaganda, consistently trigger unsafe responses across models and languages. These findings underscore the need for robust multilingual safety practices in LLMs to ensure safe and responsible usage across diverse user communities.
• Abstract（参考訳）: 複数の言語にまたがる安全な大規模言語モデル(LLM)の構築は、安全なアクセスと言語の多様性を保証する上で不可欠である。 この目的のために、多言語ベンチマークであるM-ALERTを導入し、英語、フランス語、ドイツ語、イタリア語、スペイン語の5言語でLLMの安全性を評価する。 M-ALERTは、ALERTの詳細な分類に従って、言語ごとの高品質なプロンプトが15kあり、合計で75kである。 現状の10のLCMに関する広範な実験では、言語固有の安全性分析の重要性が強調され、モデルが言語やカテゴリ間での安全性に重大な不整合を示すことがしばしば明らかになった。 例えば、Llama3.2は、イタリア語の「犯罪・税」というカテゴリーでは安全でないが、他の言語では安全である。 同様の違いはすべてのモデルで観測できる。 これとは対照的に、 substance_cannabis や crime_propaganda のような特定のカテゴリは、モデルや言語間の安全でない応答を一貫して引き起こす。 これらの知見は、多様なユーザコミュニティで安全かつ責任ある使用を確実にするために、LSMにおける堅牢な多言語安全プラクティスの必要性を浮き彫りにしている。

関連論文リスト

• ML-Bench&Guard: Policy-Grounded Multilingual Safety Benchmark and Guardrail for Large Language Models [69.0361356103553]
  ML-Benchはポリシーベースで14の言語をカバーする多言語安全ベンチマークである。 ML-Bench上に構築したML-Guardは多言語安全判断とポリシー条件付きコンプライアンスアセスメントをサポートするガードレールモデルである。
  論文  参考訳（メタデータ） (2026-05-01T14:24:14Z)
• Multilingual Refusal Alignment for Safer Large Language Models [53.64286756804503]
  単言語アライメントが言語横断的に伝達されるか,トレーニング中に言語一貫性が保たれるか,一般的な知識能力とのトレードオフが生じるかを検討する。 RefusEUは、12のヨーロッパ言語をカバーする新しい拒絶アライメントデータセットであり、現在の最先端モデルを評価するための専用のテストセットを含む。 制御された直接選好最適化(DPO)実験は、2つの重要な洞察を提供する: 英語でのみモデルを整列することは、同じハーネスカテゴリであっても、言語間安全を保証するには不十分である。
  論文  参考訳（メタデータ） (2026-04-24T09:29:14Z)
• LASA: Language-Agnostic Semantic Alignment at the Semantic Bottleneck for LLM Safety [88.98698230989186]
  大規模言語モデル(LLM)は、しばしば高リソース言語で強力な安全性性能を示すが、低リソース言語では深刻な脆弱性を示す。 このギャップは、言語に依存しない意味理解能力と、高リソース言語に偏った言語に支配的な安全アライメントのミスマッチによるものと考えられる。 セマンティック・アライメント(LASA)を提案し,セマンティック・ボトルネックに直接安全アライメントを固定する。
  論文  参考訳（メタデータ） (2026-04-13T15:59:50Z)
• IndicSafe: A Benchmark for Evaluating Multilingual LLM Safety in South Asia [0.6978180153516672]
  Indic言語12言語を対象に,大規模言語モデル(LLM)の安全性を初めて体系的に評価した。 言語間の合意はわずか12.8%であり、textttSAFEレートは言語間で17%を超えている。 Indicデプロイメントの文化的な安全性評価を可能にする最初のベンチマークである textscIndicSafe をリリースする。
  論文  参考訳（メタデータ） (2026-03-18T16:54:07Z)
• Toxicity Red-Teaming: Benchmarking LLM Safety in Singapore's Low-Resource Languages [57.059267233093465]
  大規模言語モデル(LLM)は自然言語処理を変革しているが、その安全性メカニズムは低リソースで多言語的な設定では未探索のままである。 シンガポールの多様な言語文脈におけるLLM安全性をベンチマークするための新しいデータセットおよび評価フレームワークであるtextsfSGToxicGuardを紹介した。 我々は最先端の多言語LLMによる広範囲な実験を行い、その安全ガードレールの限界を明らかにする。
  論文  参考訳（メタデータ） (2025-09-18T08:14:34Z)
• LinguaSafe: A Comprehensive Multilingual Safety Benchmark for Large Language Models [22.273388934888278]
  私たちのデータセットは、ハンガリー語からマレー語まで、12言語で45万のエントリで構成されています。 我々のベンチマークは、詳細な安全性評価のための総合的なメトリクススイートを提供する。
  論文  参考訳（メタデータ） (2025-08-18T08:59:01Z)
• CultureGuard: Towards Culturally-Aware Dataset and Guard Model for Multilingual Safety Applications [1.235687336222824]
  CultureGuardは、文化的に整列した高品質な安全データセットを複数の言語でキュレートするための新しいソリューションです。 提案手法では,文化データ分離,文化データ適応,機械翻訳,品質フィルタリングという,4段階の合成データ生成とフィルタリングパイプラインを導入している。 得られたデータセットであるNemotron-Content-Safety-Dataset-Multilingual-v1は、9言語で386,661のサンプルで構成され、LoRAベースの微細チューニングを通じてLlama-3.1-Nemotron-Safety-Guard-Multilingual-8B-v1のトレーニングを容易にする。
  論文  参考訳（メタデータ） (2025-08-03T10:35:05Z)
• MPO: Multilingual Safety Alignment via Reward Gap Optimization [88.76638442683391]
  大規模言語モデル(LLM)は、世界中でAIアプリケーションの中心となっている。 RLHFやDPOのような既存の安全アライメントのための選好学習手法は、主に単言語であり、ノイズの多い多言語データと競合する。 本稿では,複数言語間の安全アライメントを改善するために,支配言語(英語)の安全能力の整合性を活用した新しいアプローチである多言語報酬gaP Optimization(MPO)を紹介する。
  論文  参考訳（メタデータ） (2025-05-22T16:24:51Z)
• MR. Guard: Multilingual Reasoning Guardrail using Curriculum Learning [56.79292318645454]
  大規模言語モデル(LLM)は、ジェイルブレイクのような敵の攻撃を受けやすい。 この脆弱性は、多言語セーフティアライメントされたデータが制限される多言語設定で悪化する。 推論を用いた多言語ガードレール構築手法を提案する。
  論文  参考訳（メタデータ） (2025-04-21T17:15:06Z)
• PolyGuard: A Multilingual Safety Moderation Tool for 17 Languages [27.318299273902984]
  PolyGUARDは、LLM(Large Language Models)世代を保護するための、最先端の多言語安全モデルである。 これまでに17言語にまたがる190万のサンプルを含む、最大規模の多言語安全訓練コーパスで訓練されている。 PolyGUARDPROMPTSは、安全ガードレールの評価のための29Kサンプルを用いた高品質な多言語ベンチマークである。
  論文  参考訳（メタデータ） (2025-04-06T06:09:21Z)
• Qorgau: Evaluating LLM Safety in Kazakh-Russian Bilingual Contexts [40.0358736497799]
  大規模言語モデル(LLM)は有害なコンテンツを生成する可能性があることが知られている。 本稿では,カザフ語とロシア語の安全性評価に特化して設計された新しいデータセットであるQorgauを紹介する。
  論文  参考訳（メタデータ） (2025-02-19T11:33:22Z)
• Benchmarking LLM Guardrails in Handling Multilingual Toxicity [57.296161186129545]
  7つのデータセットと10以上の言語にまたがる包括的な多言語テストスイートを導入し、最先端ガードレールのパフォーマンスをベンチマークする。 近年の脱獄技術に対するガードレールの弾力性について検討し,ガードレールの性能に及ぼすコンテキスト内安全ポリシーと言語資源の可利用性の影響について検討した。 以上の結果から, 既存のガードレールは多言語毒性の処理に依然として効果がなく, 脱獄プロンプトに対する堅牢性が欠如していることが示唆された。
  論文  参考訳（メタデータ） (2024-10-29T15:51:24Z)
• Towards Understanding the Fragility of Multilingual LLMs against Fine-Tuning Attacks [18.208272960774337]
  LLM(Large Language Models)は、その安全性に対する幅広い懸念を引き起こしている。 近年の研究では, 微調整によりLLMの安全性の整合性を容易に除去できることが示されている。 我々は,多言語LLMにおける微調整攻撃の理解をさらに進める。
  論文  参考訳（メタデータ） (2024-10-23T18:27:36Z)
• Compromesso! Italian Many-Shot Jailbreaks Undermine the Safety of Large Language Models [23.522660090382832]
  イタリアでは、安全でない動作を誘発するために、モデルに安全でない動作を誘導する多発性ジェイルブレイクの有効性について検討する。 安全でないデモがほとんどなかったとしても、モデルが安全でない振る舞いを示しており、さらに不安なことに、この傾向は、より多くのデモで急速にエスカレートしているのです。
  論文  参考訳（メタデータ） (2024-08-08T15:24:03Z)
• Multilingual Blending: LLM Safety Alignment Evaluation with Language Mixture [6.17896401271963]
  我々は,様々な大規模言語モデルの安全性アライメントを評価するために,混合言語クエリ応答方式であるMultilingual Blendingを導入する。 本稿では,多言語ブレンディングの有効性に影響を及ぼす可能性のある,言語可用性,形態学,言語ファミリーなどの言語パターンについて検討する。
  論文  参考訳（メタデータ） (2024-07-10T03:26:15Z)
• Multilingual Jailbreak Challenges in Large Language Models [96.74878032417054]
  本研究では,大規模言語モデル(LLM)における多言語ジェイルブレイク問題の存在を明らかにする。 我々は、意図しないシナリオと意図的なシナリオの2つを考えます。 安全な微調整のための多言語学習データを自動的に生成する新しいtextscSelf-Defense フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-10T09:44:06Z)
• All Languages Matter: On the Multilingual Safety of Large Language Models [96.47607891042523]
  我々は、大規模言語モデル(LLM)のための最初の多言語安全ベンチマークを構築した。 XSafetyは、複数の言語ファミリーにまたがる10言語にわたる14種類の一般的な安全問題をカバーしている。 本稿では,ChatGPTの多言語安全性向上のための簡易かつ効果的なプロンプト手法を提案する。
  論文  参考訳（メタデータ） (2023-10-02T05:23:34Z)
• SafetyBench: Evaluating the Safety of Large Language Models [54.878612385780805]
  SafetyBenchは、大規模言語モデル(LLM)の安全性を評価するための包括的なベンチマークである。 11,435 の多様な選択質問が 7 つの異なるカテゴリーの安全問題にまたがっている。 ゼロショット設定と少数ショット設定の両方で、中国語と英語のLLMを25回以上テストしたところ、GPT-4よりも大幅にパフォーマンス上の優位性を示しました。
  論文  参考訳（メタデータ） (2023-09-13T15:56:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。