論文の概要: Benchmarking LLM Guardrails in Handling Multilingual Toxicity

• arxiv url: http://arxiv.org/abs/2410.22153v1
• Date: Tue, 29 Oct 2024 15:51:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-28 17:07:41.915089
• Title: Benchmarking LLM Guardrails in Handling Multilingual Toxicity
• Title（参考訳）: 多言語毒性処理におけるLLMガードレールのベンチマーク
• Authors: Yahan Yang, Soham Dan, Dan Roth, Insup Lee,
• Abstract要約: 7つのデータセットと10以上の言語にまたがる包括的な多言語テストスイートを導入し、最先端ガードレールのパフォーマンスをベンチマークする。 近年の脱獄技術に対するガードレールの弾力性について検討し,ガードレールの性能に及ぼすコンテキスト内安全ポリシーと言語資源の可利用性の影響について検討した。 以上の結果から, 既存のガードレールは多言語毒性の処理に依然として効果がなく, 脱獄プロンプトに対する堅牢性が欠如していることが示唆された。
• 参考スコア（独自算出の注目度）: 57.296161186129545
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With the ubiquity of Large Language Models (LLMs), guardrails have become crucial to detect and defend against toxic content. However, with the increasing pervasiveness of LLMs in multilingual scenarios, their effectiveness in handling multilingual toxic inputs remains unclear. In this work, we introduce a comprehensive multilingual test suite, spanning seven datasets and over ten languages, to benchmark the performance of state-of-the-art guardrails. We also investigates the resilience of guardrails against recent jailbreaking techniques, and assess the impact of in-context safety policies and language resource availability on guardrails' performance. Our findings show that existing guardrails are still ineffective at handling multilingual toxicity and lack robustness against jailbreaking prompts. This work aims to identify the limitations of guardrails and to build a more reliable and trustworthy LLMs in multilingual scenarios.
• Abstract（参考訳）: LLM(Large Language Models)の普及に伴い、ガードレールは有害なコンテンツの検出と防御に欠かせないものとなっている。 しかし、多言語シナリオにおけるLLMの浸透度の増加に伴い、多言語有毒な入力を扱う上での有効性は明らかになっていない。 本研究では、7つのデータセットと10以上の言語にまたがる包括的な多言語テストスイートを導入し、最先端ガードレールの性能をベンチマークする。 また,近年の脱獄技術に対するガードレールの弾力性について検討し,ガードレールの性能に及ぼすコンテキスト内安全ポリシーと言語資源の可利用性の影響について検討した。 以上の結果から, 既存のガードレールは多言語毒性の処理に依然として効果がなく, 脱獄プロンプトに対する堅牢性が欠如していることが示唆された。 本研究の目的は、ガードレールの限界を特定し、多言語シナリオでより信頼性が高く信頼性の高いLLMを構築することである。

関連論文リスト

• SEALGuard: Safeguarding the Multilingual Conversations in Southeast Asian Languages for LLM Software Systems [9.469589800082597]
  本稿では,多言語間の安全性向上を目的とした多言語ガードレールであるSEALGuardを紹介する。 既存のガードレールの多言語的安全アライメントギャップに対処し、安全でないプロンプトと脱獄プロンプトを効果的にフィルタリングすることを目的としている。 10言語で260,000以上のプロンプトを含む大規模多言語安全アライメントデータセットであるSEALSBenchを構築した。
  論文  参考訳（メタデータ） (2025-07-11T05:15:35Z)
• Evaluating LLMs Robustness in Less Resourced Languages with Proxy Models [0.0]
  数文字だけを変更し、単語の重要度を計算するために小さなプロキシモデルを使用することで、驚くほど強力な攻撃が生まれることを示す。 これらの特徴と単語レベルの攻撃は、異なるLLMの予測を劇的に変えることが判明した。 我々は,低リソース言語ポーランド語に対する攻撃構築手法を検証し,LLMの潜在的な脆弱性を発見する。
  論文  参考訳（メタデータ） (2025-06-09T11:09:39Z)
• Multilingual Collaborative Defense for Large Language Models [33.14454771097587]
  注目すべき脆弱性の1つは、有害なクエリを稀で表現不足の言語に翻訳することで、セーフガードを回避できることである。 懸念が高まっているにもかかわらず、多言語シナリオにおけるLLMの保護に対処する研究は限られている。 本稿では,連続的かつソフトな安全プロンプトを自動で最適化する新しい学習手法であるMCDを提案する。
  論文  参考訳（メタデータ） (2025-05-17T04:47:16Z)
• MR. Guard: Multilingual Reasoning Guardrail using Curriculum Learning [56.79292318645454]
  大規模言語モデル(LLM)は、ジェイルブレイクのような敵の攻撃を受けやすい。 この脆弱性は、多言語セーフティアライメントされたデータが制限される多言語設定で悪化する。 推論を用いた多言語ガードレール構築手法を提案する。
  論文  参考訳（メタデータ） (2025-04-21T17:15:06Z)
• X-Guard: Multilingual Guard Agent for Content Moderation [8.233872344445675]
  X-Guardは、多様な言語コンテキストにまたがるコンテンツモデレーションを提供するために設計された透明な多言語安全エージェントである。 弊社のアプローチは、複数のオープンソースの安全データセットを、明確な評価の根拠でキュレートし、拡張することを含む。 実験により,X-Guardが複数言語にわたる安全でないコンテンツの検出に有効であることを実証した。
  論文  参考訳（メタデータ） (2025-04-11T01:58:06Z)
• LLMs Lost in Translation: M-ALERT uncovers Cross-Linguistic Safety Inconsistencies [63.10843814055688]
  M-ALERTは5つの言語における大規模言語モデルの安全性を評価するベンチマークである。 M-ALERTには言語毎に15kの高品質なプロンプトが含まれており、合計で75k、カテゴリワイドアノテーションがある。 39種類のLLMに関する実験は,言語固有の安全性解析の重要性を強調した。
  論文  参考訳（メタデータ） (2024-12-19T16:46:54Z)
• Crosslingual Capabilities and Knowledge Barriers in Multilingual Large Language Models [62.91524967852552]
  大規模言語モデル(LLM)は、多言語コーパスの事前訓練のため、一般的に多言語である。 しかし、これらのモデルは言語間で対応する概念を関連付けることができ、効果的にクロスランガルなのでしょうか? 本研究は,言語横断的課題に関する6つの技術 LLM の評価を行った。
  論文  参考訳（メタデータ） (2024-06-23T15:15:17Z)
• TuBA: Cross-Lingual Transferability of Backdoor Attacks in LLMs with Instruction Tuning [63.481446315733145]
  多言語大言語モデル(LLM)に対する言語間バックドア攻撃は未調査である。 本研究は, 教育指導データが有毒でない言語に対して, 教育指導データの有毒化がアウトプットに与える影響について検討した。 本手法は,mT5 や GPT-4o などのモデルにおいて,高い攻撃成功率を示し,12言語中7言語以上で90%以上を突破した。
  論文  参考訳（メタデータ） (2024-04-30T14:43:57Z)
• The Language Barrier: Dissecting Safety Challenges of LLMs in Multilingual Contexts [46.089025223336854]
  本稿では,多言語にわたる大規模言語モデルが直面する安全上の課題の多様性について検討する。 我々は、最先端のLLMが高レベルの言語と低レベルの言語で書かれた同じ悪意のあるプロンプトにどのように反応するかを比較する。
  論文  参考訳（メタデータ） (2024-01-23T23:12:09Z)
• Text Embedding Inversion Security for Multilingual Language Models [2.790855523145802]
  研究は、基礎となるモデルに関する知識がなくても、埋め込みからテキストを再構築できることを示している。 本研究は,単言語・多言語・多言語・多言語・多言語・多言語・多言語・多言語・多言語・多言語・多言語・多言語・多言語・多言語・多言語・多言語・多言語・多言語・多言語・多言語・多言語・多言語・多言語・多言語・多言語・多言語・多言語・多言語・多言語・多言語・多言語・多言語・多言語・多言語・多言語
  論文  参考訳（メタデータ） (2024-01-22T18:34:42Z)
• Multilingual Jailbreak Challenges in Large Language Models [96.74878032417054]
  本研究では,大規模言語モデル(LLM)における多言語ジェイルブレイク問題の存在を明らかにする。 我々は、意図しないシナリオと意図的なシナリオの2つを考えます。 安全な微調整のための多言語学習データを自動的に生成する新しいtextscSelf-Defense フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-10T09:44:06Z)
• Low-Resource Languages Jailbreak GPT-4 [19.97929171158234]
  我々の研究は、AIの安全性トレーニングと大規模言語モデル(LLM)のリピートという、言語横断的な脆弱性を明らかにします。 AdvBenchmarkでは、GPT-4は安全でない翻訳された入力に関わり、ユーザを有害な目標の79%に導く実行可能なアイテムを提供する。 他のハイ/ミッドリソース言語は攻撃成功率を著しく低くしているため、言語間の脆弱性は主に低リソース言語に適用される。
  論文  参考訳（メタデータ） (2023-10-03T21:30:56Z)
• Are Large Language Models Really Robust to Word-Level Perturbations? [68.60618778027694]
  本稿では,事前学習した報酬モデルを診断ツールとして活用する,新たな合理的評価手法を提案する。 より長い会話は、質問を理解する能力の観点から言語モデルの包括的把握を示す。 この結果から,LLMは日常言語でよく使われる単語レベルの摂動に対する脆弱性をしばしば示している。
  論文  参考訳（メタデータ） (2023-09-20T09:23:46Z)
• Chain-of-Dictionary Prompting Elicits Translation in Large Language Models [100.47154959254937]
  大規模言語モデル(LLM)は多言語ニューラルマシン翻訳(MNMT)において驚くほど優れた性能を示した 入力単語のサブセットに対する多言語辞書の連鎖による事前知識でLLMを拡張して翻訳能力を引き出す新しい方法であるCoDを提案する。
  論文  参考訳（メタデータ） (2023-05-11T05:19:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。