論文の概要: Qorgau: Evaluating LLM Safety in Kazakh-Russian Bilingual Contexts

• arxiv url: http://arxiv.org/abs/2502.13640v1
• Date: Wed, 19 Feb 2025 11:33:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-20 14:00:15.458324
• Title: Qorgau: Evaluating LLM Safety in Kazakh-Russian Bilingual Contexts
• Title（参考訳）: Qorgau:カザフスタンのバイリンガル文脈におけるLLM安全性の評価
• Authors: Maiya Goloburda, Nurkhan Laiyk, Diana Turmakhan, Yuxia Wang, Mukhammed Togmanov, Jonibek Mansurov, Askhat Sametov, Nurdaulet Mukhituly, Minghan Wang, Daniil Orel, Zain Muhammad Mujahid, Fajri Koto, Timothy Baldwin, Preslav Nakov,
• Abstract要約: 大規模言語モデル(LLM)は有害なコンテンツを生成する可能性があることが知られている。 本稿では,カザフ語とロシア語の安全性評価に特化して設計された新しいデータセットであるQorgauを紹介する。
• 参考スコア（独自算出の注目度）: 40.0358736497799
• License:
• Abstract: Large language models (LLMs) are known to have the potential to generate harmful content, posing risks to users. While significant progress has been made in developing taxonomies for LLM risks and safety evaluation prompts, most studies have focused on monolingual contexts, primarily in English. However, language- and region-specific risks in bilingual contexts are often overlooked, and core findings can diverge from those in monolingual settings. In this paper, we introduce Qorgau, a novel dataset specifically designed for safety evaluation in Kazakh and Russian, reflecting the unique bilingual context in Kazakhstan, where both Kazakh (a low-resource language) and Russian (a high-resource language) are spoken. Experiments with both multilingual and language-specific LLMs reveal notable differences in safety performance, emphasizing the need for tailored, region-specific datasets to ensure the responsible and safe deployment of LLMs in countries like Kazakhstan. Warning: this paper contains example data that may be offensive, harmful, or biased.
• Abstract（参考訳）: 大規模言語モデル(LLM)は有害なコンテンツを生成する可能性があり、ユーザにリスクを及ぼすことが知られている。 LLMのリスクと安全性評価のプロンプトのための分類学の開発には大きな進歩があったが、ほとんどの研究は、主に英語におけるモノリンガルな文脈に焦点を当てている。 しかしながら、バイリンガル文脈における言語固有のリスクや地域固有のリスクはしばしば見過ごされ、中核的な発見はモノリンガル環境におけるリスクから逸脱する可能性がある。 本稿では,カザフ語とロシア語の両方が話されるカザフ語特有のバイリンガル文脈を反映した,カザフ語とロシア語の安全性評価に特化して設計された新しいデータセットであるQorgauを紹介する。 多言語と言語固有のLLMによる実験は、カザフスタンのような国におけるLLMの責任と安全な展開を保証するために、カスタマイズされた地域固有のデータセットの必要性を強調し、安全性のパフォーマンスの顕著な違いを明らかにしている。 警告:本論文は、攻撃的、有害、偏見のあるサンプルデータを含む。

関連論文リスト

• LLMs Lost in Translation: M-ALERT uncovers Cross-Linguistic Safety Gaps [63.10843814055688]
  M-ALERTは、英語、フランス語、ドイツ語、イタリア語、スペイン語の5言語で大言語モデルの安全性を評価するベンチマークである。 M-ALERTは、ALERTの詳細な分類に従って、言語ごとの高品質なプロンプトが15kあり、合計で75kである。
  論文  参考訳（メタデータ） (2024-12-19T16:46:54Z)
• ChineseSafe: A Chinese Benchmark for Evaluating Safety in Large Language Models [13.911977148887873]
  本研究は,大言語モデルのコンテンツ安全性に関する研究を容易にするため,中国語の安全性ベンチマーク( ChineseSafe)を提案する。 中国のインターネットコンテンツモデレーションの規制に合わせるために、ChinaSafeには4つのクラスと10のサブクラスにわたる205,034のサンプルが含まれています。 その結果、多くのLCMが特定の種類の安全問題に対する脆弱性を示しており、中国の法的なリスクにつながっていることが明らかとなった。
  論文  参考訳（メタデータ） (2024-10-24T07:25:29Z)
• Arabic Dataset for LLM Safeguard Evaluation [62.96160492994489]
  本研究では,アラビア語における大言語モデル(LLM)の安全性と,その言語的・文化的複雑さについて考察する。 本稿では, 直接攻撃, 間接攻撃, センシティブな単語による無害な要求を含む5,799の質問からなるアラブ地域固有の安全評価データセットを提案する。
  論文  参考訳（メタデータ） (2024-10-22T14:12:43Z)
• Guardians of Discourse: Evaluating LLMs on Multilingual Offensive Language Detection [10.129235204880443]
  非英語文脈におけるタスクに対する異なるプロンプト言語と拡張翻訳データの影響を評価する。 本稿では, LLMにおける固有バイアスと, センシティブなトピックに関する誤予測におけるデータセットの影響について論じる。
  論文  参考訳（メタデータ） (2024-10-21T04:08:16Z)
• A Chinese Dataset for Evaluating the Safeguards in Large Language Models [46.43476815725323]
  大型言語モデル(LLM)は有害な応答を生み出す。 本稿では,中国のLLMの安全性評価のためのデータセットを提案する。 次に、偽陰性例と偽陽性例をよりよく識別するために使用できる他の2つのシナリオに拡張する。
  論文  参考訳（メタデータ） (2024-02-19T14:56:18Z)
• The Language Barrier: Dissecting Safety Challenges of LLMs in Multilingual Contexts [46.089025223336854]
  本稿では,多言語にわたる大規模言語モデルが直面する安全上の課題の多様性について検討する。 我々は、最先端のLLMが高レベルの言語と低レベルの言語で書かれた同じ悪意のあるプロンプトにどのように反応するかを比較する。
  論文  参考訳（メタデータ） (2024-01-23T23:12:09Z)
• Multilingual Jailbreak Challenges in Large Language Models [96.74878032417054]
  本研究では,大規模言語モデル(LLM)における多言語ジェイルブレイク問題の存在を明らかにする。 我々は、意図しないシナリオと意図的なシナリオの2つを考えます。 安全な微調整のための多言語学習データを自動的に生成する新しいtextscSelf-Defense フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-10T09:44:06Z)
• All Languages Matter: On the Multilingual Safety of Large Language Models [96.47607891042523]
  我々は、大規模言語モデル(LLM)のための最初の多言語安全ベンチマークを構築した。 XSafetyは、複数の言語ファミリーにまたがる10言語にわたる14種類の一般的な安全問題をカバーしている。 本稿では,ChatGPTの多言語安全性向上のための簡易かつ効果的なプロンプト手法を提案する。
  論文  参考訳（メタデータ） (2023-10-02T05:23:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。