論文の概要: Code-Switching Red-Teaming: LLM Evaluation for Safety and Multilingual Understanding

• arxiv url: http://arxiv.org/abs/2406.15481v2
• Date: Sat, 02 Nov 2024 06:21:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 14:44:51.090611
• Title: Code-Switching Red-Teaming: LLM Evaluation for Safety and Multilingual Understanding
• Title（参考訳）: コード切り替え型レッドチーム: 安全性と多言語理解のためのLLM評価
• Authors: Haneul Yoo, Yongjin Yang, Hwaran Lee,
• Abstract要約: 赤チームクエリのコードスイッチングは、大規模言語モデル(LLM)の望ましくない振る舞いを効果的に引き出すことができる コードスイッチング型リピートクエリを合成するための,シンプルで効果的なフレームワークCSRTを導入する。 CSRTは,既存の多言語リピート技術よりも大幅に優れていることを示す。
• 参考スコア（独自算出の注目度）: 10.154013836043816
• License:
• Abstract: As large language models (LLMs) have advanced rapidly, concerns regarding their safety have become prominent. In this paper, we discover that code-switching in red-teaming queries can effectively elicit undesirable behaviors of LLMs, which are common practices in natural language. We introduce a simple yet effective framework, CSRT, to synthesize code-switching red-teaming queries and investigate the safety and multilingual understanding of LLMs comprehensively. Through extensive experiments with ten state-of-the-art LLMs and code-switching queries combining up to 10 languages, we demonstrate that the CSRT significantly outperforms existing multilingual red-teaming techniques, achieving 46.7% more attacks than standard attacks in English and being effective in conventional safety domains. We also examine the multilingual ability of those LLMs to generate and understand code-switching texts. Additionally, we validate the extensibility of the CSRT by generating code-switching attack prompts with monolingual data. We finally conduct detailed ablation studies exploring code-switching and propound unintended correlation between resource availability of languages and safety alignment in existing multilingual LLMs.
• Abstract（参考訳）: 大規模言語モデル(LLM)が急速に進歩するにつれて、その安全性に関する懸念が高まっている。 本稿では,自然言語の慣行であるLLMの好ましくない振る舞いを効果的に引き出すことができることを明らかにする。 コードスイッチングされたリピートクエリを合成し,LLMの安全性と多言語的理解を包括的に調査する,シンプルで効果的なフレームワークCSRTを提案する。 10の最先端のLCMと10の言語を組み合わせたコードスイッチングクエリによる広範な実験により、CSRTは既存の多言語的リピート手法を著しく上回り、英語の標準攻撃よりも46.7%のアタックを達成し、従来の安全領域で有効であることを実証した。 また、それらのLLMがコードスイッチングテキストを生成・理解する多言語的能力についても検討する。 さらに、単言語データを用いてコードスイッチング攻撃プロンプトを生成することにより、CSRTの拡張性を検証する。 言語資源の可利用性と既存の多言語LLMにおける安全性の整合性との間には,コードスイッチングと意図しない相関関係を探索する詳細なアブレーション研究を行った。

関連論文リスト

• Think Carefully and Check Again! Meta-Generation Unlocking LLMs for Low-Resource Cross-Lingual Summarization [108.6908427615402]
  CLS(Cross-lingual summarization)は、異なるターゲット言語でソーステキストの要約を生成することを目的としている。 現在、インストラクションチューニング付き大規模言語モデル (LLM) は様々な英語タスクで優れている。 近年の研究では、LCSタスクにおけるLCMの性能は、わずかな設定でも満足できないことが示されている。
  論文  参考訳（メタデータ） (2024-10-26T00:39:44Z)
• Can Code-Switched Texts Activate a Knowledge Switch in LLMs? A Case Study on English-Korean Code-Switching [14.841981996951395]
  コードスイッチング(英語版) (CS) は微妙な文化的・言語的なニュアンスを伝えることができ、それ以外は翻訳で失われることがある。 近年の多言語大言語モデル(LLM)は,CSの理解など,様々な面で優れた多言語能力を示す。
  論文  参考訳（メタデータ） (2024-10-24T05:14:03Z)
• Bridging the Language Gap: Enhancing Multilingual Prompt-Based Code Generation in LLMs via Zero-Shot Cross-Lingual Transfer [5.355430735475281]
  本稿では,多言語プロンプトベースのコード生成の複雑さについて検討する。 評価の結果,非英語のプロンプトにおけるコード品質の相違が明らかとなった。 本稿では,ニューラルプロジェクション手法を用いたゼロショット言語間アプローチを提案する。
  論文  参考訳（メタデータ） (2024-08-19T05:11:46Z)
• Crosslingual Capabilities and Knowledge Barriers in Multilingual Large Language Models [62.91524967852552]
  大規模言語モデル(LLM)は、多言語コーパスの事前訓練のため、一般的に多言語である。 しかし、これらのモデルは言語間で対応する概念を関連付けることができ、効果的にクロスランガルなのでしょうか? 本研究は,言語横断的課題に関する6つの技術 LLM の評価を行った。
  論文  参考訳（メタデータ） (2024-06-23T15:15:17Z)
• Getting More from Less: Large Language Models are Good Spontaneous Multilingual Learners [67.85635044939836]
  大きな言語モデル(LLM)は印象的な言語機能を示している。 本研究では,LLMの自然多言語アライメント改善について検討する。 質問翻訳データ(すなわち注釈付き回答なし)に基づいて学習したLLMは、英語と幅広い言語との整合を促進できることがわかった。
  論文  参考訳（メタデータ） (2024-05-22T16:46:19Z)
• IRCoder: Intermediate Representations Make Language Models Robust Multilingual Code Generators [49.903001442804594]
  本研究では、コンパイラ中間表現(IR)を活用して、Code-LMの多言語機能を改善する可能性について検討する。 まず,約400万のソースコードファイルからなる並列データセットであるSLTransをコンパイルする。 次に、SLTransにおける因果言語モデリングトレーニングを継続して実施し、Code-LMはIR言語を学習せざるを得なかった。 IRCoderと呼ばれる結果のモデルは、さまざまなコード生成タスクやメトリクスに対して、サイズと一貫性のあるゲインを表示します。
  論文  参考訳（メタデータ） (2024-03-06T17:52:08Z)
• UltraLink: An Open-Source Knowledge-Enhanced Multilingual Supervised Fine-tuning Dataset [69.33424532827608]
  オープンソースの大規模言語モデル(LLM)は、様々な分野において大きな強みを持っている。 本研究では,オープンソースの多言語教師付き微調整データセットを構築する。 結果として得られたUltraLinkデータセットは、5つの言語にわたる約100万のサンプルで構成されている。
  論文  参考訳（メタデータ） (2024-02-07T05:05:53Z)
• The Language Barrier: Dissecting Safety Challenges of LLMs in Multilingual Contexts [46.089025223336854]
  本稿では,多言語にわたる大規模言語モデルが直面する安全上の課題の多様性について検討する。 我々は、最先端のLLMが高レベルの言語と低レベルの言語で書かれた同じ悪意のあるプロンプトにどのように反応するかを比較する。
  論文  参考訳（メタデータ） (2024-01-23T23:12:09Z)
• If LLM Is the Wizard, Then Code Is the Wand: A Survey on How Code Empowers Large Language Models to Serve as Intelligent Agents [81.60906807941188]
  大型言語モデル(LLM)は、自然言語と形式言語(コード)の組み合わせに基づいて訓練される コードは、標準構文、論理一貫性、抽象化、モジュール性を備えた高レベルの目標を実行可能なステップに変換する。
  論文  参考訳（メタデータ） (2024-01-01T16:51:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。