論文の概要: Impact of Non-Standard Unicode Characters on Security and Comprehension in Large Language Models

• arxiv url: http://arxiv.org/abs/2405.14490v1
• Date: Thu, 23 May 2024 12:24:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-24 15:15:02.602394
• Title: Impact of Non-Standard Unicode Characters on Security and Comprehension in Large Language Models
• Title（参考訳）: 大規模言語モデルのセキュリティと理解に及ぼす非標準Unicode文字の影響
• Authors: Johan S Daniel, Anand Pal,
• Abstract要約: 本稿では、15個の異なるモデルの性能の比較分析を行う。 モデルは、ジェイルブレイク、幻覚、理解エラーの総発生に基づいて評価される。 Unicodeの数字記号を標準ラテンブロックの外側に組み込んで、他の言語の文字の変種を組み込むことで、ガードレールの有効性の低下を観測した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The advancement of large language models has significantly improved natural language processing. However, challenges such as jailbreaks (prompt injections that cause an LLM to follow instructions contrary to its intended use), hallucinations (generating incorrect or misleading information), and comprehension errors remain prevalent. In this report, we present a comparative analysis of the performance of fifteen distinct models, with each model undergoing a standardized test comprising 38 queries across three key metrics: jailbreaks, hallucinations, and comprehension errors. The models are assessed based on the total occurrences of jailbreaks, hallucinations, and comprehension errors. Our work exposes these models' inherent vulnerabilities and challenges the notion of human-level language comprehension of these models. We have empirically analysed the impact of non-standard Unicode characters on LLMs and their safeguarding mechanisms on the best-performing LLMs, including GPT-4, Gemini 1.5 Pro, LlaMA-3-70B, and Claude 3 Opus. By incorporating alphanumeric symbols from Unicode outside the standard Latin block and variants of characters in other languages, we observed a reduction in the efficacy of guardrails implemented through Reinforcement Learning Human Feedback (RLHF). Consequently, these models exhibit heightened vulnerability to content policy breaches and prompt leakage. Our study also suggests a need to incorporate non-standard Unicode text in LLM training data to enhance the capabilities of these models.
• Abstract（参考訳）: 大規模言語モデルの進歩は、自然言語処理を大幅に改善した。 しかし、ジェイルブレイク(LDMが意図した使用と反対の指示に従う原因となるプロンプト注入)、幻覚(誤った情報や誤解を招く情報を生成する)、理解上の誤りなどの課題が依然として多い。 本報告では,3つの主要な指標であるジェイルブレイク,幻覚,理解エラーの38クエリからなる標準化されたテストを実施し,15種類の異なるモデルの性能の比較分析を行った。 モデルは、ジェイルブレイク、幻覚、理解エラーの総発生に基づいて評価される。 我々の研究は、これらのモデルの固有の脆弱性を明らかにし、これらのモデルの人間レベルの言語理解の概念に挑戦する。 我々は,GPT-4,Gemini 1.5 Pro,LlaMA-3-70B,Claude 3 Opusなど,LLMに対する非標準Unicode文字の影響とその保護機構を実証的に分析した。 Unicodeの数字記号を標準ラテンブロックの外側に組み込むことで,RLHF(Reinforcement Learning Human Feedback)によるガードレールの有効性の低下が観察された。 その結果、これらのモデルではコンテンツポリシー違反に対する脆弱性が増加し、即座に漏洩する。 我々の研究は、これらのモデルの能力を高めるために、LLMトレーニングデータに非標準Unicodeテキストを組み込むことの必要性も示唆している。

関連論文リスト

• From English-Centric to Effective Bilingual: LLMs with Custom Tokenizers for Underrepresented Languages [0.5706164516481158]
  そこで本研究では,二言語ベース大言語モデル (LLM) を開発するための,モデルに依存しないコスト効率のアプローチを提案する。 私たちは3つの言語で実験を行い、それぞれが非ラテン文字(ウクライナ語、アラビア語、グルジア語)を使用しました。
  論文  参考訳（メタデータ） (2024-10-24T15:20:54Z)
• Large Language Models for Secure Code Assessment: A Multi-Language Empirical Study [1.9116784879310031]
  GPT-4oは,数ショット設定を用いて,最も高い脆弱性検出とCWE分類のスコアを達成できることを示す。 我々は、VSCodeと統合されたCODEGUARDIANと呼ばれるライブラリを開発し、開発者はLLM支援リアルタイム脆弱性分析を行うことができる。
  論文  参考訳（メタデータ） (2024-08-12T18:10:11Z)
• The Ups and Downs of Large Language Model Inference with Vocabulary Trimming by Language Heuristics [74.99898531299148]
  本研究は,興味のある言語への埋め込みエントリを制限し,時間と記憶効率を高めることによる語彙トリミング(VT)について検討する。 Unicodeベースのスクリプトフィルタリングとコーパスベースの選択という2つの言語を異なる言語ファミリやサイズに適用する。 その結果、VTは小型モデルのメモリ使用量を50%近く削減し、生成速度が25%向上した。
  論文  参考訳（メタデータ） (2023-11-16T09:35:50Z)
• Multilingual Jailbreak Challenges in Large Language Models [96.74878032417054]
  本研究では,大規模言語モデル(LLM)における多言語ジェイルブレイク問題の存在を明らかにする。 我々は、意図しないシナリオと意図的なシナリオの2つを考えます。 安全な微調整のための多言語学習データを自動的に生成する新しいtextscSelf-Defense フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-10T09:44:06Z)
• L2CEval: Evaluating Language-to-Code Generation Capabilities of Large Language Models [102.00201523306986]
  大規模言語モデル(LLM)の言語間コード生成能力を体系的に評価するL2CEvalを提案する。 モデルのサイズ、事前学習データ、命令チューニング、異なるプロンプトメソッドなど、それらのパフォーマンスに影響を与える可能性のある要因を分析する。 モデル性能の評価に加えて、モデルに対する信頼性校正を計測し、出力プログラムの人間による評価を行う。
  論文  参考訳（メタデータ） (2023-09-29T17:57:00Z)
• Are Large Language Models Really Robust to Word-Level Perturbations? [68.60618778027694]
  本稿では,事前学習した報酬モデルを診断ツールとして活用する,新たな合理的評価手法を提案する。 より長い会話は、質問を理解する能力の観点から言語モデルの包括的把握を示す。 この結果から,LLMは日常言語でよく使われる単語レベルの摂動に対する脆弱性をしばしば示している。
  論文  参考訳（メタデータ） (2023-09-20T09:23:46Z)
• Latent Jailbreak: A Benchmark for Evaluating Text Safety and Output Robustness of Large Language Models [28.37026309925163]
  大きな言語モデル(LLM)は人間の値と一致し、安全なテキストを生成するように設計されている。 以前のJailbreaking LLMのベンチマークでは、主にモデルの安全性の評価に焦点が当てられていた。 本稿では,LLMの安全性とロバスト性を両立させ,バランスの取れたアプローチの必要性を強調した。
  論文  参考訳（メタデータ） (2023-07-17T13:49:52Z)
• Democratizing LLMs for Low-Resource Languages by Leveraging their English Dominant Abilities with Linguistically-Diverse Prompts [75.33019401706188]
  大規模言語モデル(LLM)は、少数の例を単純に観察することで、効果的にタスクを実行することが知られている。 我々は,LLMが任意の言語から英語に翻訳するよう促すために,多種多様な高ソース言語から合成例を組み立てることを提案する。 我々の教師なしプロンプト法は、英語と13のIndic言語と21のアフリカ低リソース言語間の翻訳において、異なる大きさのLLMにおける教師付き少ショット学習と同等に機能する。
  論文  参考訳（メタデータ） (2023-06-20T08:27:47Z)
• Simple Linguistic Inferences of Large Language Models (LLMs): Blind Spots and Blinds [59.71218039095155]
  我々は,ほとんどの人間が自明に感じる単純な推論タスクにおいて,言語理解能力を評価する。 我々は, (i) 文法的に特定された含意, (ii) 不確実性のある明らかな副詞を持つ前提, (iii) 単調性含意を目標とする。 モデルはこれらの評価セットに対して中程度から低い性能を示す。
  論文  参考訳（メタデータ） (2023-05-24T06:41:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。