論文の概要: Comprehensive Evaluation of ChatGPT Reliability Through Multilingual
Inquiries
- arxiv url: http://arxiv.org/abs/2312.10524v1
- Date: Sat, 16 Dec 2023 19:44:48 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-19 16:06:56.187782
- Title: Comprehensive Evaluation of ChatGPT Reliability Through Multilingual
Inquiries
- Title（参考訳）: 多言語質問によるチャットGPT信頼性の総合評価
- Authors: Poorna Chander Reddy Puttaparthi, Soham Sanjay Deo, Hakan Gul, Yiming
Tang, Weiyi Shang, Zhe Yu
- Abstract要約: ChatGPTは1億人以上のユーザーを持つ最も人気のある大規模言語モデル(LLM)である。
ジェイルブレイクの脆弱性があるため、ChatGPTは人々の生活に悪影響を及ぼす可能性がある。
マルチリンガルラッピングがChatGPTのジェイルブレイクにつながるかどうかを検討した。
- 参考スコア（独自算出の注目度）: 10.140483464820935
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: ChatGPT is currently the most popular large language model (LLM), with over
100 million users, making a significant impact on people's lives. However, due
to the presence of jailbreak vulnerabilities, ChatGPT might have negative
effects on people's lives, potentially even facilitating criminal activities.
Testing whether ChatGPT can cause jailbreak is crucial because it can enhance
ChatGPT's security, reliability, and social responsibility. Inspired by
previous research revealing the varied performance of LLMs in different
language translations, we suspected that wrapping prompts in multiple languages
might lead to ChatGPT jailbreak. To investigate this, we designed a study with
a fuzzing testing approach to analyzing ChatGPT's cross-linguistic proficiency.
Our study includes three strategies by automatically posing different formats
of malicious questions to ChatGPT: (1) each malicious question involving only
one language, (2) multilingual malicious questions, (3) specifying that ChatGPT
responds in a language different from the prompts. In addition, we also combine
our strategies by utilizing prompt injection templates to wrap the three
aforementioned types of questions. We examined a total of 7,892 Q&A data
points, discovering that multilingual wrapping can indeed lead to ChatGPT's
jailbreak, with different wrapping methods having varying effects on jailbreak
probability. Prompt injection can amplify the probability of jailbreak caused
by multilingual wrapping. This work provides insights for OpenAI developers to
enhance ChatGPT's support for language diversity and inclusion.
- Abstract（参考訳）: ChatGPTは現在1億人以上のユーザを抱える最も人気のある大規模言語モデル(LLM)であり、人々の生活に大きな影響を与えている。
しかし、ジェイルブレイクの脆弱性があるため、ChatGPTは人々の生活に悪影響を及ぼし、犯罪行為を助長する可能性がある。
ChatGPTのセキュリティ、信頼性、社会的責任を高めることができるため、ChatGPTがジェイルブレイクを引き起こすかどうかをテストすることが重要である。
異なる言語翻訳におけるLLMの多彩な性能を明らかにする以前の研究にインスパイアされた我々は、複数の言語でのラッピングプロンプトがChatGPTジェイルブレイクにつながるのではないかと疑った。
そこで我々は,ChatGPTの言語横断的習熟度を分析するファジングテスト手法を用いた研究を考案した。
本研究は,ChatGPTに対して,(1)1つの言語のみを含む悪意のある質問,(2)多言語的な悪意のある質問,(3)ChatGPTがプロンプトとは異なる言語で応答することを示す3つの方法を含む。
さらに,先述の3種類の質問をラップするために,プロンプトインジェクションテンプレートを利用することで,戦略を組み合わせる。
総計7,892個のQ&Aデータポイントを調査し,多言語ラッピングがChatGPTのジェイルブレイクにつながることを発見した。
プロンプトインジェクションは多言語ラッピングによるジェイルブレイクの可能性を増幅する。
この作業は、OpenAI開発者がChatGPTによる言語多様性と包摂性のサポートを強化するための洞察を提供する。
関連論文リスト
- Exploring ChatGPT's Capabilities on Vulnerability Management [56.4403395100589]
我々は、70,346のサンプルを含む大規模なデータセットを用いて、完全な脆弱性管理プロセスを含む6つのタスクでChatGPTの機能を探求する。
注目すべき例として、ChatGPTのソフトウェアバグレポートのタイトル生成などのタスクにおける熟練度がある。
以上の結果から,ChatGPTが抱える障害が明らかとなり,将来的な方向性に光を当てた。
論文 参考訳（メタデータ） (2023-11-11T11:01:13Z) - Primacy Effect of ChatGPT [69.49920102917598]
本稿では,ChatGPTの優位性について検討する。
実験と分析により、より信頼性の高いChatGPTベースのソリューションを構築する上で、さらなる洞察が得られればと思っています。
論文 参考訳（メタデータ） (2023-10-20T00:37:28Z) - Jailbreaking ChatGPT via Prompt Engineering: An Empirical Study [22.411634418082368]
大規模言語モデル(LLM)は、大きな可能性を示しているが、コンテンツ制約や潜在的な誤用に関連する課題ももたらしている。
本研究は, 1 つの重要な研究課題について,(1) 脱獄性 LLM を回避できる異なるプロンプトの種類数,(2) 脱獄性 LLM 制約を回避するための脱獄性プロンプトの有効性,(3) 脱獄性プロンプトに対する ChatGPT のレジリエンスについて検討した。
論文 参考訳（メタデータ） (2023-05-23T09:33:38Z) - ChatGPT Beyond English: Towards a Comprehensive Evaluation of Large
Language Models in Multilingual Learning [70.57126720079971]
大規模言語モデル(LLM)は、自然言語処理(NLP)において最も重要なブレークスルーとして登場した。
本稿では,高,中,低,低リソースの37言語を対象として,ChatGPTを7つのタスクで評価する。
従来のモデルと比較すると,様々なNLPタスクや言語に対するChatGPTの性能は低下していた。
論文 参考訳（メタデータ） (2023-04-12T05:08:52Z) - Let's have a chat! A Conversation with ChatGPT: Technology,
Applications, and Limitations [0.0]
Chat Generative Pre-trained Transformerは、ChatGPTとしてよく知られたもので、人間に似た文を生成し、一貫性のあるエッセイを書くことができる。
医療、教育、研究など様々な分野におけるChatGPTの応用の可能性を強調した。
有望な結果にもかかわらず、ChatGPTにはいくつかのプライバシーと倫理上の懸念がある。
論文 参考訳（メタデータ） (2023-02-27T14:26:29Z) - Can ChatGPT Understand Too? A Comparative Study on ChatGPT and
Fine-tuned BERT [103.57103957631067]
チャットGPTは、人間の質問に対する流動的で高品質な応答を生成できるため、大きな注目を集めている。
そこで我々は,ChatGPTの理解能力を,最も人気のあるGLUEベンチマークで評価し,より詳細な4種類のBERTスタイルのモデルと比較した。
2)ChatGPTは,感情分析や質問応答タスクにおいて,BERTと同等のパフォーマンスを達成している。
論文 参考訳（メタデータ） (2023-02-19T12:29:33Z) - A Multitask, Multilingual, Multimodal Evaluation of ChatGPT on
Reasoning, Hallucination, and Interactivity [79.12003701981092]
8種類の共通NLPアプリケーションタスクをカバーする23のデータセットを用いてChatGPTの広範な技術的評価を行う。
これらのデータセットと、新たに設計されたマルチモーダルデータセットに基づいて、ChatGPTのマルチタスク、マルチリンガル、マルチモーダルの側面を評価する。
ChatGPTの精度は平均63.41%で、論理的推論、非テキスト的推論、コモンセンス推論の10の異なる推論カテゴリで正確である。
論文 参考訳（メタデータ） (2023-02-08T12:35:34Z) - Is ChatGPT a General-Purpose Natural Language Processing Task Solver? [113.22611481694825]
大規模言語モデル(LLM)は、さまざまな自然言語処理(NLP)タスクをゼロショットで実行できることを実証している。
近年、ChatGPTのデビューは自然言語処理(NLP)コミュニティから大きな注目を集めている。
ChatGPTが多くのNLPタスクをゼロショットで実行できるジェネラリストモデルとして機能するかどうかはまだ分かっていない。
論文 参考訳（メタデータ） (2023-02-08T09:44:51Z) - How Close is ChatGPT to Human Experts? Comparison Corpus, Evaluation,
and Detection [8.107721810172112]
ChatGPTは、幅広い人間の質問に効果的に反応できる。
人々はChatGPTのような大きな言語モデル(LLM)が社会に与える影響を心配し始めています。
本研究では,人間の専門家とChatGPTの双方から,数万件の比較回答を収集した。
論文 参考訳（メタデータ） (2023-01-18T15:23:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。