論文の概要: On the Robustness of ChatGPT: An Adversarial and Out-of-distribution Perspective

• arxiv url: http://arxiv.org/abs/2302.12095v1
• Date: Wed, 22 Feb 2023 11:01:20 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-24 14:38:43.787392
• Title: On the Robustness of ChatGPT: An Adversarial and Out-of-distribution Perspective
• Title（参考訳）: ChatGPTのロバスト性について:敵対的・アウト・オブ・ディストリビューション的視点
• Authors: Jindong Wang, Xixu Hu, Wenxin Hou, Hao Chen, Runkai Zheng, Yidong Wang, Linyi Yang, Haojun Huang, Wei Ye, Xiubo Geng, Binxin Jiao, Yue Zhang, Xing Xie
• Abstract要約: 本研究は,ChatGPTの強靭性について,敵対的視点とアウト・オブ・ディストリビューションOODの観点から評価する。 以上の結果から,ChatGPTは敵対的・OOD分類タスクにおいて一貫した優位性を示すものではないことが示唆された。 ChatGPTは対話関連テキストの理解において驚くべきパフォーマンスを示す。
• 参考スコア（独自算出の注目度）: 33.29696484731941
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: ChatGPT is a recent chatbot service released by OpenAI and is receiving increasing attention over the past few months. While evaluations of various aspects of ChatGPT have been done, its robustness, i.e., the performance when facing unexpected inputs, is still unclear to the public. Robustness is of particular concern in responsible AI, especially for safety-critical applications. In this paper, we conduct a thorough evaluation of the robustness of ChatGPT from the adversarial and out-of-distribution (OOD) perspective. To do so, we employ the AdvGLUE and ANLI benchmarks to assess adversarial robustness and the Flipkart review and DDXPlus medical diagnosis datasets for OOD evaluation. We select several popular foundation models as baselines. Results show that ChatGPT does not show consistent advantages on adversarial and OOD classification tasks, while performing well on translation tasks. This suggests that adversarial and OOD robustness remains a significant threat to foundation models. Moreover, ChatGPT shows astounding performance in understanding dialogue-related texts and we find that it tends to provide informal suggestions for medical tasks instead of definitive answers. Finally, we present in-depth discussions of possible research directions.
• Abstract（参考訳）: ChatGPTはOpenAIが最近リリースしたチャットボットサービスで、ここ数ヶ月で注目を集めている。 ChatGPTの様々な側面の評価は行われているが、その堅牢性、すなわち予期せぬ入力に直面する際の性能は、まだ一般には明らかではない。 ロバストネスは、特に安全クリティカルなアプリケーションにおいて、責任を負うAIにおいて特に懸念される。 本稿では,ChatGPTの強靭性について,敵対的かつアウト・オブ・ディストリビューション(OOD)の観点から徹底的に評価する。 そこで我々は,AdvGLUE と ANLI ベンチマークを用いて,敵対的堅牢性の評価を行い,Flipkart レビューと DDXPlus による OOD 評価を行った。 いくつかの一般的な基礎モデルをベースラインとして選択する。 結果から,ChatGPTは,翻訳タスクにおいて良好に動作しながらも,対数およびOOD分類タスクにおいて一貫した優位性を示すものではないことがわかった。 これは、敵とOODの堅牢性は基礎モデルにとって重要な脅威であることを示している。 さらに,チャットgptは対話関連テキストの理解において驚くべき性能を示し,決定的な回答ではなく,医学的課題に対して非公式な提案を行う傾向がみられた。 最後に,研究の方向性について詳細な議論を行う。

関連論文リスト

• Unveiling the Achilles' Heel of NLG Evaluators: A Unified Adversarial Framework Driven by Large Language Models [52.368110271614285]
  我々は,NLG評価器に対する新しいブラックボックス対逆フレームワークであるAdvEvalを紹介する。 AdvEvalは、人間と被害者の評価者との強い意見の相違をもたらすデータを生成するために特別に調整されている。 我々は,12名の被害者評価者と11名のNLGデータセットを用いて,対話,要約,質問評価などのタスクを分散した実験を行った。
  論文  参考訳（メタデータ） (2024-05-23T14:48:15Z)
• Large Language Models Meet Open-World Intent Discovery and Recognition: An Evaluation of ChatGPT [37.27411474856601]
  Out-of-domain(OOD)インテントディスカバリと一般化インテントディスカバリ(GID)は、オープンワールドインテントセットにクローズドインテントを拡張することを目的としている。 従来の手法は微調整の識別モデルによってそれらに対処する。 ChatGPTはゼロショット設定で一貫したアドバンテージを示すが、細調整されたモデルに比べて依然として不利である。
  論文  参考訳（メタデータ） (2023-10-16T08:34:44Z)
• Leveraging Large Language Models for Automated Dialogue Analysis [12.116834890063146]
  本稿では,現在最先端の大規模言語モデル(LLM)であるChatGPT-3.5を用いて,実際のロボット対話における9つのカテゴリの対話行動検出を行う。 以上の結果から, 特殊モデルもChatGPTもこの課題に満足できない結果が得られず, 人的性能に乏しいことが判明した。
  論文  参考訳（メタデータ） (2023-09-12T18:03:55Z)
• "HOT" ChatGPT: The promise of ChatGPT in detecting and discriminating hateful, offensive, and toxic comments on social media [2.105577305992576]
  生成AIモデルには、有害なコンテンツを理解し、検出する能力がある。 ChatGPTは人間のアノテーションと比較して約80%の精度が得られる。
  論文  参考訳（メタデータ） (2023-04-20T19:40:51Z)
• ChatGPT-Crawler: Find out if ChatGPT really knows what it's talking about [15.19126287569545]
  本研究では,異なる対話型QAコーパスからChatGPTが生成する応答について検討する。 この研究はBERT類似度スコアを用いて、これらの回答を正しい回答と比較し、自然言語推論(NLI)ラベルを得る。 調査では、ChatGPTが質問に対する誤った回答を提供し、モデルがエラーを起こしやすい領域について洞察を与えている事例を特定した。
  論文  参考訳（メタデータ） (2023-04-06T18:42:47Z)
• To ChatGPT, or not to ChatGPT: That is the question! [78.407861566006]
  本研究は,ChatGPT検出における最新の手法を包括的かつ現代的に評価するものである。 我々は、ChatGPTと人間からのプロンプトからなるベンチマークデータセットをキュレートし、医療、オープンQ&A、ファイナンスドメインからの多様な質問を含む。 評価の結果,既存の手法ではChatGPT生成内容を効果的に検出できないことがわかった。
  論文  参考訳（メタデータ） (2023-04-04T03:04:28Z)
• Consistency Analysis of ChatGPT [65.268245109828]
  本稿では,ChatGPTとGPT-4の論理的一貫した行動に対する信頼性について検討する。 その結果,両モデルとも言語理解能力と推論能力が向上しているように見えるが,論理的に一貫した予測が得られないことが示唆された。
  論文  参考訳（メタデータ） (2023-03-11T01:19:01Z)
• Is ChatGPT a Good NLG Evaluator? A Preliminary Study [121.77986688862302]
  NLG測定値として信頼性を示すため,ChatGPTのメタ評価を行った。 実験の結果,ChatGPTは従来の自動測定値と比較して,人間の判断と最先端あるいは競合的な相関を達成できた。 我々の予備研究は、汎用的な信頼性のあるNLGメトリックの出現を促すことを願っている。
  論文  参考訳（メタデータ） (2023-03-07T16:57:20Z)
• ChatGPT: Jack of all trades, master of none [4.693597927153063]
  OpenAIはChat Generative Pre-trained Transformer (ChatGPT)をリリースした。 25種類のNLPタスクにおけるChatGPTの機能について検討した。 われわれはChatGPTとGPT-4のプロンプト処理を自動化し,49k以上の応答を解析した。
  論文  参考訳（メタデータ） (2023-02-21T15:20:37Z)
• Can ChatGPT Understand Too? A Comparative Study on ChatGPT and Fine-tuned BERT [103.57103957631067]
  チャットGPTは、人間の質問に対する流動的で高品質な応答を生成できるため、大きな注目を集めている。 そこで我々は,ChatGPTの理解能力を,最も人気のあるGLUEベンチマークで評価し,より詳細な4種類のBERTスタイルのモデルと比較した。 2)ChatGPTは,感情分析や質問応答タスクにおいて,BERTと同等のパフォーマンスを達成している。
  論文  参考訳（メタデータ） (2023-02-19T12:29:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。