論文の概要: Can ChatGPT advance software testing intelligence? An experience report
on metamorphic testing
- arxiv url: http://arxiv.org/abs/2310.19204v2
- Date: Thu, 23 Nov 2023 21:51:15 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-28 02:52:28.401014
- Title: Can ChatGPT advance software testing intelligence? An experience report
on metamorphic testing
- Title（参考訳）: ChatGPTはソフトウェアテストインテリジェンスを前進させることができるか?
変成試験の経験報告
- Authors: Quang-Hung Luu, Huai Liu, and Tsong Yueh Chen
- Abstract要約: 我々はChatGPTに変成関係の候補を生成するよう依頼する。
本稿では,ChatGPTを用いて複数のソフトウェアシステムをテストする。
- 参考スコア（独自算出の注目度）: 4.703899495711041
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: While ChatGPT is a well-known artificial intelligence chatbot being used to
answer human's questions, one may want to discover its potential in advancing
software testing. We examine the capability of ChatGPT in advancing the
intelligence of software testing through a case study on metamorphic testing
(MT), a state-of-the-art software testing technique. We ask ChatGPT to generate
candidates of metamorphic relations (MRs), which are basically necessary
properties of the object program and which traditionally require human
intelligence to identify. These MR candidates are then evaluated in terms of
correctness by domain experts. We show that ChatGPT can be used to generate new
correct MRs to test several software systems. Having said that, the majority of
MR candidates are either defined vaguely or incorrect, especially for systems
that have never been tested with MT. ChatGPT can be used to advance software
testing intelligence by proposing MR candidates that can be later adopted for
implementing tests; but human intelligence should still inevitably be involved
to justify and rectify their correctness.
- Abstract（参考訳）: ChatGPTは人間の質問に答えるために使われている人工知能チャットボットとしてよく知られているが、ソフトウェアテストの進歩の可能性を見出したいかもしれない。
本稿では,最新のソフトウェアテスト技術であるメタモルフィックテスト(MT)のケーススタディを通じて,ソフトウェアテストのインテリジェンス向上におけるChatGPTの有効性を検討する。
私たちはchatgptに、基本的にはオブジェクトプログラムに必要な特性であり、伝統的に人間の知性を必要とするメタモーフィックリレーション(mrs)の候補を生成するように依頼します。
これらのMR候補は、ドメインの専門家による正確性の観点から評価される。
複数のソフトウェアシステムをテストするために、chatgptを新しい正しいmrsを生成するために使用できることを示す。
とはいえ、MR候補の大多数は曖昧に定義されているか、正しく定義されていないか、特にMTでテストされたことのないシステムで定義されている。ChatGPTは、後にテストを実施するために採用されるMR候補を提案することで、ソフトウェアテストインテリジェンスを促進するために使用できる。
関連論文リスト
- Unveiling Assumptions: Exploring the Decisions of AI Chatbots and Human Testers [2.5327705116230477]
意思決定は、コード、要求仕様、その他のソフトウェアアーティファクトなど、さまざまな情報に依存します。
不明瞭な情報によって残されたギャップを埋めるために、私たちはしばしば、前提や直観、あるいは以前の経験に頼って意思決定をします。
論文 参考訳（メタデータ） (2024-06-17T08:55:56Z) - ChatGPT Incorrectness Detection in Software Reviews [0.38233569758620056]
そこで我々は,ChatGPT応答における誤りを自動的に検出するCID(ChatGPT Incorrectness Detector)というツールを開発した。
ライブラリ選択のベンチマーク研究において、CIDはF1スコア0.74～0.75でChatGPTからの誤った応答を検出できることを示した。
論文 参考訳（メタデータ） (2024-03-25T00:50:27Z) - A Study on the Vulnerability of Test Questions against ChatGPT-based
Cheating [14.113742357609285]
ChatGPTはテキストのプロンプトを正確に答えることができる。
多くの教育者は、彼らの持ち帰りテストや遠隔テストや試験がChatGPTベースの不正行為に弱いことを発見している。
論文 参考訳（メタデータ） (2024-02-21T23:51:06Z) - ChatGPT and Human Synergy in Black-Box Testing: A Comparative Analysis [0.0]
ChatGPTは、一般的にヒトの参加者が作り出したものと一致するか、わずかに上回るテストケースを生成することができる。
ChatGPTが人間と協力すると、それぞれが単独で達成できるものよりも、はるかに多くのテスト視点をカバーできる。
論文 参考訳（メタデータ） (2024-01-25T03:42:17Z) - Exploring ChatGPT's Capabilities on Vulnerability Management [56.4403395100589]
我々は、70,346のサンプルを含む大規模なデータセットを用いて、完全な脆弱性管理プロセスを含む6つのタスクでChatGPTの機能を探求する。
注目すべき例として、ChatGPTのソフトウェアバグレポートのタイトル生成などのタスクにおける熟練度がある。
以上の結果から,ChatGPTが抱える障害が明らかとなり,将来的な方向性に光を当てた。
論文 参考訳（メタデータ） (2023-11-11T11:01:13Z) - Primacy Effect of ChatGPT [69.49920102917598]
本稿では,ChatGPTの優位性について検討する。
実験と分析により、より信頼性の高いChatGPTベースのソリューションを構築する上で、さらなる洞察が得られればと思っています。
論文 参考訳（メタデータ） (2023-10-20T00:37:28Z) - ChatGPT: A Study on its Utility for Ubiquitous Software Engineering
Tasks [2.084078990567849]
ChatGPT (Chat Generative Pre-trained Transformer) - OpenAIが2022年11月30日に立ち上げた。
本研究では,ChatGPTが一般的なソフトウェアエンジニアリングタスクにどのように役立つかを検討する。
論文 参考訳（メタデータ） (2023-05-26T11:29:06Z) - To ChatGPT, or not to ChatGPT: That is the question! [78.407861566006]
本研究は,ChatGPT検出における最新の手法を包括的かつ現代的に評価するものである。
我々は、ChatGPTと人間からのプロンプトからなるベンチマークデータセットをキュレートし、医療、オープンQ&A、ファイナンスドメインからの多様な質問を含む。
評価の結果,既存の手法ではChatGPT生成内容を効果的に検出できないことがわかった。
論文 参考訳（メタデータ） (2023-04-04T03:04:28Z) - ChatGPT is a Knowledgeable but Inexperienced Solver: An Investigation of Commonsense Problem in Large Language Models [49.52083248451775]
大規模言語モデル(LLM)はNLPに大きな進歩をもたらした。
特にChatGPTは,広く利用されており,アクセスしやすいLLMである。
我々は、ChatGPTの常識能力を評価するために、11のデータセットで一連の実験を行った。
論文 参考訳（メタデータ） (2023-03-29T03:05:43Z) - BiasTestGPT: Using ChatGPT for Social Bias Testing of Language Models [73.29106813131818]
テスト文は限られた手動テンプレートから生成されるか、高価なクラウドソーシングを必要とするため、現時点ではバイアステストは煩雑である。
ソーシャルグループと属性の任意のユーザ指定の組み合わせを考慮し、テスト文の制御可能な生成にChatGPTを使うことを提案する。
本稿では,HuggingFace上にホストされているオープンソースの総合的バイアステストフレームワーク(BiasTestGPT)について紹介する。
論文 参考訳（メタデータ） (2023-02-14T22:07:57Z) - Is ChatGPT a General-Purpose Natural Language Processing Task Solver? [113.22611481694825]
大規模言語モデル(LLM)は、さまざまな自然言語処理(NLP)タスクをゼロショットで実行できることを実証している。
近年、ChatGPTのデビューは自然言語処理(NLP)コミュニティから大きな注目を集めている。
ChatGPTが多くのNLPタスクをゼロショットで実行できるジェネラリストモデルとして機能するかどうかはまだ分かっていない。
論文 参考訳（メタデータ） (2023-02-08T09:44:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。