論文の概要: LLMs are Imperfect, Then What? An Empirical Study on LLM Failures in Software Engineering

• arxiv url: http://arxiv.org/abs/2411.09916v1
• Date: Fri, 15 Nov 2024 03:29:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-18 15:39:02.940625
• Title: LLMs are Imperfect, Then What? An Empirical Study on LLM Failures in Software Engineering
• Title（参考訳）: ソフトウェア工学におけるLLMの失敗に関する実証的研究
• Authors: Jiessie Tie, Bingsheng Yao, Tianshi Li, Syed Ishtiaque Ahmed, Dakuo Wang, Shurui Zhou,
• Abstract要約: 非自明なソフトウェアエンジニアリングタスクにおいて,ChatGPTをコーディングアシスタントとして使用した22名の参加者を対象に,観察的研究を行った。 そこで我々は,ChatGPTが失敗した事例,その根本原因,およびユーザが使用する緩和ソリューションを特定した。
• 参考スコア（独自算出の注目度）: 38.20696656193963
• License:
• Abstract: Software engineers are integrating AI assistants into their workflows to enhance productivity and reduce cognitive strain. However, experiences vary significantly, with some engineers finding large language models (LLMs), like ChatGPT, beneficial, while others consider them counterproductive. Researchers also found that ChatGPT's answers included incorrect information. Given the fact that LLMs are still imperfect, it is important to understand how to best incorporate LLMs into the workflow for software engineering (SE) task completion. Therefore, we conducted an observational study with 22 participants using ChatGPT as a coding assistant in a non-trivial SE task to understand the practices, challenges, and opportunities for using LLMs for SE tasks. We identified the cases where ChatGPT failed, their root causes, and the corresponding mitigation solutions used by users. These findings contribute to the overall understanding and strategies for human-AI interaction on SE tasks. Our study also highlights future research and tooling support directions.
• Abstract（参考訳）: ソフトウェアエンジニアはAIアシスタントをワークフローに統合し、生産性を高め、認知ストレスを減らす。 しかし、ChatGPTのような大きな言語モデル(LLM)を見つけるエンジニアや、それを非生産的と考えるエンジニアなど、経験は様々である。 研究者らは、ChatGPTの回答には誤った情報が含まれていることも発見した。 LLMがいまだ不完全であるという事実を踏まえると、ソフトウェア工学(SE)タスク補完のワークフローにLLMを最もうまく組み込む方法を理解することが重要である。 そこで我々は,22名の参加者を対象に,非自明なSEタスクにおけるコーディングアシスタントとしてChatGPTを用いた観察研究を行い,LLMをSEタスクに使用する際の実践,課題,機会について検討した。 そこで我々は,ChatGPTが失敗した事例,その根本原因,およびユーザが使用する緩和ソリューションを特定した。 これらの知見は,SEタスクにおける人間-AIインタラクションの全体的な理解と戦略に寄与する。 また,今後の研究やツーリング支援の方向性についても紹介する。

関連論文リスト

• An Exploratory Study on Upper-Level Computing Students' Use of Large Language Models as Tools in a Semester-Long Project [2.7325338323814328]
  本研究の目的は、学期間ソフトウェアエンジニアリングプロジェクトにおいて、計算学生のLSMの使用経験とアプローチを検討することである。 我々はPurdue大学の上級ソフトウェア工学コースからデータを収集した。 本研究では,学生の利用パターンや学習成果に関連するテーマを特定するために,データを分析した。
  論文  参考訳（メタデータ） (2024-03-27T15:21:58Z)
• Small Models, Big Insights: Leveraging Slim Proxy Models To Decide When and What to Retrieve for LLMs [60.40396361115776]
  本稿では,スリムプロキシモデルを用いた大規模言語モデル (LLM) における知識不足を検知する新しい協調手法であるSlimPLMを提案する。 パラメータがはるかに少ないプロキシモデルを採用し、回答を回答としています。 ヒューリスティックな回答は、LLM内の既知の未知の知識と同様に、ユーザの質問に答えるために必要な知識を予測するのに使用される。
  論文  参考訳（メタデータ） (2024-02-19T11:11:08Z)
• Why and When LLM-Based Assistants Can Go Wrong: Investigating the Effectiveness of Prompt-Based Interactions for Software Help-Seeking [5.755004576310333]
  大規模言語モデル(LLM)アシスタントは、ユーザーがソフトウェアをナビゲートするための検索方法の潜在的な代替手段として登場した。 LLMアシスタントは、ドメイン固有のテキスト、ソフトウェアマニュアル、コードリポジトリからの膨大なトレーニングデータを使用して、人間のようなインタラクションを模倣する。
  論文  参考訳（メタデータ） (2024-02-12T19:49:58Z)
• Rocks Coding, Not Development--A Human-Centric, Experimental Evaluation of LLM-Supported SE Tasks [9.455579863269714]
  コーディングタスクやソフトウェア開発の典型的なタスクにおいて,ChatGPTがどの程度役に立つかを検討した。 単純なコーディング問題ではChatGPTはうまく機能していましたが、典型的なソフトウェア開発タスクをサポートするパフォーマンスはそれほど良くありませんでした。 そこで本研究では,ChatGPTを用いたソフトウェアエンジニアリングタスクを現実の開発者に提供する。
  論文  参考訳（メタデータ） (2024-02-08T13:07:31Z)
• Efficient Tool Use with Chain-of-Abstraction Reasoning [65.18096363216574]
  大規模言語モデル(LLM)は、現実世界の知識に対する推論の基礎となる必要がある。 マルチステップ推論問題におけるツールの実行には,微調整LDMエージェントの課題が残されている。 マルチステップ推論におけるツールの活用方法として, LLM の新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-01-30T21:53:30Z)
• An Empirical Study on Usage and Perceptions of LLMs in a Software Engineering Project [1.433758865948252]
  大規模言語モデル(LLM)は人工知能の飛躍であり、人間の言語を用いたタスクに優れる。 本稿では、AI生成したコードを分析し、コード生成に使用するプロンプトと人間の介入レベルを分析し、コードをコードベースに統合する。 ソフトウェア開発の初期段階において,LSMが重要な役割を担っていることが示唆された。
  論文  参考訳（メタデータ） (2024-01-29T14:32:32Z)
• Lessons from Building StackSpot AI: A Contextualized AI Coding Assistant [2.268415020650315]
  大規模言語モデル上に構築された新しいタイプのツールが登場しつつある。 これらのツールは、微調整やコンテキスト情報によるユーザプロンプトの強化といった手法を用いて、欠点を軽減することを目的としている。
  論文  参考訳（メタデータ） (2023-11-30T10:51:26Z)
• TRACE: A Comprehensive Benchmark for Continual Learning in Large Language Models [52.734140807634624]
  調整された大規模言語モデル(LLM)は、タスク解決、指示に従うこと、安全性を確保することにおいて、例外的な能力を示す。 既存の連続学習ベンチマークでは、LLMをリードする上で十分な課題が欠如している。 LLMにおける継続学習を評価するための新しいベンチマークであるTRACEを紹介する。
  論文  参考訳（メタデータ） (2023-10-10T16:38:49Z)
• How Can Recommender Systems Benefit from Large Language Models: A Survey [82.06729592294322]
  大きな言語モデル(LLM)は、印象的な汎用知性と人間のような能力を示している。 我々は,実世界のレコメンデータシステムにおけるパイプライン全体の観点から,この研究の方向性を包括的に調査する。
  論文  参考訳（メタデータ） (2023-06-09T11:31:50Z)
• Check Your Facts and Try Again: Improving Large Language Models with External Knowledge and Automated Feedback [127.75419038610455]
  大規模言語モデル(LLM)は、ダウンストリームタスクの多くに対して、人間のような、流動的な応答を生成することができる。 本稿では,プラグ・アンド・プレイモジュールのセットでブラックボックスのLSMを増強するLSM-Augmenterシステムを提案する。
  論文  参考訳（メタデータ） (2023-02-24T18:48:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。