論文の概要: Experimental Analysis of Productive Interaction Strategy with ChatGPT: User Study on Function and Project-level Code Generation Tasks
- arxiv url: http://arxiv.org/abs/2508.04125v1
- Date: Wed, 06 Aug 2025 06:48:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-07 20:09:22.573688
- Title: Experimental Analysis of Productive Interaction Strategy with ChatGPT: User Study on Function and Project-level Code Generation Tasks
- Title（参考訳）: ChatGPTによる生産的インタラクション戦略の実験的検討:機能とプロジェクトレベルのコード生成タスクのユーザスタディ
- Authors: Sangwon Hyun, Hyunjun Kim, Jinhyuk Jang, Hyojin Choi, M. Ali Babar,
- Abstract要約: 本研究では,Human-LLMインタラクション(Human-LLM Interactions, HLI)がコード生成生産性に与える影響について検討する。
15のHLI機能のうち3つは、コード生成の生産性に大きな影響を与えました。
29のランタイムとロジックエラーの分類は、提案された緩和計画とともに、HLIプロセス中に発生する可能性がある。
- 参考スコア（独自算出の注目度）: 5.659969270836789
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: The application of Large Language Models (LLMs) is growing in the productive completion of Software Engineering tasks. Yet, studies investigating the productive prompting techniques often employed a limited problem space, primarily focusing on well-known prompting patterns and mainly targeting function-level SE practices. We identify significant gaps in real-world workflows that involve complexities beyond class-level (e.g., multi-class dependencies) and different features that can impact Human-LLM Interactions (HLIs) processes in code generation. To address these issues, we designed an experiment that comprehensively analyzed the HLI features regarding the code generation productivity. Our study presents two project-level benchmark tasks, extending beyond function-level evaluations. We conducted a user study with 36 participants from diverse backgrounds, asking them to solve the assigned tasks by interacting with the GPT assistant using specific prompting patterns. We also examined the participants' experience and their behavioral features during interactions by analyzing screen recordings and GPT chat logs. Our statistical and empirical investigation revealed (1) that three out of 15 HLI features significantly impacted the productivity in code generation; (2) five primary guidelines for enhancing productivity for HLI processes; and (3) a taxonomy of 29 runtime and logic errors that can occur during HLI processes, along with suggested mitigation plans.
- Abstract（参考訳）: 大規模言語モデル(LLM)の応用は、ソフトウェア工学のタスクの生産的な完了で成長しています。
しかし、生産的プロンプト技術の研究は、主によく知られたプロンプトパターンに焦点をあて、機能レベルのSEプラクティスを主に対象とする、限られた問題空間をしばしば採用した。
コード生成におけるヒューマン-LLMインタラクション(Human-LLM Interactions:HLI)プロセスに影響を及ぼす可能性のある、クラスレベル(例えば、マルチクラスの依存関係)以上の複雑さを含む、現実世界のワークフローにおける大きなギャップを特定します。
これらの問題に対処するため、コード生成生産性に関するHLI機能を包括的に分析する実験を設計した。
本研究は,機能レベルの評価を超えて,プロジェクトレベルのベンチマークタスクを2つ提示する。
多様な背景から36名の被験者を対象にユーザスタディを行い,特定のプロンプトパターンを用いてGPTアシスタントと対話し,課題の解決を依頼した。
また、画面記録とGPTチャットログを解析し、インタラクション中の参加者の経験と行動の特徴についても検討した。
1)HLIプロセスの生産性向上のための5つの主要なガイドライン,(3)HLIプロセス中に発生する29のランタイムエラーとロジックエラーの分類,および緩和計画について検討した。
関連論文リスト
- Evaluating the Effectiveness of Large Language Models in Solving Simple Programming Tasks: A User-Centered Study [1.0467092641687232]
本研究では,ChatGPT-4oとのインタラクションスタイルの違いが,単純なプログラミングタスクにおけるユーザパフォーマンスに与える影響について検討する。
15人の高校生が3種類のモデルで3つの問題を完成させた。
論文 参考訳（メタデータ） (2025-07-05T13:52:31Z) - Cross-Task Experiential Learning on LLM-based Multi-Agent Collaboration [63.90193684394165]
マルチエージェント・クロスタスク体験学習(MAEL)は,LSM駆動型エージェントに明示的なクロスタスク学習と経験蓄積を付与する新しいフレームワークである。
経験的学習フェーズでは、タスク解決ワークフローの各ステップの品質を定量化し、その結果の報酬を記憶する。
推論中、エージェントは、各推論ステップの有効性を高めるために、いくつかの例として、高頻度のタスク関連体験を検索する。
論文 参考訳（メタデータ） (2025-05-29T07:24:37Z) - A Survey of Frontiers in LLM Reasoning: Inference Scaling, Learning to Reason, and Agentic Systems [93.8285345915925]
推論(Reasoning)は、論理的推論、問題解決、意思決定を可能にする基本的な認知プロセスである。
大規模言語モデル(LLM)の急速な進歩により、推論は高度なAIシステムを区別する重要な能力として浮上した。
我々は,(1)推論が達成される段階を定義するレジーム,(2)推論プロセスに関与するコンポーネントを決定するアーキテクチャの2つの側面に沿って既存の手法を分類する。
論文 参考訳（メタデータ） (2025-04-12T01:27:49Z) - Use Me Wisely: AI-Driven Assessment for LLM Prompting Skills Development [5.559706293891474]
大規模言語モデル(LLM)を利用したチャットボットは、様々な領域で普及し、様々なタスクやプロセスをサポートしている。
しかし、プロンプトは非常にタスクに依存し、ドメインに依存しており、ジェネリックアプローチの有効性を制限している。
本研究では, アドホックガイドラインと最小限の注釈付きプロンプトサンプルを用いて, LLM を用いた学習評価を促進できるかどうかを検討する。
論文 参考訳（メタデータ） (2025-03-04T11:56:33Z) - Interaction2Code: Benchmarking MLLM-based Interactive Webpage Code Generation from Interactive Prototyping [57.024913536420264]
MLLM(Multimodal Large Language Models)は、設計からコードへのタスクにおいて顕著な性能を示す。
本稿では,インタラクティブなWebページを生成する上で,MLLMを初めて体系的に研究する。
論文 参考訳（メタデータ） (2024-11-05T17:40:03Z) - Understanding the Human-LLM Dynamic: A Literature Survey of LLM Use in Programming Tasks [0.850206009406913]
大規模言語モデル(LLM)はプログラミングプラクティスを変革し、コード生成活動に重要な機能を提供する。
本稿では,LLMがプログラミングタスクに与える影響を評価するユーザスタディから洞察を得た上で,プログラミングタスクにおけるそれらの使用に焦点を当てる。
論文 参考訳（メタデータ） (2024-10-01T19:34:46Z) - Rocks Coding, Not Development--A Human-Centric, Experimental Evaluation
of LLM-Supported SE Tasks [9.455579863269714]
コーディングタスクやソフトウェア開発の典型的なタスクにおいて,ChatGPTがどの程度役に立つかを検討した。
単純なコーディング問題ではChatGPTはうまく機能していましたが、典型的なソフトウェア開発タスクをサポートするパフォーマンスはそれほど良くありませんでした。
そこで本研究では,ChatGPTを用いたソフトウェアエンジニアリングタスクを現実の開発者に提供する。
論文 参考訳（メタデータ） (2024-02-08T13:07:31Z) - The Shifted and The Overlooked: A Task-oriented Investigation of
User-GPT Interactions [114.67699010359637]
実際のユーザクエリの大規模なコレクションをGPTに解析する。
ユーザインタラクションでは'設計'や'計画'といったタスクが一般的だが,従来のNLPベンチマークとは大きく異なる。
論文 参考訳（メタデータ） (2023-10-19T02:12:17Z) - Pushing the Limits of ChatGPT on NLP Tasks [79.17291002710517]
ChatGPTの成功にもかかわらず、ほとんどのNLPタスクのパフォーマンスは教師付きベースラインよりかなり低い。
そこで本研究では,原因を調べた結果,以下の要因が原因であることが判明した。
NLPタスクにおけるChatGPTの限界を押し上げるために,これらの問題に対処する汎用モジュールの集合を提案する。
論文 参考訳（メタデータ） (2023-06-16T09:40:05Z) - Pre-training Multi-task Contrastive Learning Models for Scientific
Literature Understanding [52.723297744257536]
事前学習言語モデル(LM)は、科学文献理解タスクにおいて有効であることを示す。
文献理解タスク間の共通知識共有を容易にするために,マルチタスクのコントラスト学習フレームワークであるSciMultを提案する。
論文 参考訳（メタデータ） (2023-05-23T16:47:22Z) - Task-Agnostic Continual Reinforcement Learning: Gaining Insights and
Overcoming Challenges [27.474011433615317]
連続学習(CL)は、一連のタスクから学習するモデルやエージェントの開発を可能にする。
タスクに依存しないCLとマルチタスク(MTL)エージェントのパフォーマンス差に寄与する要因について検討する。
論文 参考訳（メタデータ） (2022-05-28T17:59:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。