論文の概要: A Mixed-Method Empirical Study of LLM Assistance in Software Engineering Workflows

• arxiv url: http://arxiv.org/abs/2609.04214v1
• Date: Fri, 19 Jun 2026 09:58:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.461059
• Title: A Mixed-Method Empirical Study of LLM Assistance in Software Engineering Workflows
• Title（参考訳）: ソフトウェアエンジニアリングワークフローにおけるLLM支援の混合手法に関する実証的研究
• Abstract要約: 大規模言語モデル(LLM)は、ソフトウェア開発にますます統合されているが、それらの効果は、タスクタイプ、開発者の年功、検証要求を区別せずに議論されることが多い。 本稿では,1年生と4年生を対象に,LLM支援ソフトウェア工学の複合的実証的研究を行った。
• 参考スコア（独自算出の注目度）: 0.8188585650691075
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Large Language Models (LLMs) are increasingly integrated into software development workflows, yet their effects are often discussed without distinguishing between task types, developer seniority, and verification demands. This paper presents a mixed-method empirical study of LLM-assisted software engineering with first-year and fourth-year undergraduates. Phase 1 is a preliminary survey (n=157) that characterizes LLM exposure, reliance, and trust calibration among the two groups. Phase 2 is a task-based quasi-experiment with a purposive sample from both cohorts (n=20). Here, we compare AI-assisted and non-AI conditions on a structured set of software engineering tasks spanning implementation, constraint-driven algorithm selection, and architectural reasoning. We then analyze performance outcomes alongside behavioral traces captured via screen recording and a qualitative coding process. Survey results indicate widespread LLM adoption and substantial verification effort, alongside cohort differences in perceived LLM capability for constraint-heavy scenarios. The quasi-experiment further shows that AI assistance changes workflow structure. For example, participants frequently adopt AI-first task entry, copy-transfer integration, and AI-mediated debugging, whereas non-AI workflows rely more on documentation, prior templates, and iterative trial-error refinement. Overall, our findings suggest that the benefits of LLM assistance are task-dependent and mediated by expertise and verification practices, rather than by generation speed alone.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、ますますソフトウェア開発ワークフローに統合されているが、それらの効果は、タスクタイプ、開発者の年功、検証要求を区別せずに議論されることが多い。 本稿では,1年生と4年生を対象に,LLM支援ソフトウェア工学の複合的実証的研究を行った。 フェーズ1は予備調査(n=157)であり、2つのグループ間のLCM暴露、信頼度、信頼度を特徴付ける。 フェーズ2はタスクベースの準実験であり、両方のコホート(n=20)からのパーポーブサンプルを持つ。 ここでは、実装、制約駆動型アルゴリズムの選択、アーキテクチャ推論にまたがる、構造化されたソフトウェアエンジニアリングタスクにおけるAI支援条件と非AI条件の比較を行う。 次に、画面記録と定性的な符号化プロセスによって得られた行動トレースと並行して、パフォーマンス結果を分析する。 調査の結果,制約重シナリオに対するLLMの能力のコホート差とともに,広範囲なLLM導入と相当な検証努力が示された。 準実験はさらに、AIアシストがワークフロー構造を変えることを示している。 例えば、参加者はAIファーストのタスクエントリ、コピー-トランスファー統合、AI経由のデバッグを頻繁に採用するが、非AIワークフローはドキュメントや以前のテンプレート、反復的な試行エラー改善に依存している。 総じて, LLM 支援の利点は, 生成速度のみではなく, 課題に依存し, 専門知識と検証実践が介在していることが示唆された。

関連論文リスト

• LLM-Assisted Empirical Software Engineering: Systematic Literature Review and Research Agenda [11.530621491409015]
  経験的ソフトウェアエンジニアリング(ESE)は、データスケール、方法論的複雑さ、関心事による課題の増加に直面します。 大きな言語モデル(LLM)は経験的をサポートするための有望なツールとして登場したが、それでもその使用は断片化されている。 本研究では,ESEにおけるLCMの使用状況,サポート対象タスクの検証,リポジトリへの統合,報告されたメリットと制限,報告範囲について分析する。
  論文  参考訳（メタデータ） (2026-04-29T00:34:39Z)
• A Comprehensive Survey on Benchmarks and Solutions in Software Engineering of LLM-Empowered Agentic System [56.40989626804489]
  この調査は、Large Language Modelsを使ったソフトウェアエンジニアリングに関する、最初の総合的な分析を提供する。 本稿では,150以上の最近の論文をレビューし,(1)素早い,微調整,エージェントベースのパラダイムに分類した解法,(2)コード生成,翻訳,修復などのタスクを含むベンチマークという2つの重要な側面に沿った分類法を提案する。
  論文  参考訳（メタデータ） (2025-10-10T06:56:50Z)
• Cross-Task Experiential Learning on LLM-based Multi-Agent Collaboration [63.90193684394165]
  マルチエージェント・クロスタスク体験学習(MAEL)は,LSM駆動型エージェントに明示的なクロスタスク学習と経験蓄積を付与する新しいフレームワークである。 経験的学習フェーズでは、タスク解決ワークフローの各ステップの品質を定量化し、その結果の報酬を記憶する。 推論中、エージェントは、各推論ステップの有効性を高めるために、いくつかの例として、高頻度のタスク関連体験を検索する。
  論文  参考訳（メタデータ） (2025-05-29T07:24:37Z)
• Trust at Your Own Peril: A Mixed Methods Exploration of the Ability of Large Language Models to Generate Expert-Like Systems Engineering Artifacts and a Characterization of Failure Modes [0.0]
  そこでは,人間の専門家が作成したSEアーティファクトをベンチマークとして用いた経験的探索の結果を報告する。 次に、AI生成されたアーティファクトとベンチマークを比較するために、2倍の混合メソッドアプローチを採用しました。 2つの素材は非常に似ているように見えるが、AIが生成したアーティファクトは深刻な障害モードを示しており、検出は困難である。
  論文  参考訳（メタデータ） (2025-02-13T17:05:18Z)
• To Err Is Human; To Annotate, SILICON? Reducing Measurement Error in LLM Annotation [11.470318058523466]
  大規模言語モデル(LLM)は、人間のアノテーションに代わる費用対効果の高いスケーラブルな代替を約束する。 LLMアノテーションから測定誤差を体系的に低減するSILICON手法を開発した。 この証拠は,各エラー源の削減が必要であり,SILICONは管理研究において厳密なアノテーションをサポートしていることを示唆している。
  論文  参考訳（メタデータ） (2024-12-19T02:21:41Z)
• Benchmarking Agentic Workflow Generation [80.74757493266057]
  複数面シナリオと複雑なグラフワークフロー構造を備えた統合ワークフロー生成ベンチマークであるWorfBenchを紹介する。 また,サブシーケンスとサブグラフマッチングアルゴリズムを利用したシステム評価プロトコルWorfEvalを提案する。 我々は、生成されたタスクが下流のタスクを強化し、推論中により少ない時間で優れたパフォーマンスを達成することを観察する。
  論文  参考訳（メタデータ） (2024-10-10T12:41:19Z)
• Re-Thinking Process Mining in the AI-Based Agents Era [39.58317527488534]
  大規模言語モデル(LLM)は強力な対話インタフェースとして登場し、プロセスマイニング(PM)タスクにおけるその応用は有望な結果を示している。 本稿では,LLMにおけるPMの有効性を高めるために,AIベースのエージェント(AgWf)パラダイムを活用することを提案する。 我々はAgWfの様々な実装とAIベースのタスクの種類について検討する。
  論文  参考訳（メタデータ） (2024-08-14T10:14:18Z)
• Designing Algorithms Empowered by Language Models: An Analytical Framework, Case Studies, and Insights [86.06371692309972]
  本研究では,大規模言語モデル(LLM)に基づくアルゴリズムの設計と解析のための分析フレームワークを提案する。 提案する枠組みは頭痛を緩和する試みとして機能する。
  論文  参考訳（メタデータ） (2024-07-20T07:39:07Z)
• Advancing Code Coverage: Incorporating Program Analysis with Large Language Models [8.31978033489419]
  難解な分岐に到達可能なテストを生成する新しい技術である TELPA を提案する。 27のオープンソースPythonプロジェクトに対する実験結果から,TELPAは最先端のSBSTやLLMベースの技術よりも優れていたことが判明した。
  論文  参考訳（メタデータ） (2024-04-07T14:08:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。