Fugu-MT 論文翻訳(概要): Human-In-The-Loop Software Development Agents: Challenges and Future Directions

論文の概要: Human-In-The-Loop Software Development Agents: Challenges and Future Directions

arxiv url: http://arxiv.org/abs/2506.11009v1
Date: Fri, 25 Apr 2025 01:52:59 GMT
ステータス: 翻訳完了
システム内更新日: 2025-06-22 23:32:14.464671
Title: Human-In-The-Loop Software Development Agents: Challenges and Future Directions
Title（参考訳）: ヒューマン・イン・ザ・ループなソフトウェア開発エージェント - 課題と今後の方向性
Authors: Jirat Pasuksmit, Wannita Takerngsaksiri, Patanamon Thongtanunam, Chakkrit Tantithamthavorn, Ruixiong Zhang, Shiyan Wang, Fan Jiang, Jing Li, Evan Cook, Kun Chen, Ming Wu,
Abstract要約: Atlassianでは、Jiraの作業項目を解決するためにHuman-in-the-Loop Software Development Agentsをデプロイしました。本稿では,LLMに基づく評価において,単体テストの計算コストが高いことと,変動性という2つの大きな課題を取り上げる。
参考スコア（独自算出の注目度）: 14.81934634773595
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Multi-agent LLM-driven systems for software development are rapidly gaining traction, offering new opportunities to enhance productivity. At Atlassian, we deployed Human-in-the-Loop Software Development Agents to resolve Jira work items and evaluated the generated code quality using functional correctness testing and GPT-based similarity scoring. This paper highlights two major challenges: the high computational costs of unit testing and the variability in LLM-based evaluations. We also propose future research directions to improve evaluation frameworks for Human-In-The-Loop software development tools.
Abstract（参考訳）: ソフトウェア開発のためのマルチエージェントLLM駆動システムは急速に勢いを増し、生産性を高める新たな機会を提供しています。 Atlassianでは、Jiraの作業項目を解決するためにHuman-in-the-Loop Software Development Agentsをデプロイしました。本稿では,LLMに基づく評価において,単体テストの計算コストが高いことと,変動性という2つの大きな課題を取り上げる。また,Human-In-The-Loopソフトウェア開発ツールの評価フレームワークの改善に向けた今後の研究指針を提案する。

関連論文リスト

MLGym: A New Framework and Benchmark for Advancing AI Research Agents [51.9387884953294]
我々はMeta MLGymとMLGym-Benchを紹介した。これはAI研究タスクにおける大規模言語モデルの評価と開発のための新しいフレームワークとベンチマークである。これは機械学習(ML)タスクのための最初のGym環境であり、そのようなエージェントをトレーニングするための強化学習(RL)アルゴリズムの研究を可能にする。我々は、Claude-3.5-Sonnet、Llama-3.1 405B、GPT-4o、o1-preview、Gemini-1.5 Proなどのベンチマークで、多くのフロンティア大言語モデル(LLM)を評価した。
論文参考訳（メタデータ） (2025-02-20T12:28:23Z)
Enhancing Trust in Language Model-Based Code Optimization through RLHF: A Research Design [0.0]
本研究の目的は、人間のフィードバックを効果的に統合する、信頼性の高いLMを用いたコード最適化手法を開発することである。この作業は、ソフトウェアエンジニアリングの協力的側面と人間中心の側面を前進させるという、より広範な目標と一致します。
論文参考訳（メタデータ） (2025-02-10T18:48:45Z)
Human-In-the-Loop Software Development Agents [12.830816751625829]
大規模言語モデル(LLM)ベースのソフトウェアエンジニアリングのためのマルチエージェントパラダイムを導入し、ソフトウェア開発タスクを自動的に解決する。本稿では,ソフトウェア開発のためのHuman-in-the-loop LLMベースのエージェントフレームワーク(HULA)を紹介する。私たちは社内使用のために、HULAフレームワークをAtlassianに設計、実装、デプロイしています。
論文参考訳（メタデータ） (2024-11-19T23:22:33Z)
Agent-Driven Automatic Software Improvement [55.2480439325792]
本提案は,Large Language Models (LLMs) を利用したエージェントの展開に着目して,革新的なソリューションの探求を目的とする。継続的学習と適応を可能にするエージェントの反復的性質は、コード生成における一般的な課題を克服するのに役立ちます。我々は,これらのシステムにおける反復的なフィードバックを用いて,エージェントの基盤となるLLMをさらに微調整し,自動化されたソフトウェア改善のタスクに整合性を持たせることを目指している。
論文参考訳（メタデータ） (2024-06-24T15:45:22Z)
SOEN-101: Code Generation by Emulating Software Process Models Using Large Language Model Agents [50.82665351100067]
FlowGenは、複数のLarge Language Model (LLM)エージェントに基づいたソフトウェアプロセスモデルをエミュレートするコード生成フレームワークである。 FlowGenScrumをHumanEval、HumanEval-ET、MBPP、MBPP-ETの4つのベンチマークで評価した。
論文参考訳（メタデータ） (2024-03-23T14:04:48Z)
Prompting Large Language Models to Tackle the Full Software Development Lifecycle: A Case Study [72.24266814625685]
DevEvalでソフトウェア開発ライフサイクル全体にわたって、大きな言語モデル(LLM)のパフォーマンスを調査します。 DevEvalは4つのプログラミング言語、複数のドメイン、高品質なデータ収集、各タスクに対して慎重に設計および検証されたメトリクスを備えている。 GPT-4を含む現在のLLMは、DevEvalで提示される課題を解決できないことが実証研究によって示されている。
論文参考訳（メタデータ） (2024-03-13T15:13:44Z)
Copilot Evaluation Harness: Evaluating LLM-Guided Software Programming [12.355284125578342]
大規模言語モデル(LLM)は、現代のソフトウェア開発の焦点となっている。 LLMは、インテリジェントでチャット駆動のプログラミングアシスタントとして機能することで、開発者の生産性を大幅に向上する可能性がある。しかし、それぞれのシステムは、最高のパフォーマンスを確保するために、LLMをそのワークスペースに向ける必要がある。
論文参考訳（メタデータ） (2024-02-22T03:51:34Z)
Experiential Co-Learning of Software-Developing Agents [83.34027623428096]
大規模言語モデル(LLM)は、特にソフトウェア開発において、様々な領域に大きな変化をもたらした。本稿では,新しいLLM学習フレームワークであるExperiential Co-Learningを紹介する。実験では、このフレームワークにより、エージェントは、目に見えないソフトウェア開発タスクをより効果的に対処できることを示した。
論文参考訳（メタデータ） (2023-12-28T13:50:42Z)
AgentBench: Evaluating LLMs as Agents [88.45506148281379]
大規模言語モデル(LLM)は、従来のNLPタスクを超えた現実的な実用的ミッションをターゲットとして、ますます賢く自律的になってきています。我々は,現在8つの異なる環境からなるベンチマークであるAgentBenchを紹介し,LLM-as-Agentの推論と意思決定能力を評価する。
論文参考訳（メタデータ） (2023-08-07T16:08:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。