論文の概要: LLM Contribution Summarization in Software Projects
- arxiv url: http://arxiv.org/abs/2505.17710v1
- Date: Fri, 23 May 2025 10:26:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-26 18:08:33.994191
- Title: LLM Contribution Summarization in Software Projects
- Title（参考訳）: ソフトウェアプロジェクトにおけるLCMコントリビューションの要約
- Authors: Rafael Corsi Ferrao, Fabio Roberto de Miranda, Diego Pavan Soler,
- Abstract要約: 本稿では、チームプロジェクト内の個々の貢献を評価する自動化的かつ客観的なアプローチの必要性に対処する。
本稿では,大言語モデル(LLM)を利用して,バージョン管理リポジトリから抽出したコードコントリビューションを自動的に要約するツールを提案する。
このツールは、65人の学生が参加する3週間のフルタイムのソフトウェア開発スプリントで、2つのセミメータで評価された。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This full paper in innovative practice provides an automated tool to summarize individual code contributions in project-based courses with external clients. Real industry projects offer valuable learning opportunities by immersing students in authentic problems defined by external clients. However, the open-ended and highly variable scope of these projects makes it challenging for instructors and teaching assistants to provide timely and detailed feedback. This paper addresses the need for an automated and objective approach to evaluate individual contributions within team projects. In this paper, we present a tool that leverages a large language model (LLM) to automatically summarize code contributions extracted from version control repositories. The tool preprocesses and structures repository data, and uses PyDriller to isolate individual contributions. Its uniqueness lies in the combination of LLM prompt engineering with automated repository analysis, thus reducing the manual grading burden while providing regular and informative updates. The tool was assessed over two semesters during a three-week, full-time software development sprint involving 65 students. Weekly summaries were provided to teams, and both student and faculty feedback indicated the tool's overall usefulness in informing grading and guidance. The tool reports, in large proportion, activities that were in fact performed by the student, with some failure to detect students' contribution. The summaries were considered by the instructors as a useful potential tool to keep up with the projects.
- Abstract（参考訳）: このイノベーティブなプラクティスのフルペーパーは、外部クライアントとプロジェクトベースのコースで個々のコードコントリビューションを要約する自動化ツールを提供する。
実業界プロジェクトは、外部クライアントが定義する真の問題に学生を没入させることによって、貴重な学習機会を提供する。
しかし、これらのプロジェクトのオープンエンドかつ高度に変動したスコープは、インストラクターやアシスタントがタイムリーかつ詳細なフィードバックを提供するのを困難にしている。
本稿では、チームプロジェクト内の個々の貢献を評価する自動化的かつ客観的なアプローチの必要性に対処する。
本稿では,大言語モデル(LLM)を利用して,バージョン管理リポジトリから抽出したコードコントリビューションを自動的に要約するツールを提案する。
このツールはリポジトリデータを前処理し、構造し、PyDrillerを使って個々のコントリビューションを分離する。
その独特さは、LLMプロンプトエンジニアリングと自動リポジトリ分析の組み合わせにある。
このツールは、65人の学生が参加する3週間のフルタイムのソフトウェア開発スプリントで、2つのセミメータで評価された。
週毎のサマリーがチームに提供され、学生と教員のフィードバックは、ツールの全体的な有用性を示している。
このツールでは、学生が実際に行った活動の大部分を報告し、学生の貢献を検出することに失敗した。
要約は、インストラクターによって、プロジェクトに追随するための有用なツールとして検討された。
関連論文リスト
- The Lazy Student's Dream: ChatGPT Passing an Engineering Course on Its Own [3.2334676138718677]
本稿では,Large Language Models (LLMs) の制御系コースを成功させる能力について包括的に検討する。
現実的な学生の利用パターンをシミュレートする「最小限の努力」プロトコルの下で,ChatGPTを用いてLCMの性能を評価する。
我々の分析は、制御システム工学における数学的定式化、コーディングの課題、理論的概念を扱う際のAIの強みと限界に関する定量的洞察を提供する。
論文 参考訳（メタデータ） (2025-02-23T18:47:14Z) - Learning to Ask: When LLM Agents Meet Unclear Instruction [55.65312637965779]
大きな言語モデル(LLM)は、言語スキルだけでは達成不可能なタスクに対処するための外部ツールを活用することができる。
我々は、不完全な命令下でのLLMツールの使用性能を評価し、エラーパターンを分析し、Noisy ToolBenchと呼ばれる挑戦的なツール使用ベンチマークを構築した。
Ask-when-Needed (AwN) という新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2024-08-31T23:06:12Z) - Tool Learning in the Wild: Empowering Language Models as Automatic Tool Agents [56.822238860147024]
大規模な言語モデルを外部ツールで拡張することは、彼らのユーティリティを拡張するための有望なアプローチとして現れました。
以前のメソッドは、ツールドキュメントを手動で解析し、コンテキスト内デモを作成し、ツールをLLMがステップバイステップの推論で使用する構造化フォーマットに変換する。
LLMがツール使用ワークフローを自動化できるフレームワークであるAutoToolsを提案する。
論文 参考訳（メタデータ） (2024-05-26T11:40:58Z) - Automated User Story Generation with Test Case Specification Using Large Language Model [0.0]
要件文書からユーザストーリーを自動生成するツール「GeneUS」を開発した。
アウトプットはフォーマットで提供され、ダウンストリーム統合の可能性は人気のあるプロジェクト管理ツールに開放されます。
論文 参考訳（メタデータ） (2024-04-02T01:45:57Z) - CLOVA: A Closed-Loop Visual Assistant with Tool Usage and Update [69.59482029810198]
CLOVAは、推論、リフレクション、学習フェーズを含むフレームワーク内で動作するクローズドループビジュアルアシスタントである。
その結果,CLOVAは既存のツール利用手法を5%,知識タグ付けでは10%,画像編集では20%,視覚的質問応答や複数画像推論では5%に上回っていることがわかった。
論文 参考訳（メタデータ） (2023-12-18T03:34:07Z) - TaskBench: Benchmarking Large Language Models for Task Automation [82.2932794189585]
タスク自動化における大規模言語モデル(LLM)の機能を評価するためのフレームワークであるTaskBenchを紹介する。
具体的には、タスクの分解、ツールの選択、パラメータ予測を評価する。
提案手法は, 自動構築と厳密な人的検証を組み合わせることで, 人的評価との整合性を確保する。
論文 参考訳（メタデータ） (2023-11-30T18:02:44Z) - Patterns of Student Help-Seeking When Using a Large Language
Model-Powered Programming Assistant [2.5949084781328744]
本研究は,オンデマンドプログラミング支援を行う革新的なツールを学生が直接ソリューションを明らかにすることなく活用することを検討する。
私たちは学期を通して2500以上の質問を学生から集めました。
しかし、関連する概念や概念理解の深化のために支援を求める要求は少ない。
論文 参考訳（メタデータ） (2023-10-25T20:36:05Z) - Automated grading workflows for providing personalized feedback to
open-ended data science assignments [1.534667887016089]
本稿では、一般的なグレーティングワークフローのステップについて議論し、自動グレーディングワークフローと呼ばれるアプローチでどのステップを自動化できるかを強調します。
新しいRパッケージである gradetools が、RStudio 内でこのアプローチを実装し、個別化されたフィードバックを提供しながら、効率的で一貫したグレーディングを容易にする方法について説明する。
論文 参考訳（メタデータ） (2023-08-18T01:22:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。