論文の概要: What Makes a GitHub Issue Ready for Copilot?
- arxiv url: http://arxiv.org/abs/2512.21426v1
- Date: Wed, 24 Dec 2025 21:16:02 GMT
- ステータス: 情報取得中
- システム内更新日: 2025-12-29 12:01:11.306267
- Title: What Makes a GitHub Issue Ready for Copilot?
- Title(参考訳): CopilotにGitHubの問題はなぜ準備が整ったのか?
- Authors: Mohammed Sayagh,
- Abstract要約: 私たちは、GitHubの問題の品質を測定するために、32の詳細な基準を構築して、AIエージェントに適合させています。
私たちは、GitHubの問題が合体したプルリクエストをもたらす可能性を予測するために、解釈可能な機械学習モデルを構築します。
- 参考スコア(独自算出の注目度): 0.0
- License:
- Abstract: AI-agents help developers in different coding tasks, such as developing new features, fixing bugs, and reviewing code. Developers can write a Github issue and assign it to an AI-agent like Copilot for implementation. Based on the issue and its related discussion, the AI-agent performs a plan for the implementation, and executes it. However, the performance of AI-agents and LLMs heavily depends on the input they receive. For instance, a GitHub issue that is unclear or not well scoped might not lead to a successful implementation that will eventually be merged. GitHub Copilot provides a set of best practice recommendations that are limited and high-level. In this paper, we build a set of 32 detailed criteria that we leverage to measure the quality of GitHub issues to make them suitable for AI-agents. We compare the GitHub issues that lead to a merged pull request versus closed pull request. Then, we build an interpretable machine learning model to predict the likelihood of a GitHub issue resulting in a merged pull request. We observe that pull requests that end up being merged are those originating from issues that are shorter, well scoped, with clear guidance and hints about the relevant artifacts for an issue, and with guidance on how to perform the implementation. Issues with external references including configuration, context setup, dependencies or external APIs are associated with lower merge rates. We built an interpretable machine learning model to help users identify how to improve a GitHub issue to increase the chances of the issue resulting in a merged pull request by Copilot. Our model has a median AUC of 72\%. Our results shed light on quality metrics relevant for writing GitHub issues and motivate future studies further investigate the writing of GitHub issues as a first-class software engineering activity in the era of AI-teammates.
- Abstract(参考訳): AIエージェントは、新しい機能の開発、バグの修正、コードのレビューなど、開発者がさまざまなコーディングタスクをこなすのに役立つ。
開発者はGithubのイシューを書き、それをCopilotのようなAIエージェントに割り当てて実装することができる。
問題とその関連する議論に基づいて、AIエージェントは実装の計画を実行し、実行します。
しかし、AIエージェントとLLMのパフォーマンスは、受信した入力に大きく依存する。
例えば、不明確な、あるいは十分にスコープされていないGitHubの問題は、最終的にマージされるような実装を成功させるには至らないかもしれない。
GitHub Copilotは、制限のあるハイレベルなベストプラクティスレコメンデーションセットを提供する。
本稿では、GitHubの問題の質を測定し、AIエージェントに適合させるために活用する32の詳細な基準を構築します。
私たちは、統合プルリクエストにつながるGitHubの問題とクローズドプルリクエストを比較します。
そして、GitHubの問題が合体したプルリクエストをもたらす可能性を予測するために、解釈可能な機械学習モデルを構築します。
最終的にマージされるプルリクエストは、より短く、スコープがよく、問題に関連するアーティファクトに関する明確なガイダンスとヒントと、実装の実行方法に関するガイダンスから生まれたものです。
設定、コンテキスト設定、依存関係、外部APIといった外部参照に関する問題は、マージ率の低下に関連している。
私たちは解釈可能な機械学習モデルを構築し、GitHubの問題を改善する方法を見つけ出し、Copilotがプルリクエストをマージする可能性を高めるのに役立ちました。
私たちのモデルでは、中央値のAUCは72\%です。
私たちの結果は、GitHubのイシューを書くための品質指標に光を当て、AIチームメイトの時代における第一級のソフトウェアエンジニアリング活動としてのGitHubイシューの書き方について、今後の研究を動機付けています。
関連論文リスト
- AgentPack: A Dataset of Code Changes, Co-Authored by Agents and Humans [46.56091965723774]
コード編集のための微調整された大きな言語モデルは、一般的にコミットのマイニングやプルリクエストに依存しています。
我々は、Claude Code、OpenAI Codex、Cursor Agentが共著した1.3Mコード編集コーパスであるAgentPackを紹介する。
AgentPackで微調整されたモデルは、以前の人間のみのコミットコーパスで訓練されたモデルより優れていることを示す。
論文 参考訳(メタデータ) (2025-09-26T05:28:22Z) - Classifying Issues in Open-source GitHub Repositories [0.0]
GitHubは、オープンソースコミュニティでもっとも広く使われているソフトウェアメンテナンスプラットフォームである。
開発者は困難に直面しながら、GitHubで問題を時々報告する。
GitHubリポジトリのほとんどは、問題の定期的なラベル付けを保持していない。
論文 参考訳(メタデータ) (2025-07-25T06:20:54Z) - SwingArena: Competitive Programming Arena for Long-context GitHub Issue Solving [90.32201622392137]
We present SwingArena, a competitive evaluation framework for Large Language Models (LLMs)。
従来の静的ベンチマークとは異なり、SwingArenaはLLMをイテレーションとして組み合わせて、テストケースを作成し、継続的インテグレーション(CI)パイプラインを通じてパッチを検証するパッチとレビュアーを生成することで、ソフトウェアのコラボレーションプロセスをモデル化する。
論文 参考訳(メタデータ) (2025-05-29T18:28:02Z) - Automatic Categorization of GitHub Actions with Transformers and Few-shot Learning [12.254055731378045]
GitHub Actions(GHA)は、開発者がパイプラインを作成してメンテナンスするための実用的なツールを提供するために考案されたものだ。
検索エンジンにアクションを公開するために、GitHubは開発者がそれらを1つ以上のカテゴリに手動で割り当てることを可能にする。
私たちはGitHubでアクションの可視性を高めるための実用的なソリューションであるGavelを提案する。
論文 参考訳(メタデータ) (2024-07-24T02:27:36Z) - AutoCodeRover: Autonomous Program Improvement [8.66280420062806]
プログラムの改善を自律的に達成するために、GitHubの問題を解決する自動化アプローチを提案する。
AutoCodeRoverと呼ばれるアプローチでは、LLMは洗練されたコード検索機能と組み合わせられ、最終的にプログラムの変更やパッチにつながります。
SWE-bench-lite(300の現実のGitHubイシュー)の実験では、GitHubの問題を解決する効果が向上している(SWE-bench-liteでは19%)。
論文 参考訳(メタデータ) (2024-04-08T11:55:09Z) - MAGIS: LLM-Based Multi-Agent Framework for GitHub Issue Resolution [47.850418420195304]
大規模言語モデル(LLM)はコード生成において有望であるが、GitHubの問題を解決する上で困難に直面している。
ソフトウェア進化のためにカスタマイズされた4つのエージェントからなる、GitHub Issue Resolution, MAGISのための新しいMulti-Agentフレームワークを提案する。
論文 参考訳(メタデータ) (2024-03-26T17:57:57Z) - Enhancing Open-Domain Task-Solving Capability of LLMs via Autonomous Tool Integration from GitHub [79.31134731122462]
オープンドメインのタスク解決能力を評価するためにOpenActベンチマークを導入します。
我々は,オープンドメインの進化するクエリに,GitHubから専門ツールを自律的に統合することで対処できる,新しいLLMベースのエージェントシステムであるOpenAgentを紹介する。
論文 参考訳(メタデータ) (2023-12-28T15:47:30Z) - SWE-bench: Can Language Models Resolve Real-World GitHub Issues? [80.52201658231895]
SWE-benchは、実際のGitHub問題から引き出された2,294ドルのソフトウェアエンジニアリング問題と、人気のあるPythonリポジトリ12ドルのプルリクエストで構成される評価フレームワークである。
我々は、最先端のプロプライエタリモデルと微調整モデルSWE-Llamaの両方が、最も単純な問題だけを解決できることを示します。
論文 参考訳(メタデータ) (2023-10-10T16:47:29Z) - GitHub Actions: The Impact on the Pull Request Process [7.047566396769727]
本研究では、プロジェクトがGitHub Actionsをどのように利用するか、開発者がGitHub Actionsについて何を議論しているか、プロジェクトアクティビティインジケータが採用後にどのように変化するかを調査する。
私たちの調査によると、5,000のリポジトリのうち1489がGitHub Actionsを採用しています。
また、GitHub Actionsの採用によってプルリクエスト(PR)の拒絶が増加し、受け入れられたPRでのコミュニケーションが増加し、拒否されたPRでのコミュニケーションが減少することが示唆された。
論文 参考訳(メタデータ) (2022-06-28T16:24:17Z) - Predicting Issue Types on GitHub [8.791809365994682]
Ticket Taggerは、機械学習技術による課題のタイトルと説明を分析するGitHubアプリである。
私たちは、約30,000のGitHubイシューに対して、ツールの予測パフォーマンスを実証的に評価しました。
論文 参考訳(メタデータ) (2021-07-21T08:14:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。