論文の概要: Toward Instructions-as-Code: Understanding the Impact of Instruction Files on Agentic Pull Requests

• arxiv url: http://arxiv.org/abs/2606.13449v1
• Date: Thu, 11 Jun 2026 15:09:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-12 15:55:27.872001
• Title: Toward Instructions-as-Code: Understanding the Impact of Instruction Files on Agentic Pull Requests
• Title（参考訳）: インストラクション・アズ・コードに向けて:エージェントプル要求に対するインストラクションファイルの影響を理解する
• Authors: Ali Arabat, Mohammed Sayagh,
• Abstract要約: より優れたプルリクエスト作成において,命令生成とAIエージェントのパフォーマンスの関係について検討する。 AIDevデータセットの148件のプロジェクトから15,549件のエージェントPRを分析した。 AIエージェントの指示を指定することは、必ずしもより良い結果をもたらすとは限らない。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: AI-agents (e.g., GitHub Copilot) collaborate as teammates in different software engineering tasks, including code generation proposed through pull requests (Agentic-PRs). For better agent efficiency, developers create instruction files that guide the AI-agents, including how to navigate the project, locate the right components, run tests, respect best practices, and more. In this paper, we investigate the relationship between the creation of these instructions and the performance of AI-agents in creating better pull requests, which have a higher chance of success (i.e., the merge rate), address more complex tasks (e.g., code churn), and require less effort to be merged (e.g., time to merge). To this end, we analyze 15,549 agentic PRs from 148 projects in the AIDev dataset. Using the three dimensions, we compare each project before and after the creation of the instruction files. We find that specifying instructions for AI-agents does not necessarily lead to better results. With the instruction files, 27.7\% of the projects increased their merge rate by at least 20\%, while 26.35\% decreased it. The same observation is seen with the amount of changes (e.g., code churn, number of modified files) and with the efforts to merge an agentic PR (e.g., merge time and number of comments). From a first exploration, we find that projects that managed to increase their merge rate have substantially longer instruction files, which are also well structured into a higher number of sections and sub-sections. Our results motivate the need for research to assist practitioners in framing the development of instruction files as a software engineering activity (aka, \textbf{Instructions-as-Code}).
• Abstract（参考訳）: AIエージェント(GitHub Copilotなど)は、プルリクエスト(Agentic-PR)を通じて提案されたコード生成を含む、さまざまなソフトウェアエンジニアリングタスクでチームメイトとして協力する。 エージェントの効率を改善するために、開発者はAIエージェントをガイドするインストラクションファイルを作成し、プロジェクトにナビゲートする方法、適切なコンポーネントの特定、テストの実行、ベストプラクティスの尊重などを行う。 本稿では、これらの命令の作成と、より優れたプルリクエスト作成におけるAIエージェントのパフォーマンスとの関係について検討する。これは、より複雑なタスク(例えば、コードチャーン)に対処し、マージする労力を少なくする(例えば、マージする時間)。 この目的のために、AIDevデータセットの148のプロジェクトから15,549のエージェントPRを分析した。 3次元を用いて、命令ファイルの作成前後のプロジェクトを比較する。 AIエージェントの指示を指定することは、必ずしもより良い結果をもたらすとは限らない。 命令ファイルでは、プロジェクトの27.7%がマージレートを少なくとも20.%増加させ、26.35.%はマージレートを減少させた。 同じ観察は、変更の量(例、コードチャーン、修正されたファイルの数)とエージェントPR(例、マージ時間とコメント数)をマージする作業で見ることができます。 最初の調査から、マージ率を向上したプロジェクトは、命令ファイルがかなり長く、また、より多くのセクションやサブセクションに構造化されていることが判明した。 本研究は,ソフトウェアエンジニアリング活動としてのインストラクションファイルの開発を支援するために,実践者を支援する研究の必要性を動機づけるものである。

関連論文リスト

• On the Impact of AGENTS.md Files on the Efficiency of AI Coding Agents [16.82096806929777]
  我々は、GitHubのプルリクエストで動作するAIコーディングエージェントのランタイムとトークン消費に対する AgentS.mdファイルの影響を調査した。 以上の結果から, AgentS.md の存在は, 中央値の低いランタイムと出力トークン消費の減少と関連していることがわかった。
  論文  参考訳（メタデータ） (2026-01-28T09:09:30Z)
• Agentic Much? Adoption of Coding Agents on GitHub [6.395990525268647]
  GitHub上でのコーディングエージェントの採用に関する大規模な研究を初めて紹介する。 採用率は15.85%--22.60%と見積もられているが、これは数ヶ月前の技術では極めて高い。 コミットレベルでは、コーディングエージェントによって支援されるコミットは、人間の開発者によって書かれたコミットよりも大きいことが分かります。
  論文  参考訳（メタデータ） (2026-01-26T10:28:10Z)
• How AI Coding Agents Modify Code: A Large-Scale Study of GitHub Pull Requests [0.0]
  24,014個の統合エージェントPR(440,295個のコミット)と5,081個のヒトPR(23,242個のコミット)を分析した。 エージェントPRはコミットカウントにおいてヒューマンPRと大きく異なる(Cliffの$= 0.5429$)。 これらの発見は、AIコーディングエージェントがオープンソース開発にどのように貢献するかを、大規模な経験的評価を提供する。
  論文  参考訳（メタデータ） (2026-01-24T20:27:04Z)
• Where Do AI Coding Agents Fail? An Empirical Study of Failed Agentic Pull Requests in GitHub [5.808464460707249]
  われわれはGitHub全体で5人のコーディングエージェントが作成した33kエージェントのPRを大規模に調査している。 まず,4次元のPRを定量的に特徴付ける。 マージされていないPRは、より大きなコード変更を伴い、より多くのファイルに触れる傾向があり、プロジェクトのCI/CDパイプライン検証に合格しないことが多い。
  論文  参考訳（メタデータ） (2026-01-21T17:12:46Z)
• AgentRouter: A Knowledge-Graph-Guided LLM Router for Collaborative Multi-Agent Question Answering [51.07491603393163]
  tAgentは知識グラフ誘導ルーティング問題としてマルチエージェントQAを定式化するフレームワークである。 エージェントアウトプットのソフトな監督と重み付けされた集約を活用することで、エージェントは多様なエージェントの相補的な強みを捉える、原則化された協調スキームを学ぶ。
  論文  参考訳（メタデータ） (2025-10-06T23:20:49Z)
• Code with Me or for Me? How Increasing AI Automation Transforms Developer Workflows [60.04362496037186]
  本研究は,コーディングエージェントと開発者インタラクションを制御した最初の研究である。 我々は,2つの主要な協調型およびエージェント型符号化アシスタントの評価を行った。 結果から,エージェントはコピロトを超える方法で開発者を支援することができることがわかった。
  論文  参考訳（メタデータ） (2025-07-10T20:12:54Z)
• Paper2Code: Automating Code Generation from Scientific Papers in Machine Learning [70.04746094652653]
  機械学習論文を機能コードリポジトリに変換するフレームワークであるPaperCoderを紹介した。 PaperCoderは3つの段階で動作する。計画、図によるシステムアーキテクチャの設計、ファイル依存の特定、構成ファイルの生成である。 次に、モデルベースおよび人的評価の両方に基づいて、機械学習論文からコード実装を生成するPaperCoderを評価する。
  論文  参考訳（メタデータ） (2025-04-24T01:57:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。