論文の概要: Prompting LLMs for Code Editing: Struggles and Remedies
- arxiv url: http://arxiv.org/abs/2504.20196v1
- Date: Mon, 28 Apr 2025 18:59:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-02 19:15:54.645098
- Title: Prompting LLMs for Code Editing: Struggles and Remedies
- Title（参考訳）: コード編集のためのLLMのプロンプト:ストラグルと改善
- Authors: Daye Nam, Ahmed Omran, Ambar Murillo, Saksham Thakur, Abner Araujo, Marcel Blistein, Alexander Frömmgen, Vincent Hellendoorn, Satish Chandra,
- Abstract要約: 大規模言語モデル(LLM)は、コーディングアシスタントをIDEに組み込むことで、ソフトウェアエンジニアリングを急速に変化させています。
本稿では,LLMを利用したコード編集および変換機能であるTransform Codeと,Googleで広く使用されているIDEの開発者インタラクションに関するマルチフェーズ調査を通じて,このギャップの一部に対処する。
機能使用状況のテレメトリログを分析し、頻繁な再プロンプトがTransform Codeを使用する開発者の苦労の指標であることを明らかにする。
我々は、周囲のコードコンテキストから欠落した情報を推測してプロンプトを自動改善するツールAutoPrompterを提案し、評価し、27%の改善を実現した。
- 参考スコア（独自算出の注目度）: 39.02507244469977
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Models (LLMs) are rapidly transforming software engineering, with coding assistants embedded in an IDE becoming increasingly prevalent. While research has focused on improving the tools and understanding developer perceptions, a critical gap exists in understanding how developers actually use these tools in their daily workflows, and, crucially, where they struggle. This paper addresses part of this gap through a multi-phased investigation of developer interactions with an LLM-powered code editing and transformation feature, Transform Code, in an IDE widely used at Google. First, we analyze telemetry logs of the feature usage, revealing that frequent re-prompting can be an indicator of developer struggles with using Transform Code. Second, we conduct a qualitative analysis of unsatisfactory requests, identifying five key categories of information often missing from developer prompts. Finally, based on these findings, we propose and evaluate a tool, AutoPrompter, for automatically improving prompts by inferring missing information from the surrounding code context, leading to a 27% improvement in edit correctness on our test set.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、コーディングアシスタントをIDEに組み込むことで、ソフトウェアエンジニアリングを急速に変化させています。
研究はツールの改善と開発者の認識の理解に重点を置いているが、これらのツールが日々のワークフローで実際にどのように使われているのかを理解する上で、重要なギャップがある。
本稿では,LLMを利用したコード編集および変換機能であるTransform Codeと,Googleで広く使用されているIDEの開発者インタラクションに関するマルチフェーズ調査を通じて,このギャップの一部に対処する。
まず、機能使用状況のテレメトリログを分析し、頻繁な再プロンプトがTransform Codeを使用する開発者の苦労の指標であることを明らかにする。
第二に、不満足なリクエストの質的な分析を行い、デベロッパのプロンプトからしばしば欠落する5つの重要な情報のカテゴリを特定します。
最後に,これらの知見に基づいて,周囲のコードコンテキストから不足情報を推測してプロンプトを自動的に改善するツールAutoPrompterを提案し,評価し,その結果,テストセットの修正精度が27%向上した。
関連論文リスト
- debug-gym: A Text-Based Environment for Interactive Debugging [55.11603087371956]
大規模言語モデル(LLM)は、コーディングタスクにますます依存している。
LLMは、タスクに関連する情報を集めるために対話的にAを探索する能力の恩恵を受けることができると仮定する。
対話型符号化環境において,LLMベースのエージェントを開発するためのテキスト環境,すなわちデバッグジャムを提案する。
論文 参考訳（メタデータ） (2025-03-27T14:43:28Z) - Adaptive Tool Use in Large Language Models with Meta-Cognition Trigger [49.81945268343162]
我々は,外部ツール利用のための適応型意思決定戦略であるMeCoを提案する。
MeCoは表現空間の高レベル認知信号をキャプチャし、ツールを呼び出すタイミングを指示する。
実験の結果,MeCoはLSMの内部認知信号を正確に検出し,ツール使用による意思決定を大幅に改善することがわかった。
論文 参考訳（メタデータ） (2025-02-18T15:45:01Z) - Prompting in the Wild: An Empirical Study of Prompt Evolution in Software Repositories [11.06441376653589]
本研究は,LSM統合ソフトウェア開発における迅速な進化の実証的研究である。
我々は、インシデント変更のパターンと頻度を調べるために、243のGitHubリポジトリにわたる1,262のインシデント変更を分析した。
私たちの調査によると、開発者は主に追加や修正を通じて進化し、ほとんどの変更は機能開発中に発生します。
論文 参考訳（メタデータ） (2024-12-23T05:41:01Z) - A Comprehensive Survey of AI-Driven Advancements and Techniques in Automated Program Repair and Code Generation [0.0]
最近27の論文がレビューされ、2つのグループに分けられた。
最初のグループは、意味的エラーの特定を含む、バグの検出と修復のための新しいメソッドで構成されている。
2つ目のグループはコード生成に精通しており、プログラミングとタスク固有のモデルのために微調整された汎用LLMの概要を提供している。
また、識別子認識トレーニング、命令レベルでの微調整、セマンティックコード構造の導入など、コード生成を改善する方法も提示されている。
論文 参考訳（メタデータ） (2024-11-12T06:47:54Z) - Agent-Driven Automatic Software Improvement [55.2480439325792]
本提案は,Large Language Models (LLMs) を利用したエージェントの展開に着目して,革新的なソリューションの探求を目的とする。
継続的学習と適応を可能にするエージェントの反復的性質は、コード生成における一般的な課題を克服するのに役立ちます。
我々は,これらのシステムにおける反復的なフィードバックを用いて,エージェントの基盤となるLLMをさらに微調整し,自動化されたソフトウェア改善のタスクに整合性を持たせることを目指している。
論文 参考訳（メタデータ） (2024-06-24T15:45:22Z) - A Study on Developer Behaviors for Validating and Repairing LLM-Generated Code Using Eye Tracking and IDE Actions [13.58143103712]
GitHub Copilotは、LLM(Big Language Model)ベースのコード生成ツールである。
本稿では,Copilotが生成したコードを開発者がどのように検証し,修復するかを検討する。
コードの存在を認識したことにより、パフォーマンスの向上、検索努力の向上、コパイロットの使用頻度の向上、認知作業負荷の向上につながった。
論文 参考訳（メタデータ） (2024-05-25T06:20:01Z) - Code Compass: A Study on the Challenges of Navigating Unfamiliar Codebases [2.808331566391181]
これらの問題に対処するための新しいツールであるCodeを提案する。
本研究は,現在のツールと方法論における大きなギャップを浮き彫りにしている。
私たちのフォーマティブな調査は、開発者がドキュメントをナビゲートする時間をいかに効率的に削減するかを示しています。
論文 参考訳（メタデータ） (2024-05-10T06:58:31Z) - How Far Have We Gone in Binary Code Understanding Using Large Language Models [51.527805834378974]
バイナリコード理解におけるLarge Language Models(LLM)の有効性を評価するためのベンチマークを提案する。
評価の結果、既存のLLMはバイナリコードをある程度理解でき、それによってバイナリコード解析の効率が向上することが明らかとなった。
論文 参考訳（メタデータ） (2024-04-15T14:44:08Z) - CodeEditorBench: Evaluating Code Editing Capability of Large Language Models [49.387195629660994]
コードのための大規模言語モデル(LLM)は急速に進化しており、コード編集が重要な機能として現れている。
コード編集タスクにおけるLLMの性能を厳格に評価するための評価フレームワークであるCodeEditorBenchを紹介する。
5つのソースからさまざまなコーディング課題やシナリオをキュレートし、さまざまなプログラミング言語、複雑性レベル、編集タスクをカバーしています。
論文 参考訳（メタデータ） (2024-04-04T15:49:49Z) - Using an LLM to Help With Code Understanding [13.53616539787915]
大規模言語モデル(LLM)は、コードを書くプロセスに革命をもたらしています。
プラグインはOpenAIのGPT-3.5-turboモデルに対して,ユーザが明示的なプロンプトを書かなくても4つの高レベルリクエストをクエリする。
本システムの評価は,32名の被験者を対象に行ったユーザスタディで行われ,本プラグインがWeb検索よりもタスク完了に有効であることが確認された。
論文 参考訳（メタデータ） (2023-07-17T00:49:06Z) - Chatbots As Fluent Polyglots: Revisiting Breakthrough Code Snippets [0.0]
この研究は、AI駆動のコードアシスタントを使用して、現代技術を形成する影響力のあるコンピュータコードの選択を分析する。
この研究の最初の貢献は、過去50年で最も重要なコードの進歩の半分を調査することであった。
論文 参考訳（メタデータ） (2023-01-05T23:17:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。