論文の概要: An Empirical Study of Proactive Coding Assistants in Real-World Software Development
- arxiv url: http://arxiv.org/abs/2605.05700v1
- Date: Thu, 07 May 2026 05:44:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-08 22:27:11.538023
- Title: An Empirical Study of Proactive Coding Assistants in Real-World Software Development
- Title（参考訳）: 実世界のソフトウェア開発におけるプロアクティブコーディングアシスタントの実証的研究
- Authors: Lehui Li, Ruixuan Jia, Guo-Ye Yang, Jia Li,
- Abstract要約: 大規模言語モデル(LLM)ベースのコーディングアシスタントは大きな進歩を遂げているが、ほとんどのシステムはリアクティブのままである。
プロアクティブなコーディングアシスタントは、統合開発環境(IDE)インタラクションとリポジトリコンテキストから潜伏した開発者の意図を推論することを目的としている。
この方向の研究は、大規模な開発者行動データの不足によって制限されている。
- 参考スコア（独自算出の注目度）: 7.0725208875067045
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language model (LLM)-based coding assistants have made substantial progress, yet most systems remain reactive, requiring developers to explicitly formulate their needs. Proactive coding assistants aim to infer latent developer intent from integrated development environment (IDE) interactions and repository context, thereby reducing interaction overhead and supporting more seamless assistance. However, research in this direction is limited by the scarcity of large-scale real-world developer behavior data. Existing studies therefore often rely on LLM-simulated IDE traces, whose fidelity to real development behavior remains unclear. In this paper, we investigate this simulation-to-reality gap through a large-scale empirical study. We collect real IDE interaction traces from 1{,}246 experienced industry developers over three consecutive days using a custom Visual Studio Code extension, and construct paired LLM-simulated traces for controlled comparison. Our analysis shows that simulated traces differ substantially from real traces in behavioral diversity, temporal structure, and exploratory patterns. Based on the collected data, we introduce \textbf{ProCodeBench}, a real-world benchmark for proactive intent prediction. Experiments with representative LLMs, retrieval-augmented methods, and agentic baselines show that current approaches remain far from reliable under real IDE traces, suggesting that simulation-based evaluation can overestimate real-world performance. Finally, our training study shows that simulated data cannot replace real data, but can complement it when used before real-world fine-tuning. These findings highlight the importance of real developer behavior data for evaluating and training proactive coding assistants.
- Abstract（参考訳）: 大規模言語モデル(LLM)ベースのコーディングアシスタントは大きな進歩を遂げているが、ほとんどのシステムはリアクティブであり、開発者はそのニーズを明確に定式化する必要がある。
プロアクティブなコーディングアシスタントは、統合開発環境(IDE)のインタラクションとリポジトリコンテキストから遅れた開発者の意図を推論することを目的としており、それによってインタラクションのオーバーヘッドを減らし、よりシームレスなアシストをサポートする。
しかし、この方向の研究は、大規模な開発者行動データの不足によって制限されている。
したがって、既存の研究はしばしばLLMを模擬したIDEトレースに依存しており、実際の開発行動への忠実さは未だ不明である。
本稿では,このシミュレーションと現実のギャップについて,大規模な実証研究を通して検討する。
1{,}246人の経験豊富な業界開発者から、カスタムVisual Studio Codeエクステンションを使用して、3日間にわたって実際のIDEインタラクショントレースを収集し、比較管理のためにペア化されたLLMシミュレートされたトレースを構築しました。
分析の結果,シミュレーションされた痕跡は行動の多様性,時間構造,探索パターンの実際の痕跡と大きく異なることがわかった。
収集したデータに基づいて,プロアクティブな意図予測のための実世界のベンチマークである \textbf{ProCodeBench} を紹介する。
代表的なLCM, 検索拡張手法, エージェントベースラインを用いた実験では, 現在のアプローチは実際のIDEトレースでは信頼性が低いままであり, シミュレーションに基づく評価が実世界のパフォーマンスを過大評価する可能性があることを示唆している。
最後に,シミュレーションデータを実データに置き換えることはできないが,実世界の微調整の前に使用すると補完できることを示す。
これらの知見は,プロアクティブコーディングアシスタントの評価とトレーニングにおいて,実際の開発者の行動データの重要性を浮き彫りにした。
関連論文リスト
- SEARL: Joint Optimization of Policy and Tool Graph Memory for Self-Evolving Agents [35.45207852488779]
本稿では,ツールメモリをベースとした自己進化型エージェントフレームワークSEARLを紹介する。
インタラクションエクスペリエンスを直接利用するアプローチとは異なり,本手法では,計画と実行を統合する構造化されたエクスペリエンスメモリを構築している。
我々は,知識推論と数学タスクの枠組みを評価し,より実践的で効率的な学習を実現する上での有効性を実証した。
論文 参考訳（メタデータ） (2026-04-09T04:38:47Z) - Understanding by Reconstruction: Reversing the Software Development Process for LLM Pretraining [66.89012795621349]
大規模言語モデル(LLM)は、複雑なソフトウェア工学に必要な、深く、長期にわたる推論に苦しむことが多い。
本稿では,再構築による理解という,新しいパラダイムを提案する。
マルチエージェントシミュレーションを用いて潜在エージェント軌道を合成するフレームワークを提案する。
論文 参考訳（メタデータ） (2026-03-11T09:23:20Z) - Understanding Specification-Driven Code Generation with LLMs: An Empirical Study Design [2.687678248171195]
大規模言語モデル(LLM)は、ますますソフトウェア開発に統合されているが、構造化された仕様駆動プロセスにおけるそれらの振る舞いは、いまだに理解されていない。
本稿では,LLM支援コード生成のためのヒューマン・イン・ザ・ループ・ワークフローを実現するVisual Studio Code拡張であるCURRANTEを用いた実証的研究設計を提案する。
本研究の目的は,LLM生成コードの品質と力学に人間による介入がどう影響するかを解析することである。
論文 参考訳（メタデータ） (2026-01-07T12:46:57Z) - See, Think, Act: Online Shopper Behavior Simulation with VLM Agents [58.92444959954643]
本稿では,視覚情報,特にWebページスクリーンショットのVLMによる動作シミュレーションへの統合について検討する。
我々は,協調行動予測と合理化生成にSFTを用いて,相互作用の完全な文脈を条件づける。
推論能力をさらに強化するため,RLを階層的な報酬構造と統合し,難易度因子によって拡張する。
論文 参考訳（メタデータ） (2025-10-22T05:07:14Z) - RECODE-H: A Benchmark for Research Code Development with Interactive Human Feedback [87.97664892075811]
研究論文やリポジトリからの102タスクのベンチマークであるRECODE-Hを提案する。
構造化された命令、単体テスト、現実的な研究者とエージェントのコラボレーションを反映する5段階のフィードバック階層が含まれる。
フィードバックを反復的なコード生成に統合するフレームワークであるReCodeAgentも紹介します。
論文 参考訳（メタデータ） (2025-10-07T17:45:35Z) - Experience Scaling: Post-Deployment Evolution For Large Language Models [44.48142891798125]
大規模言語モデル(LLM)の継続的デプロイ後進化のためのフレームワークであるエクスペリエンススケーリングを提案する。
このフレームワークは,以前には見つからなかったが関連するタスク,繰り返しクエリ,過飽和知識ストアへの一般化を含む実世界のシナリオで検証される。
その結果、構造化されたデプロイ後学習は、静的な人間生成データの限界を超えてLLM能力を拡張できることを示した。
論文 参考訳（メタデータ） (2025-09-23T08:04:58Z) - MLE-Dojo: Interactive Environments for Empowering LLM Agents in Machine Learning Engineering [57.156093929365255]
自律型大規模言語モデル(LLM)エージェントを体系的に強化し、評価し、改善するためのガイムスタイルのフレームワーク。
MLE-Dojoは、現実的なエンジニアリングシナリオを反映した、多様でオープンなMLEタスクを慎重にキュレートする。
完全に実行可能な環境は、教師付き微調整と強化学習の両方を通して包括的なエージェントトレーニングをサポートする。
論文 参考訳（メタデータ） (2025-05-12T17:35:43Z) - HumanEvo: An Evolution-aware Benchmark for More Realistic Evaluation of Repository-level Code Generation [36.1669124651617]
我々は,大規模言語モデルのコード生成性能を,ソフトウェア開発の進化的性質を反映した設定内で理解するための実証的研究を行う。
我々は、自動実行ベースの評価ツールを備えた進化型リポジトリレベルのコード生成データセットであるHumanEvoを使用します。
従来の進化を無視した評価手法は, 10.0%から61.1%の範囲で, LLMの膨張性能が向上することがわかった。
論文 参考訳（メタデータ） (2024-06-11T03:19:18Z) - CTP: Towards Vision-Language Continual Pretraining via Compatible
Momentum Contrast and Topology Preservation [128.00940554196976]
Vision-Language Continual Pretraining (VLCP)は、大規模なデータセット上でオフラインでトレーニングすることで、さまざまな下流タスクに対して印象的な結果を示している。
VLCP(Vision-Language Continual Pretraining)の研究を支援するために,我々はまず,包括的で統一されたベンチマークデータセットP9Dをコントリビュートする。
独立したタスクとしての各業界からのデータは、継続的な学習をサポートし、Webデータの事前学習をシミュレートする現実世界のロングテールな性質に準拠している。
論文 参考訳（メタデータ） (2023-08-14T13:53:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。