論文の概要: Rasoi: Visual Diffs for Evaluating Structural Changes Made by Coding Agents
- arxiv url: http://arxiv.org/abs/2611.16293v1
- Date: Thu, 12 Nov 2026 04:47:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.362314
- Title: Rasoi: Visual Diffs for Evaluating Structural Changes Made by Coding Agents
- Title(参考訳): Rasoi: コーディングエージェントによる構造変化評価のためのビジュアルディフ
- Abstract要約: エージェントメイド編集の後にシステムのアーキテクチャがどのように進化するかをマッピングするデザインプローブであるRasoiを紹介します。
視覚的な差分は、変更がスコープ内に留まっているかどうかを確認し、予期せぬ再構成に気づき、システム全体に関連する変更部分がどのように修正されているかを理解するのに役立ちました。
調査の結果、監視ツールの価値は、開発者がエージェントを信頼させることよりも、開発者がエージェントによる変更を評価することへの自信を高めることにあることが示唆された。
- 参考スコア(独自算出の注目度): 18.061026069279606
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Coding agents let developers modify software rapidly through natural language. However, as agents take on larger changes, developers can lose track of how the codebase is evolving. These edits may look correct on the surface while restructuring the system in unexpected ways: duplicating logic, changing modules outside the requested scope, removing functionality developers meant to keep, or introducing architectural drift. We investigate how visual diffs can help developers understand and evaluate the structural changes that coding agents make. We present Rasoi, a design probe that maps how a codebase's architecture evolves after each agent-made edit, letting developers inspect which architectural elements and relationships were added, modified, or removed across multiple levels of abstraction. We deployed Rasoi in a week-long study with 12 developers working on their own codebases across varied technical domains. We found that visual diffs helped developers see whether changes stayed within scope, notice unexpected restructuring, and understand how modified parts related to the system as a whole. Our findings suggest that the value of oversight tools for coding agents lies less in making developers trust the agent and more in helping developers feel confident in their own evaluation of agent-made changes. We discuss implications for visual tools that support code comprehension and human oversight in AI-assisted software development.
- Abstract(参考訳): コーディングエージェントを使えば、開発者は自然言語でソフトウェアを素早く修正できる。
しかし、エージェントが大きく変更されるにつれて、開発者はコードベースの進化の軌跡を失うことができる。
ロジックの重複、要求されたスコープ外のモジュールの変更、開発者が保持しようとする機能の削除、アーキテクチャドリフトの導入などです。
視覚差分は、開発者がコーディングエージェントが行う構造的変化を理解し評価するのに役立つかを検討する。
これは、コードベースのアーキテクチャが各エージェントが編集した後にどのように進化するかをマッピングするデザインプローブで、開発者はどのアーキテクチャ要素と関係が複数の抽象化レベルにわたって追加、修正、または削除されたかを検査できる。
私たちはRasoiを1週間にわたる調査でデプロイし、12人の開発者がさまざまな技術的ドメインで独自のコードベースを開発しました。
視覚的な差分は、変更がスコープ内に留まっているかどうかを確認し、予期せぬ再構成に気づき、システム全体に関連する変更部分がどのように修正されているかを理解するのに役立ちました。
以上の結果から,コーディングエージェントに対する監視ツールの価値は,開発者がエージェントを信頼することよりも,エージェント作成による変更の評価に自信を持てることを支援することにあることが示唆された。
我々は,AI支援ソフトウェア開発において,コードの理解と人間の監視を支援する視覚ツールの意義について論じる。
関連論文リスト
- Hidden in Plain Sight: an Empirical Study about The Instruction Stacks of Coding Agents [2.8625051073484333]
コーディングエージェントは、命令スタックを形成する命令、ツール定義、環境コンテキストを追加する。
このスタックは、リリース全体の実行と変更をガイドしますが、ユーザに対してほとんど公開されておらず、研究で十分に特徴付けられています。
我々は、Claude Code, Codex, Gemini CLI, Qwen Code, OpenCodeの1,886リリースの最初のモデルリクエストでキャプチャされた命令スタックについて、縦断的研究を行った。
論文 参考訳(メタデータ) (2026-10-27T14:38:25Z) - Self-Evolving Coding Agents [11.43197414613246]
自己進化型コーディングエージェントは、リポジトリを検査し、ツールを実行し、テストを実行し、障害をデバッグし、パッチを生成することができる。
まず、自己進化型プログラミングエージェントを定義し、それらを従来のコーディングエージェントや一般的な自己進化型エージェントと区別する。
実行可能なフィードバック、リポジトリレベルのコンテキスト、コーディングトラジェクトリは、ソフトウェアエンジニアリングをエージェントの自己進化のための自然なドメインとして、ユニークな役割を与えます。
論文 参考訳(メタデータ) (2026-08-04T09:43:46Z) - How Do Developers Maintain and Evolve Their Agents' Instructions? An Empirical Study [9.708580060106414]
エージェントコンテキストファイル(ACF)は、エージェントを構造化命令でガイドする実用的なメカニズムとして登場した。
本稿では,ACFの進化とエージェント駆動開発におけるその役割について検討する。
論文 参考訳(メタデータ) (2026-06-24T00:32:18Z) - Code as Agent Harness [107.31925305395957]
新興のエージェントシステムでは、コードはもはや単なる目標出力ではない。
コードはエージェントの推論、行動、環境モデリング、実行ベースの検証のための運用上の基盤としてますます役立っている。
この調査は、実行可能、検証可能、ステートフルなAIエージェントシステムに向けた統一されたロードマップを提供する。
論文 参考訳(メタデータ) (2026-05-18T17:59:03Z) - SmellBench: Evaluating LLM Agents on Architectural Code Smell Repair [1.6922906233636834]
アーキテクチャコードはソフトウェアの保守性を損なうため、手作業で修理するのにコストがかかる。
本稿では,大規模言語モデルエージェントによる建築コードの臭いの修復に関する経験的評価について述べる。
SmellBenchは、嗅覚タイプ固有の最適化プロンプトを組み込んだタスクオーケストレーションフレームワークです。
論文 参考訳(メタデータ) (2026-05-07T22:33:32Z) - ClawArena: Benchmarking AI Agents in Evolving Information Environments [61.664633997138004]
ClawArenaは、進化する情報環境におけるAIエージェントの評価のためのベンチマークである。
それぞれのシナリオは、エージェントをノイズ、部分的、時には矛盾するトレースだけに露呈しながら、完全に隠された地上の真実を維持します。
評価は、マルチソースコンフリクト推論、動的信念修正、暗黙のパーソナライゼーションという3つの複合的な課題に基づいて構成される。
論文 参考訳(メタデータ) (2026-04-05T17:55:23Z) - SlopCodeBench: Benchmarking How Coding Agents Degrade Over Long-Horizon Iterative Tasks [55.76734816061826]
我々は20の問題と93のチェックポイントからなる言語に依存しないベンチマークであるSlopCodeBenchを紹介する。
我々は、冗長性、重複コードの割合、構造的侵食という2つの軌道レベルの品質信号を追跡する。
11モデルにまたがるエンドツーエンドの問題を解決するエージェントは存在しない。
論文 参考訳(メタデータ) (2026-03-25T19:26:44Z) - Understanding Code Understandability Improvements in Code Reviews [79.16476505761582]
GitHub上のJavaオープンソースプロジェクトからの2,401のコードレビューコメントを分析した。
改善提案の83.9%が承認され、統合され、1%未満が後に復活した。
論文 参考訳(メタデータ) (2024-10-29T12:21:23Z) - Understanding Code Change with Micro-Changes [9.321152185934105]
マイクロチェンジのカタログと自動マイクロチェンジ検出器について述べる。
我々の検出器は、研究中のシステムで起きている変化の67%以上を説明できることがわかった。
論文 参考訳(メタデータ) (2024-09-16T01:47:25Z) - Alibaba LingmaAgent: Improving Automated Issue Resolution via Comprehensive Repository Exploration [64.19431011897515]
本稿では,問題解決のためにソフトウェアリポジトリ全体を包括的に理解し,活用するために設計された,新しいソフトウェアエンジニアリング手法であるAlibaba LingmaAgentを提案する。
提案手法では,重要なリポジトリ情報を知識グラフに凝縮し,複雑さを低減し,モンテカルロ木探索に基づく戦略を採用する。
Alibaba Cloudの製品展開と評価において、LingmaAgentは、開発エンジニアが直面した社内問題の16.9%を自動で解決し、手作業による介入で43.3%の問題を解決した。
論文 参考訳(メタデータ) (2024-06-03T15:20:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。