VibeJam: A User Study Platform for Web Development with Agents
Abstractの概要
VibeJamは、人間がAIシステムと協働してWebサイトを構築するエージェント型Web開発のオンラインユーザースタディ向けに設計された、ブラウザベースのプラットフォームです。NLPおよびコーディングの研究者8名を対象とした事前調査に基づき、本システムはWeb開発タスク、エージェントのカスタマイズ、チャットおよび計画モード、差分ベースのレビュー、ライブWebサイトプレビュー、研究者が定義する評価ワークフローをサポートしています。VibeJamはデフォルトでオープンソースのAiderエージェントを使用し、参加者側の環境構築を必要とせずに現代のエージェント型コーディングワークフローを再現するように構築されています。本論文はこのプラットフォームを人間とエージェントのコーディング動態を研究するための実験的インフラと位置付け、プラットフォーム本体と55件のゲームベースのWebサイト作成タスクスイートを公開しています。
新規性
本論文は、オフラインベンチマークや環境構築の負担が大きいIDEプラグインにとどまらず、エージェント型コーディングのユーザー参加型評価のために特別に構築されたオープンソースのブラウザベース研究プラットフォームを提案しています。カスタマイズ可能なエージェント構成、計画およびチャットモード、対話的な差分レビュー、サンドボックス環境でのライブプレビュー、研究者向けに統合されたタスク後アノテーションワークフローを兼ね備えています。
成果
経験豊富なAIプログラマー5名を対象としたパイロットスタディにおいて、参加者はVibeJamが楽しく使いやすく、商用ツールに類似していると感じ、AIを使用しない場合よりも知覚される品質が高く迅速にWebサイトを構築できたと報告しました。初級プログラマー13名が22個のゲームWebサイトを構築した評価では、ユーザーとエージェントの協働チームが楽しさ、創造性、スタイルの面でエージェント単体のベースラインを上回り、タスク遵守率は全条件で高く維持されました。
論文の注目点
- VibeJamは、包括的なインタラクションログ記録と組み込みの提出物アノテーション機能を備え、Web開発における人間とAIの協働を評価するための環境構築不要なブラウザベースの実験プラットフォームを提供します。
- 本プラットフォームは、直接的なエージェントによるコード編集、専用のチャットおよび計画モード、gitの差分レビュー、サンドボックス環境でのライブWebサイトプレビューを通じて最新のコーディングツールを再現しています。
- 実証研究により、ユーザーが本システムを商用エージェントツールに匹敵すると評価したことや、エージェントと協働した初級プログラマーが複数の主観的基準においてエージェント単体よりも高品質なゲームを作成したことが示されました。