論文の概要: PlayCoder: Making LLM-Generated GUI Code Playable
- arxiv url: http://arxiv.org/abs/2604.19742v1
- Date: Tue, 21 Apr 2026 17:59:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-22 22:41:49.92061
- Title: PlayCoder: Making LLM-Generated GUI Code Playable
- Title（参考訳）: PlayCoder: LLM生成GUIコードを再生可能に
- Abstract要約: 既存のベンチマークは主にテストケースを通じて正確さを評価するが、GUIアプリケーションには不十分である。
このベンチマークは、Python、TypeScript、JavaScriptの43の多言語GUIアプリケーションから構築された。
また、論理的エラーなしに、少なくとも1つの*k*生成候補をエンドツーエンドでプレイできるかどうかを測定する指標であるPlay@kを提案する。
- 参考スコア（独自算出の注目度）: 30.115742334937977
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) have achieved strong results in code generation, but their ability to generate GUI applications, especially games, remains insufficiently studied. Existing benchmarks mainly evaluate correctness through test cases, which are inadequate for GUI applications because these systems are interactive, event-driven, and require correct state transitions across sequences of user actions. Their evaluation therefore should consider interaction flows and UI logic rather than only pass/fail outcomes. To study this problem, we introduce PlayEval, a repository-aware benchmark built from 43 multilingual GUI applications in Python, TypeScript, and JavaScript. Unlike prior GUI benchmarks that are difficult to adapt to desktop environments, PlayEval covers six major GUI application categories and directly supports code-generation evaluation. We further propose Play@k, a metric that measures whether at least one of *k* generated candidates can be played end-to-end without logical errors. To support reliable evaluation, we develop PlayTester, an LLM-based agent that performs task-oriented GUI playthroughs and detects logic violations automatically. Experiments on 10 state-of-the-art code LLMs show that, despite high compilation rates, they achieve near-zero Play@3, revealing major weaknesses in generating logically correct GUI applications. To address this limitation, we present PlayCoder, a multi-agent, repository-aware framework that generates, evaluates, and iteratively repairs GUI application code in a closed loop. PlayCoder substantially improves both functional correctness and semantic alignment for open-source and closed-source models, reaching up to 38.1% Exec@3 and 20.3% Play@3. Case studies further show that it can uncover silent logic bugs missed by traditional metrics and fix them through targeted edits.
- Abstract（参考訳）: 大規模言語モデル(LLM)はコード生成において大きな成果を上げているが、GUIアプリケーションを生成する能力、特にゲームは十分に研究されていない。
既存のベンチマークは主にテストケースを通じて正確さを評価するが、GUIアプリケーションには不適切である。
したがって、それらの評価は、パス/フェール結果のみでなく、インタラクションフローとUIロジックを考慮すべきである。
この問題を解決するために,Python,TypeScript,JavaScriptの43の多言語GUIアプリケーションから構築されたリポジトリ対応ベンチマークであるPlayEvalを紹介した。
デスクトップ環境への適応が難しい以前のGUIベンチマークとは異なり、PlayEvalは6つの主要なGUIアプリケーションカテゴリをカバーし、コード生成評価を直接サポートする。
さらに、論理的エラーなしに、少なくとも1つの*k*生成候補をエンドツーエンドでプレイできるかどうかを測定する指標であるPlay@kを提案する。
信頼性評価を支援するために,タスク指向GUIプレイスルーを実行し,ロジック違反を自動的に検出するLLMベースのエージェントであるPlayTesterを開発した。
最先端の10のLLMの実験では、高いコンパイル率にもかかわらず、ほぼゼロに近いPlay@3が達成され、論理的に正しいGUIアプリケーションを生成する際の大きな弱点が明らかになった。
この制限に対処するため、我々は、閉ループ内でGUIアプリケーションコードを生成し、評価し、反復的に修復するマルチエージェントのリポジトリ対応フレームワークであるPlayCoderを紹介した。
PlayCoderは、オープンソースのモデルとクローズドソースモデルの機能的正当性とセマンティックアライメントの両方を大幅に改善し、最大38.1%のExec@3と20.3%のPlay@3に達する。
ケーススタディでは、従来のメトリクスが見逃したサイレントロジックのバグを発見でき、ターゲットの編集によって修正できることを示している。
関連論文リスト
- EvoGUI: An Evolution-Aware Benchmark for GUI State-Transition Understanding [54.222234064832]
EvoGUIは、正規化されたGUI軌跡を3つの補完的な視覚的質問応答プローブに変換するフレームワークである。
私たちはMind2WebとWebLINXからEvoGUI-Benchをインスタンス化し、120ドメインで3,000のインスタンスを生成します。
最強のモデルは60.4 EvoGainにしか達しないが、モデルスケールとGUIの特殊化は性能を確実に予測しない。
論文 参考訳（メタデータ） (2026-07-19T03:29:08Z) - GUI-CIDER: Mid-training GUI Agents via Causal Internalization and Density-aware Exemplar Reselection [26.58169185548789]
既存のソリューションは、高価なマルチエージェントの足場や従来のポストトレーニングパラダイムに依存している。
本稿では,GUIの世界知識を因果的内在化と密度認識による模範的再選択によって明示的に内部化する中級学習手法であるGUI-CIDERを提案する。
2つのGUI知識ベンチマークと3つのタスク補完ベンチマークの実験により、GUI-CIDERはエージェントのGUI操作に対する理解とタスク成功率の両方を一貫して改善することを示した。
論文 参考訳（メタデータ） (2026-05-27T14:29:41Z) - See, Plan, Snap: Evaluating Multimodal GUI Agents in Scratch [20.231957791642635]
本稿では,Scratchにおけるプログラム・バイ・コンストラクションタスクにおけるマルチモーダルGUIエージェントの評価ベンチマークであるScratchWorldを紹介する。
ScratchWorldは、Create、Debug、Extended、Computeの4つの異なる問題カテゴリにまたがる83のキュレートされたタスクで構成されている。
信頼性の高い評価を実現するため,構築したScratchプログラムの機能的正当性を検証した実行ベース評価プロトコルを提案する。
論文 参考訳（メタデータ） (2026-02-11T12:54:53Z) - GUI-ReRank: Enhancing GUI Retrieval with Multi-Modal LLM-based Reranking [55.762798168494726]
GUI-ReRankは、高速な埋め込みに基づく制約付き検索モデルと、非常に効果的なMLLMベースのリグレード技術を統合する新しいフレームワークである。
提案手法を確立されたNLベースのGUI検索ベンチマークで評価した。
論文 参考訳（メタデータ） (2025-08-05T10:17:38Z) - MobileGUI-RL: Advancing Mobile GUI Agent through Reinforcement Learning in Online Environment [63.62778707277929]
MobileGUI-RLは、オンライン環境でGUIエージェントをトレーニングするスケーラブルなフレームワークである。
自己探索とフィルタリングを通じて学習可能なタスクのカリキュラムを合成する。
GRPOをGUIナビゲーションに適応させ、軌道認識の利点と複合報酬を付与する。
論文 参考訳（メタデータ） (2025-07-08T07:07:53Z) - LLM-Guided Scenario-based GUI Testing [22.70111721644705]
本稿では,GUIのセマンティクスと文脈的関連性を理解するために,大規模言語モデルを活用するアプローチを提案する。
手動テストフェーズをシミュレートし,自動化するためにマルチエージェント協調を用いたシナリオベースGUIテストフレームワークであるScenGenを提案する。
論文 参考訳（メタデータ） (2025-06-05T14:27:40Z) - Look Before You Leap: A GUI-Critic-R1 Model for Pre-Operative Error Diagnosis in GUI Automation [83.92224427735859]
実際の実行に先立って効果的なフィードバックを提供する事前の批判機構を導入する。
そこで我々は,GUI-Critic-TrainとGUI-Critic-Testを作成するために,推論ブートストラップに基づくデータ収集パイプラインを開発した。
我々のモデルは、現在のMLLMと比較して、批評家の精度に大きな利点をもたらす。
論文 参考訳（メタデータ） (2025-06-05T04:12:36Z) - SwingArena: Competitive Programming Arena for Long-context GitHub Issue Solving [90.32201622392137]
We present SwingArena, a competitive evaluation framework for Large Language Models (LLMs)。
従来の静的ベンチマークとは異なり、SwingArenaはLLMをイテレーションとして組み合わせて、テストケースを作成し、継続的インテグレーション(CI)パイプラインを通じてパッチを検証するパッチとレビュアーを生成することで、ソフトウェアのコラボレーションプロセスをモデル化する。
論文 参考訳（メタデータ） (2025-05-29T18:28:02Z) - WorldGUI: An Interactive Benchmark for Desktop GUI Automation from Any Starting Point [17.165899818213475]
We introduced WorldGUI, a comprehensive GUI benchmark including tasks across 10 wide used desktop and web applications。
WorldGUI-Agentは3つのコアモジュールを統一する普遍的なフレームワークである。高レベルプラン修正のためのPlanner-Critic、中間検証のためのStep-Check、アクションレベルの最適化のためのActor-Criticである。
論文 参考訳（メタデータ） (2025-02-12T01:06:10Z) - GUI-Bee: Align GUI Action Grounding to Novel Environments via Autonomous Exploration [56.58744345634623]
MLLMをベースとした自律エージェントGUI-Beeを提案する。
NovelScreenSpotも導入しています。これはGUIアクショングラウンドモデルと新しい環境との整合性をテストするためのベンチマークです。
論文 参考訳（メタデータ） (2025-01-23T18:16:21Z) - GUI Testing Arena: A Unified Benchmark for Advancing Autonomous GUI Testing Agent [24.97846085313314]
自動GUIテストのプロセス全体を評価するための,形式化された総合的な環境を提案する。
テストプロセスは、テスト意図の生成、テストタスクの実行、GUI欠陥検出という、3つの重要なサブタスクに分割します。
実際のモバイルアプリケーション、人工的に注入された欠陥を持つモバイルアプリケーション、合成データという3つのデータタイプを使用して、異なるモデルの性能を評価する。
論文 参考訳（メタデータ） (2024-12-24T13:41:47Z) - Seeing is Believing: Vision-driven Non-crash Functional Bug Detection for Mobile Apps [26.96558418166514]
本稿では,非クラッシュな機能的バグを検出するための,視覚駆動型多エージェント協調GUIテスト手法を提案する。
590の非クラッシュバグに対してTridentを評価し,12のベースラインと比較したところ,平均リコールと精度が14%-112%,108%-147%向上した。
論文 参考訳（メタデータ） (2024-07-03T11:58:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。