論文の概要: TeleGen: Improving LLM-Based Web Application Generation via Runtime Telemetry

• arxiv url: http://arxiv.org/abs/2610.04981v1
• Date: Sun, 04 Oct 2026 05:57:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-11 07:21:10.239615
• Title: TeleGen: Improving LLM-Based Web Application Generation via Runtime Telemetry
• Title（参考訳）: TeleGen: ランタイムテレメトリによるLCMベースのWebアプリケーション生成の改善
• Abstract要約: 大規模な言語モデルは、自然言語要求から実行可能なWebアプリケーションを生成することができる。 既存のGenerator-execute-repairパイプラインは、生成されたアプリケーションを実行し、タスク結果またはエラーメッセージを使用してコードリビジョンをガイドする。 LLMベースのWebアプリケーション生成のための可観測性向上フレームワークであるTeleGenを提案する。
• 参考スコア（独自算出の注目度）: 20.639305495619904
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models can generate runnable web applications from natural-language requirements, but many generated applications still fail interactive tasks. Existing generate-execute-repair pipelines execute the generated application and use task outcomes or error messages to guide code revision. However, this feedback often misses the runtime behavior between a browser action and the final task outcome, making interaction-level failures difficult to diagnose. Therefore, we propose TeleGen, an observability-enhanced framework for LLM-based web application generation. TeleGen instruments generated applications, collects runtime telemetry during task execution, and compresses raw telemetry logs into concise briefs for repair. We evaluate TeleGen on WebGen-Bench and Web-Bench. On WebGen-Bench, TeleGen improves task success from 67.7% with repair without telemetry to 76.2%, an increase of 8.5 percentage points. On Web-Bench, it improves cumulative Pass@2 from 21.7% to 29.8%. Ablation results show that runtime telemetry provides a useful diagnostic signal, while telemetry briefs make this signal more effective and less costly to use. Further analysis shows that telemetry is especially helpful for failures involving hidden execution paths, such as navigation, form workflows, and frontend-backend coordination.
• Abstract（参考訳）: 大規模な言語モデルは、自然言語要求から実行可能なWebアプリケーションを生成することができるが、多くの生成されたアプリケーションは依然として対話的なタスクを失敗する。 既存のGenerator-execute-repairパイプラインは、生成されたアプリケーションを実行し、タスク結果またはエラーメッセージを使用してコードリビジョンをガイドする。 しかしながら、このフィードバックはブラウザアクションと最終タスク結果の間の実行時の動作を見逃してしまうことが多く、インタラクションレベルの障害の診断が困難になる。 そこで本研究では,LLMベースのWebアプリケーション生成のための可観測性向上フレームワークであるTeleGenを提案する。 TeleGenはアプリケーションを生成し、タスク実行中に実行時テレメトリを収集し、生テレメトリログを簡潔なブリーフに圧縮して修復する。 我々はWebGen-BenchとWeb-BenchでTeleGenを評価した。 WebGen-Benchでは、テレメトリなしの修理で67.7%から76.2%に改善され、8.5ポイントが増加した。 Web-Benchでは、累積的なPass@2を21.7%から29.8%に改善している。 アブレーションの結果、実行時テレメトリは有用な診断信号を提供するのに対し、テレメトリブリーフは、この信号をより効果的かつ安価に利用できるようにする。 さらに分析した結果,ナビゲーションやフォームワークフロー,フロントエンドとバックエンドの調整といった,隠れた実行パスに関わる障害に対して,テレメトリが特に有効であることがわかった。

関連論文リスト

• TeleTune: Evolving Agent Skills From Offline Telemetry [95.35252240800817]
  オフラインログからスキルライブラリを学ぶためのフレームワークであるTeleTuneを紹介した。 TeleTuneは、ログされたトラジェクトリ上でアクション予測エラーを使用して、ライブラリの編集を提案し、ホールドアウトアクション予測精度を改善するものだけを保持する。 テスト時には、エージェントは学習ライブラリとワークフローベースの検索デモが提供される。
  論文  参考訳（メタデータ） (2026-10-04T18:19:33Z)
• RecreationWorld: Scalable and Verifiable Environments for Hybrid Computer-Use Agents [53.51359930826217]
  真のデジタルワークには、端から端まで積み重ねるのではなく、両方をインターリーブする必要があります。 インターフェースを探索し、ソフトウェアを実装し、それらのアーティファクトを実行し、視覚的に検証するタイミングを自律的に決定するハイブリッドCUAについて研究する。 レクリエーションを中心に構築された5プラットフォームフレームワークであるRecreationWorldを紹介します。
  論文  参考訳（メタデータ） (2026-09-18T17:00:56Z)
• EvoGenUI-Bench: Evaluating LLMs as Multi-Turn Generative UI Assistants [10.510136510866099]
  大規模な言語モデルはインタラクティブなWebインターフェースを生成することができるが、ユーザ要求が進化するにつれて、信頼できる生成UIは実行可能なアーティファクトを維持する必要がある。 我々はEvoGenUI-Benchを紹介した。EvoGenUI-Benchは150の5ターンタスクと750のターンを3つのシナリオに分けたマルチターンインタフェースメンテナンスのベンチマークである。 生成されたアーティファクトをブラウザで実行し、スクリーンショット、ソースおよびDOMエビデンス、アクタートレース、実行時ログを使用して評価します。
  論文  参考訳（メタデータ） (2026-08-29T17:54:02Z)
• Verified Tool Calls Improve LLM Agent Reliability Under Non-Atomic Failures [0.0]
  現実世界のシステムは、ディスパッチ後のタイムアウト、遅延可視性、部分的な状態更新など、非原子的な振る舞いを示す。 これらのミスマッチは、重複アクション、タスク成功、不要なツール実行などの信頼性の問題を引き起こす。 ライトウェイトで検証対応のツールラッパーが導入されており、ツールコールをポストコンディション検証、バリデーション前ロジック、イデオロケーションキーで拡張する。
  論文  参考訳（メタデータ） (2026-07-31T16:16:14Z)
• PhoneBuddy: Training Open Models for Agentic Phone Use [104.23243994660936]
  PhoneBuddyは、エージェント電話用のトレーニングレシピとオープンモデルラインである。 実際のGUI使用構造からモックアプリを再構築する、実アプリケーション環境とモックアプリ環境であるPhoneWorldを組み合わせる。 PhoneBuddyはまず、両方の環境で収集されたトラジェクトリから、共有された教師付き微調整ステージを構築し、その後、実アプリケーションRLと混合RLを比較した。
  論文  参考訳（メタデータ） (2026-06-22T08:57:54Z)
• GTA: Generating Long-Horizon Tasks for Web Agents at Scale [82.43869456830664]
  我々は、クローリング、検索ベースのシード、コンテキスト内生成、自動品質管理を統合したスケーラブルなフレームワーク、GTAを導入する。 eコマース、政府、フォーラム、ニュースをカバーする50以上のウェブサイトでパイプラインをインスタンス化し、マルチリンガルとマルチホップをカバーしています。 i) マルチホップWebエージェントタスク生成の形式化、(ii) 自動データ生成のための効率的で検証されたパイプラインの提案、(iii) 再現可能な評価を伴う動的ベンチマークのリリースである。
  論文  参考訳（メタデータ） (2026-05-28T01:05:50Z)
• Structural Verification for Reliable EDA Code Generation without Tool-in-the-Loop Debugging [0.6843491191969066]
  本稿では,ツール・イン・ザ・ループのデバッグを,実行前に構造的正しさを強制することで除去することを提案する。 シングルステップタスクでは,パスレートが73.0% (LLM+RAG) から76.4% (tool-in-loop) から82.5% に向上する。 マルチステップタスクでは、パスレートは30.0%から70.0%に改善され、さらに軌道レベルの反射で84.0%に改善される。
  論文  参考訳（メタデータ） (2026-04-20T20:58:52Z)
• ActionEngine: From Reactive to Programmatic GUI Agents via State Machine Memory [3.279665979821265]
  ActionEngineは、リアクティブ実行からプログラム計画に移行する、トレーニング不要のフレームワークである。 我々のエージェントは、平均して1回のLDMコールで95%のタスク成功を達成するが、最強のビジョンのみのベースラインでは66%である。
  論文  参考訳（メタデータ） (2026-02-24T03:03:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。