論文の概要: GenXR-Bench: Benchmarking Coding Agents for Interactive XR Development
- arxiv url: http://arxiv.org/abs/2610.29014v1
- Date: Wed, 21 Oct 2026 00:28:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-23 00:40:06.166913
- Title: GenXR-Bench: Benchmarking Coding Agents for Interactive XR Development
- Title（参考訳）: GenXR-Bench:インタラクティブなXR開発のためのベンチマークコーディングエージェント
- Abstract要約: GenXR-Benchは、XRソフトウェア開発におけるコーディングエージェントのエンドツーエンド評価のための最初のベンチマークである。
専門家による112のタスクが24のフィーチャー実装、21のバグ修正、67のアプリケーション生成タスクにまたがっている。
消費者XRハードウェア上で実行される124の候補アプリケーションのブラインドされた専門家による判断に対して96.5%の精度を達成する。
- 参考スコア（独自算出の注目度）: 29.352189843946007
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Coding agents are rapidly advancing from single-file generation to long-horizon repository-scale engineering, yet the evaluation of their capabilities to author interactive extended reality (XR) applications remains an open challenge. Unlike traditional software, XR applications operate within dynamic 3D physical environments where runtime robustness depends jointly on continuous user motion, spatial input, and environmental sensing. We introduce GenXR-Bench, the first benchmark for the end-to-end evaluation of coding agents in XR software development. GenXR-Bench contains 112 expert-authored tasks spanning 24 feature implementations, 21 bug repairs, and 67 application generation tasks. Held-out tests combine scripted and adaptive interactions with programmatic and visual assertions to evaluate core functionality and runtime behavior. GenXR-Bench's testing suite achieves 96.5% accuracy against blinded expert judgments of 124 candidate applications executed on consumer XR hardware. Evaluating 10 models on GenXR-Bench, we find that the strongest configuration achieves only 50.9% overall Pass@1. Failure analysis identifies recurring misunderstandings in asynchronous sensor lifecycles, physical grounding, and embodied interaction semantics. GenXR-Bench establishes a reproducible testbed for evaluating coding agents in the interactive and physically situated conditions of spatial computing.
- Abstract（参考訳）: コーディングエージェントは、単一ファイル生成から長期リポジトリスケールのエンジニアリングへと急速に進歩していますが、インタラクティブな拡張現実(XR)アプリケーションを作成できる能力の評価は、依然としてオープンな課題です。
従来のソフトウェアとは異なり、XRアプリケーションは動的3D物理環境内で動作し、実行時の堅牢性は連続したユーザの動き、空間入力、環境センシングに依存している。
我々は、XRソフトウェア開発におけるコーディングエージェントのエンドツーエンド評価のための最初のベンチマークであるGenXR-Benchを紹介する。
GenXR-Benchには、24のフィーチャー実装、21のバグ修正、67のアプリケーション生成タスクにまたがる112の専門家によるタスクが含まれている。
Held-outテストは、スクリプトと適応的な相互作用をプログラム的および視覚的なアサーションと組み合わせて、コア機能と実行時の振る舞いを評価する。
GenXR-Benchのテストスイートは、消費者XRハードウェア上で実行される124の候補アプリケーションの盲目の専門家による判断に対して96.5%の精度を達成する。
GenXR-Benchで10モデルを評価すると、最も強い構成は50.9%のPass@1であることがわかった。
フェール分析は、非同期センサライフサイクル、物理的グラウンド、および具体的相互作用セマンティクスにおける繰り返し発生する誤解を特定する。
GenXR-Benchは、空間コンピューティングのインタラクティブで物理的に位置した状態において、コーディングエージェントを評価する再現可能なテストベッドを確立する。
関連論文リスト
- ASENA: Self-evolving Agents for Embodied Navigation [84.64998230277466]
ASENAは汎用コーディングエージェントをロボットセンシング、計算、教師付き実行、永続的な体験に接続する。
独立政策としてASENA-VLNはR2Rで68.7%、RxRで70.2%という最先端の成功率を達成した。
論文 参考訳（メタデータ） (2026-09-30T07:53:50Z) - RecreationWorld: Scalable and Verifiable Environments for Hybrid Computer-Use Agents [53.51359930826217]
真のデジタルワークには、端から端まで積み重ねるのではなく、両方をインターリーブする必要があります。
インターフェースを探索し、ソフトウェアを実装し、それらのアーティファクトを実行し、視覚的に検証するタイミングを自律的に決定するハイブリッドCUAについて研究する。
レクリエーションを中心に構築された5プラットフォームフレームワークであるRecreationWorldを紹介します。
論文 参考訳（メタデータ） (2026-09-18T17:00:56Z) - RealClawBench: Live OpenClaw Benchmarks from Real Developer-Agent Sessions [9.31655300350697]
実際のOpenClawセッションから構築されたベンチマークフレームワークであるRealClawBenchを紹介した。
RealClawBenchは、これらの課題に、再構築された実行環境と決定論的検証可能なスコアラの2つのメカニズムで対処する。
結果として得られたリリースには、はるかに大きなリアルセッションプールからサンプリングされた281の実行可能なタスクが含まれている。
論文 参考訳（メタデータ） (2026-06-02T16:51:24Z) - SimuWoB: Simulating Real-World Mobile Apps for Fast and Faithful GUI Agent Benchmarking [23.006082521142137]
SimuWoBは、さまざまなタイプと難易度にまたがる120の課題タスクを備えた、モバイルGUIエージェントのための完全な総合ベンチマークである。
我々は高忠実度タスクと環境を合成する堅牢な仮想環境生成フレームワークを構築した。
我々は、最先端のモバイルGUIエージェントについて包括的な実験を行う。
論文 参考訳（メタデータ） (2026-05-24T16:33:14Z) - LiveAgentBench: Comprehensive Benchmarking of Agentic Systems Across 104 Real-World Challenges [34.17635007594549]
実ユーザ要求を反映した104のシナリオを備えた総合ベンチマークであるLiveAgentBenchを紹介します。
ソーシャルメディアや現実世界の製品に関する公開の質問から構築されている。
このリリースには374のタスクと125のバリデーション、249のテストが含まれている。
論文 参考訳（メタデータ） (2026-03-03T04:03:05Z) - IWR-Bench: Can LVLMs reconstruct interactive webpage from a user interaction video? [56.33950760097989]
IWR-Benchは、ビデオからインタラクティブなWebページ再構築におけるLVLM(Large Vision-Language Models)の機能を評価するための新しいベンチマークである。
IWR-Benchは100の現実世界のウェブサイトから1,001のアクションで1,3の精巧にキュレートされたタスクで構成されている。
このベンチマークは、ビデオとアセットからインタラクションロジックを推論する包括的なマルチモーダル推論と、このロジックを関数コードに変換するための高度なコード生成という、2つの基本的な課題に関するモデルを評価する。
論文 参考訳（メタデータ） (2025-09-29T12:38:06Z) - You Don't Know Until You Click:Automated GUI Testing for Production-Ready Software Evaluation [24.956175875766952]
RealDevWorldは、大規模言語モデル(LLM)とソフトウェア開発におけるコードエージェントの評価フレームワークである。
主なコンポーネントは、194のオープンエンドソフトウェアエンジニアリングタスクのコレクションであるRealDevBenchと、新しいエージェント・アズ・ア・ジャッジ評価システムであるAppEvalPilotだ。
実証的な結果は、RealDevWorldが効果的で、自動で、そして、人間に沿った評価を提供することを示している。
論文 参考訳（メタデータ） (2025-08-17T07:31:11Z) - Commit0: Library Generation from Scratch [77.38414688148006]
Commit0は、AIエージェントにスクラッチからライブラリを書くよう促すベンチマークである。
エージェントには、ライブラリのAPIを概説する仕様文書と、インタラクティブなユニットテストスイートが提供されている。
Commit0はまた、モデルが生成したコードに対して静的解析と実行フィードバックを受け取る、インタラクティブな環境も提供する。
論文 参考訳（メタデータ） (2024-12-02T18:11:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。