論文の概要: WorldBench: Evaluating LLMs on Three.js Voxel World Generation
- arxiv url: http://arxiv.org/abs/2610.10622v1
- Date: Wed, 07 Oct 2026 08:52:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-10 02:36:53.573116
- Title: WorldBench: Evaluating LLMs on Three.js Voxel World Generation
- Title（参考訳）: WorldBench: 3.jsのVoxel World Generation上でのLLMの評価
- Abstract要約: We present WorldBench, a benchmark and judge for open-ended, LLM- generated Three.js worlds。
コード引用は、ソースがテキストを含む場合にのみカウントされ、計測されたピクセルに対して視覚的なクレームがチェックされる。
私たちの判事は、削除された機能のポイントを3分の1(5.44から7.11の3.55)削減しています。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models can now write complete, interactive 3D worlds as code, but grading those worlds automatically is unreliable. Existing judges take one view of the output: a vision-language model scores a few rendered snapshots, or a language model reads the source. On worlds written by five frontier models we find that the two views disagree on 32% of required items, mostly code that no frame shows, and that fixed views miss small close-up contents. We present WorldBench, a benchmark and judge for open-ended, LLM-generated Three.js worlds. From one prompt describing a floating voxel island with ten biomes, physics, and day/night and seasonal cycles, the judge explores the running world, controlling its clock, orbiting it, and sending a navigator agent to frame each biome, and reads the code for what it sees. Neither channel is trusted on its own: a code quote counts only if it is text the source contains, and visual claims are checked against measured pixels where the property is measurable. A mutation test, in which we remove features by construction, shows that code-only judging gives full credit to four of five removed features, because their code remains in the file. Our judge cuts the points kept on removed features by a third (5.44 to 3.55 of 7.11), and what it still credits is mostly code that exists but never runs. We evaluate five frontier models: Claude Fable 5.1, GPT-6 Astra, Kimi K3, Grok 4.7 and Gemini 3.1 Pro. Code, prompt, tests and judge configuration are available at https://github.com/KrishBakshi/worldbench
- Abstract（参考訳）: 大規模な言語モデルでは,完全なインタラクティブな3Dワールドをコードとして記述することが可能になった。
既存の審査員はアウトプットを1つの視点で見る:ビジョン言語モデルはいくつかのレンダリングスナップショットをスコアし、言語モデルはソースを読み取る。
5つのフロンティアモデルによって書かれた世界において、2つのビューは必要な項目の32%に一致しない。
We present WorldBench, a benchmark and judge for open-ended, LLM- generated Three.js worlds。
10の生物テーマ、物理学、昼夜の周期と季節のサイクルを持つ浮かぶボクセル島を記述した1つのプロンプトから、裁判官はランニングワールドを探索し、その時計を制御し、それを周回し、航海エージェントを送り、それぞれの生物をフレームにし、コードを読み取る。
コード引用は、ソースが含んでいるテキストである場合にのみカウントされ、そのプロパティが測定可能なピクセルに対して視覚的クレームがチェックされる。
コードのみの判断で5つの削除された機能のうち4つは、コードがファイルに残っているため、完全にクレジットされる。
私たちの判事は、削除された機能のポイントを3分の1(5.44から7.11の3.55)削減しています。
我々は,Claude Fable 5.1, GPT-6 Astra, Kimi K3, Grok 4.7, Gemini 3.1 Proの5つのフロンティアモデルを評価する。
コード、プロンプト、テスト、およびジャッジの設定はhttps://github.com/KrishBakshi/worldbenchで確認できる。
関連論文リスト
- WebWorld: The Browser as a World Model for Self-Improving Web Code [34.5278922037561]
WebWorldは、VLMがこのブラウザ・アズ・ワールド・モデルと自律的に対話することを可能にする。
WebWorld-27BはRaw-27BをHTMLBench-400で5.3ポイント、MiniAppBench-Valで14.9ポイント改善した。
論文 参考訳（メタデータ） (2026-08-31T10:00:12Z) - MASS: Multiplayer World Models with Authoritative Shared State [65.85526248184442]
MASS (Multiplayer world model with Authoritative Shared State) はマルチプレイヤーゲームアーキテクチャにインスパイアされている。
学習されたLogic Engineは、グローバルで権威のある型付きステートをジョイントアクションから前進させる。
学習されたレンダリングエンジンは、要求されたカメラに対して、独立して一貫したビューを生成する。
論文 参考訳（メタデータ） (2026-08-06T16:47:24Z) - JavaVulBench: A Java Vulnerability Benchmark with Realistic Splits, a Unified Multi-Backend Harness, and a Leakage-Aware Evaluation Mode [0.0]
textscVulBenchはJavaの脆弱性評価のためのベンチマークと評価ハーネスである。
データセットには1～14,700以上のプロジェクトにまたがる$sim,600のJavaメソッドが含まれており、行と発行日の両方でラベル付けされている。
このハーネスは、バックエンドファミリ間で単一のttexttLlmスキーマを提供する。
論文 参考訳（メタデータ） (2026-07-02T23:32:43Z) - PairCoder++: Pair Programming as a Universal Paradigm for Verified Code-Driven Multimodal and Structured-Artifact Generation [51.92442051257354]
PairCoderは、実行のみではなく、完全な公式メトリックスイート上で、アーティファクトが検証可能なすべてのベンチマークを本質的に改善する。
TikZのコンパイルレートは、各モデルで10から30ポイント、シングルモデルの2.9から9.2倍である。
論文 参考訳（メタデータ） (2026-07-02T08:36:02Z) - WorldCoder-Bench: Benchmarking Physically Grounded 3D World Synthesis [31.935792644428584]
本稿では,3次元世界合成のベンチマークであるWorldCoder-Benchを紹介する。
WorldCoder-Benchには、シミュレーション、レンダリング、アプリケーションシナリオにわたる専門家による2,026のタスクが含まれている。
サンドボックスブラウザで生成されたプログラムを探索する実行ベースのプロトコルであるStateProbeを提案する。
論文 参考訳（メタデータ） (2026-06-01T08:17:49Z) - PatchWorld: Gradient-Free Optimization of Executable World Models [69.05094454437402]
我々は、オフラインのトラジェクトリを実行可能なPythonの世界モデルに変換する、勾配のないフレームワークであるPatchWorldを紹介します。
7つのAgentGym環境の中で、PatchWorld-Simpleはコードベースの計画スコアが最も高い。
人間の特定残差バイアスは, 表面観察精度を向上するが, 判定性は低下する。
論文 参考訳（メタデータ） (2026-05-29T06:11:14Z) - WildClawBench: A Benchmark for Real-World, Long-Horizon Agent Evaluation [88.10947115397971]
この研究でWildClawBenchは、6つのテーマのカテゴリにまたがる60の人間によるバイリンガルなマルチモーダルタスクのネイティブランタイムベンチマークである。
各タスクは、約8分間のウォールクロック時間と20以上のツールコールで実行されます。
グラディングはハイブリッドであり、決定論的ルールベースのチェック、副作用の環境状態監査、意味的検証のためのLLM/VLM判定を組み合わせている。
論文 参考訳（メタデータ） (2026-05-11T17:49:43Z) - Is Your Driving World Model an All-Around Player? [107.28582946012818]
We introduced WorldLens, a unified benchmark that measure world-model fidelity across the full spectrum。
6つの代表モデルについて評価したところ、既存のアプローチがすべての軸にわたって支配的でないことが判明した。
アルゴリズムのメトリクスを人間の知覚でブリッジするために、26,808エントリの人間注釈付き嗜好データセットであるWorldLens-26Kをコントリビュートする。
論文 参考訳（メタデータ） (2026-05-11T17:05:49Z) - VCode: a Multimodal Coding Benchmark with SVG as Symbolic Visual Representation [51.95090758710288]
我々はSVGコードをコンパクトで解釈可能で実行可能な視覚表現として提唱する。
私たちは、マルチモーダル理解をコード生成として再設計するベンチマークであるVCodeを紹介します。
VCodeは、一般的なコモンセンス(MM-Vet)、専門分野(MMMU)、視覚中心の知覚(CV-Bench)の3つの領域をカバーする。
論文 参考訳（メタデータ） (2025-11-04T18:00:18Z) - CodeJudge: Evaluating Code Generation with Large Language Models [6.867043179943195]
大規模言語モデル(LLM)は、コード生成において有望なパフォーマンスを示している。
LLMが生成したコードを確実に評価する方法は未解決の問題である。
本稿では,LLMを利用したコード評価フレームワークであるCodeJudgeについて,テストケースを必要とせずに生成したコードの意味的正当性を評価する。
論文 参考訳（メタデータ） (2024-10-03T03:58:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。