論文の概要: LEGO-Anything: Coding Agents for 3D Scene Reconstruction
- arxiv url: http://arxiv.org/abs/2609.36380v1
- Date: Mon, 28 Sep 2026 23:17:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-30 21:28:47.052804
- Title: LEGO-Anything: Coding Agents for 3D Scene Reconstruction
- Title（参考訳）: LEGO-Anything:3Dシーン再構築のためのコーディングエージェント
- Abstract要約: LEGO-Anythingは,コーディングエージェントが反復的にコードを書き,実行し,シーンやレンダリングを検査し,プログラムを改訂する,イメージ・ツー・コード・フレームワークである。
エンド・ツー・エンドのシーン・リカバリを評価するため,104種類の屋内・屋外シーンから208枚の画像が得られたシミュレーター付きベンチマークであるLEGO-Benchを紹介した。
評価されたエージェントの中では、GPT-6-astraは53.4%の屋内スコアと39.6%のアウトドアスコアで最強の総合成績を収めているが、有効なシーンアーティファクトの提供と、シーンの幾何学と外観の忠実な回復の間には大きなギャップが残っている。
- 参考スコア（独自算出の注目度）: 22.463059204230316
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A 3D scene reconstructed from a single image is most useful when represented not as a rendering or a fixed 3D output, but as an explicit scene program whose execution yields a scene that can be inspected, edited, and queried. We present LEGO-Anything, an Image-to-Code framework in which a coding agent iteratively writes and executes Blender code, inspects scenes and renderings, and revises the program. To evaluate end-to-end scene recovery, we introduce LEGO-Bench, a simulator-grounded benchmark with 208 images from 104 diverse indoor and outdoor scenes. LEGO-Bench separately scores artifact validity, visible-surface geometry, and rendered appearance. Its simulator-grounded design enables extensibility and precise automatic evaluation. Among evaluated agents, GPT-6-astra achieves the strongest overall results, with 53.4% indoor and 39.6% outdoor scores, yet substantial gaps remain between delivering valid scene artifacts and faithfully recovering scene geometry and appearance. Analysis of agent construction trajectories reveals three recurring issues: weak scene initialization, regressive edits during iteration, and unreliable self-evaluation. These findings motivate LEGO-Plugin, a training-free harness plugin for more controlled iterative scene construction, which improves all six evaluated models, with relative gains of up to 62.7% in overall score. Finally, we test whether reconstructed scenes can represent natural images and support vision tasks. In LEGO-World, we derive object detections, instance masks, and relative depth as deterministic queries on scenes reconstructed by GPT-6-astra. These readouts show non-trivial performance across all three tasks but fall well short of specialized vision models, suggesting that program-constructed scenes from current coding agents are a promising but not yet sufficiently precise representation of natural images.
- Abstract（参考訳）: 単一の画像から再構成された3Dシーンは、レンダリングや固定された3D出力としてではなく、検査、編集、クエリが可能なシーンを生成する明示的なシーンプログラムとして最も有用である。
LEGO-Anythingは、コーディングエージェントがBlenderコードを反復的に書き、実行し、シーンやレンダリングを検査し、プログラムを再修正する、イメージ・ツー・コード・フレームワークである。
エンド・ツー・エンドのシーン・リカバリを評価するため,104種類の屋内・屋外シーンから208枚の画像が得られたシミュレーター付きベンチマークであるLEGO-Benchを紹介した。
LEGO-Benchは、アーティファクトの妥当性、目に見える表面形状、レンダリングされた外観を別々にスコア付けする。
シミュレータのグラウンド設計により、拡張性と精度の高い自動評価が可能になる。
評価されたエージェントの中では、GPT-6-astraは53.4%の屋内スコアと39.6%のアウトドアスコアで最強の総合成績を収めているが、有効なシーンアーティファクトの提供と、シーンの幾何学と外観の忠実な回復の間には大きなギャップが残っている。
エージェント構築軌跡の分析では、シーンの初期化の弱さ、反復中の回帰的な編集、信頼できない自己評価という3つの繰り返しの問題が明らかになった。
これらの発見はLEGO-Pluginを動機付けている。LEGO-Pluginは、より制御された反復シーン構築のためのトレーニング不要のハーネスプラグインで、6つの評価モデルすべてを改善する。
最後に、再構成されたシーンが自然画像を表すことができるかどうかを検証し、視覚タスクをサポートする。
LEGO-Worldでは、GPT-6-astraによって再構成されたシーンにおける決定論的クエリとして、オブジェクト検出、インスタンスマスク、相対深さを導出する。
これらの読み出しは、3つのタスクにまたがる非自明なパフォーマンスを示すが、専門的なビジョンモデルに欠けており、現在のコーディングエージェントのプログラム構築シーンは、将来性はあるものの、自然なイメージの十分な正確な表現ではないことを示唆している。
関連論文リスト
- Code4Scene: Benchmarking Coding Agents for Constructing and Editing 3D Scenes [3.603036287951166]
コーディングエージェントは,3D環境の作者によるコードの記述と実行が可能になった。
しかし、3D構造を確実に理解し、シーン状態を正確に制御するかどうかは不明だ。
人間が組み立てたシーンから構築した190のUnreal EngineケースのベンチマークであるCode4Sceneを紹介します。
論文 参考訳（メタデータ） (2026-09-29T05:49:37Z) - Fysiverse-3D-Vision Technical Report: Generating Executable 3D Worlds from Images through Unified Spatial Reasoning [62.09790533047924]
生成モデルは、高度な画像条件付き3Dコンテンツ生成が可能だが、単一の画像から制御可能で実行可能な3Dシーンを生成することは、依然として困難である。
本研究では,Fysiverse-3D-Visionを提案する。Fysiverse-3D-Visionは1つの画像から生成した3次元シーンの再構成と実行可能アセット構築のための統合視覚言語-幾何学フレームワークである。
本フレームワークは,既存の手法と比較して,幾何学的整合性,レイアウト推定,レンダリング品質,物理的特性の理解に優れる。
論文 参考訳（メタデータ） (2026-09-22T06:22:31Z) - Fysiverse-3D-SimReady Technical Report: Agentic Physical Simulation for Pragmatic 3D World Reconstruction [49.58319707131411]
Fysiverse-3D-SimReadyは,シミュレーション可能なマルチオブジェクトシーンを1枚のRGB画像から再構成するための基礎的な改良フレームワークである。
この方法は、生成されたオブジェクトメッシュを共有重力に沿ったシーンに配置し、異なるレンダリングによってカメラ空間のポーズを洗練し、シーンレベルのサポートと接触を安定した物理的実行のために修正する。
実験により、Fysiverse-3D-SimReadyは、既存の単一画像再構成とシーン生成ベースラインに対する入力-ビューアライメント、接触可視性、物理的安定性を改善した。
論文 参考訳（メタデータ） (2026-09-21T12:08:00Z) - SceneActBench: Can Agents Act on the 3D Scenes They See? [40.002502466292015]
SceneActBenchは、統一されたエージェント環境ループの下で5つの3Dタスクにまたがる視覚的条件付きアクションのベンチマークである。
タスク固有の幾何測定値を用いて、各最終的な結果が隠れた真実に対して評価される。
論文 参考訳（メタデータ） (2026-07-24T15:16:47Z) - SimWorlds: A Multi-Agent System for Dynamic 3D Scene Creation [50.175987640001644]
テキストから動的に編集可能な4Dシーンを生成するマルチエージェントフレームワークであるSimWorldsを紹介する。
また,プロシージャのダイナミックな3Dシーンの視覚的忠実度と身体的整合性を評価するベンチマークである4DBuildBenchも導入した。
論文 参考訳（メタデータ） (2026-07-02T06:29:18Z) - Thinking in Blender: Staged Executable Inverse Graphics with Vision-Language Models [29.14307229425815]
1枚の画像から3Dシーンを再構成するエージェントフレームワークであるSEIG(Staged Executable Inverse Graphics)を導入する。
我々は,画素レベル,知覚的,意味的忠実度にまたがるさまざまな再現指標を用いて,様々な場面におけるフレームワークの評価を行った。
論文 参考訳（メタデータ） (2026-06-01T17:59:53Z) - 3D-RE-GEN: 3D Reconstruction of Indoor Scenes with a Generative Framework [7.4570191712029965]
3D-RE-GENは、単一の画像をテクスチャ化された3Dオブジェクトと背景に再構成する合成フレームワークである。
私たちのパイプラインは、アセット検出、再構築、配置のためのモデルを統合し、元々意図されたドメインを超えて、特定のモデルをプッシュします。
現在の方法とは異なり、3D-RE-GENは最適化中にオブジェクトを空間的に制約する包括的背景を生成する。
論文 参考訳（メタデータ） (2025-12-19T11:20:52Z) - LEGO-Eval: Towards Fine-Grained Evaluation on Synthesizing 3D Embodied Environments with Tool Augmentation [13.580476542856188]
LEGO-Evalは,シーンコンポーネントを明確にグラウンド化するための多種多様なツールを備えた評価フレームワークである。
LEGO-Benchは、現実世界の環境の複雑なレイアウトと属性を指定する詳細なインストラクションのベンチマークです。
論文 参考訳（メタデータ） (2025-11-04T21:13:51Z) - Zero-Shot Multi-Object Scene Completion [59.325611678171974]
1枚のRGB-D画像から複雑なシーンにおける複数の見えない物体の完全な形状を復元する3Dシーン補完法を提案する。
提案手法は, 合成および実世界の両方のデータセットにおいて, 現在の最先端技術よりも優れている。
論文 参考訳（メタデータ） (2024-03-21T17:59:59Z) - Anything-3D: Towards Single-view Anything Reconstruction in the Wild [61.090129285205805]
本稿では,一連の視覚言語モデルとSegment-Anythingオブジェクトセグメンテーションモデルを組み合わせた方法論的フレームワークであるAnything-3Dを紹介する。
提案手法では、BLIPモデルを用いてテキスト記述を生成し、Segment-Anythingモデルを用いて関心対象を効果的に抽出し、テキスト・画像拡散モデルを用いて物体を神経放射場へ持ち上げる。
論文 参考訳（メタデータ） (2023-04-19T16:39:51Z) - Visual Localization using Imperfect 3D Models from the Internet [54.731309449883284]
本稿では,3次元モデルにおける欠陥が局所化精度に与える影響について検討する。
インターネットから得られる3Dモデルは、容易に表現できるシーン表現として有望であることを示す。
論文 参考訳（メタデータ） (2023-04-12T16:15:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。