論文の概要: Semantic Radiance Fields as Simulators for Spatial Reasoning in Real-World Scenes
- arxiv url: http://arxiv.org/abs/2608.13095v1
- Date: Thu, 13 Aug 2026 11:01:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-14 18:29:38.498819
- Title: Semantic Radiance Fields as Simulators for Spatial Reasoning in Real-World Scenes
- Title（参考訳）: 実世界における空間推論のシミュレータとしてのセマンティック・ラディアンス・フィールド
- Abstract要約: エンボディエージェントの空間的推論の訓練と評価には多様な環境が必要である。
本研究では,空間推論エージェントのシミュレータとして,SRF(Semantic Radiance Fields)を提案する。
- 参考スコア（独自算出の注目度）: 2.698200916728782
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Training and evaluating spatial reasoning in embodied agents requires diverse environments that are both geometrically faithful and semantically queryable. Synthetic simulators offer ground truth semantics but sacrifice realism; simulators based on reconstructions of real-world environments have realistic appearance but lack ground truth semantics by default. We propose using Semantic Radiance Fields (SRF) as simulators for spatial reasoning agents. SRFs are a representation that unifies these requirements by lifting 2D semantic segmentations from pretrained vision models into a 3D radiance field that jointly encodes geometry, appearance, and per-class semantic identity. The resulting fields are reconstructed from posed RGB captures of real scenes and support novel-view synthesis, semantic and free-space queries within a single grounded representation. This enables the efficient generation of diverse real-world environments to train and evaluate spatial reasoning models. As an example application, we outline an SRF-driven simulator for an orchard apple-reaching task, in which the radiance field supplies camera rendering, semantic ground truth, and occupancy queries to a physics engine.
- Abstract（参考訳）: エンボディエージェントにおける空間的推論の訓練と評価には、幾何学的に忠実で意味論的にクエリ可能な多様な環境が必要である。
現実の環境の再構築に基づくシミュレータは現実的な外観を持つが、デフォルトでは真実のセマンティクスを欠いている。
本研究では,空間推論エージェントのシミュレータとして,SRF(Semantic Radiance Fields)を提案する。
SRFは、事前訓練された視覚モデルから2Dセマンティックセグメンテーションを、幾何学、外観、クラスごとのセマンティックアイデンティティを結合的に符号化する3Dラディアンスフィールドに持ち上げることで、これらの要求を統一する表現である。
得られたフィールドは、実際のシーンのRGBキャプチャーから再構成され、単一の接地表現内での新規ビュー合成、セマンティックおよび自由スペースクエリをサポートする。
これにより、多様な現実世界環境を効率的に生成し、空間推論モデルを訓練し評価することができる。
例として, 果樹果樹果樹栽培作業のためのSRF駆動シミュレータについて概説し, 放射場が物理エンジンにカメラレンダリング, セマンティックグラウンドの真理, 占有クエリを提供する。
関連論文リスト
- SAGE: Scalable Agentic 3D Scene Generation for Embodied AI [67.43935343696982]
既存のシーン生成システムは、しばしばルールベースまたはタスク固有のパイプラインに依存し、アーティファクトと物理的に無効なシーンを生成する。
本稿では,ユーザが特定した具体的タスクを与えられたエージェントフレームワークであるSAGEについて,その意図を理解し,大規模にシミュレーション可能な環境を自動的に生成する。
得られた環境は現実的で多様性があり、政策訓練のための現代的なシミュレーターに直接デプロイできる。
論文 参考訳（メタデータ） (2026-02-10T18:59:55Z) - Mirage2Matter: A Physically Grounded Gaussian World Model from Video [87.9732484393686]
我々は、グラフィック駆動の世界モデリングおよびシミュレーションフレームワークであるSimulate Anythingを紹介する。
実世界の環境を3次元ガウススプレイティング(3DGS)による写実的シーン表現に再構築する。
次に、生成モデルを利用して、物理的に現実的な表現を復元し、精度校正ターゲットを介してシミュレーション環境に統合する。
論文 参考訳（メタデータ） (2026-01-24T07:43:57Z) - Scenethesis: A Language and Vision Agentic Framework for 3D Scene Generation [36.44409268300039]
Scenethesisはテキストベースのシーンプランニングと視覚誘導レイアウトの改良を統合したフレームワークである。
多様な、現実的で、物理的に妥当な3Dインタラクティブなシーンを生成し、仮想コンテンツの作成、シミュレーション環境、そしてAI研究に価値がある。
論文 参考訳（メタデータ） (2025-05-05T17:59:58Z) - VR-Robo: A Real-to-Sim-to-Real Framework for Visual Robot Navigation and Locomotion [25.440573256776133]
本稿では,視覚ナビゲーションと移動学習のための物理的にインタラクティブな「デジタルツイン」シミュレーション環境を生成する,リアル・ツー・シム・トゥ・リアルのフレームワークを提案する。
論文 参考訳（メタデータ） (2025-02-03T17:15:05Z) - Learning autonomous driving from aerial imagery [67.06858775696453]
フォトグラムシミュレーターは、生成済みの資産を新しいビューに変換することによって、新しいビューを合成することができる。
我々は、ニューラルネットワーク場(NeRF)を中間表現として使用し、地上車両の視点から新しいビューを合成する。
論文 参考訳（メタデータ） (2024-10-18T05:09:07Z) - Sim-to-Real Transfer of Deep Reinforcement Learning Agents for Online Coverage Path Planning [22.077058792635313]
被覆経路計画は、制限された地域の自由空間全体をカバーする経路を見つける問題である。
本稿では,この課題に対する連続空間強化学習の有効性について検討する。
提案手法は従来のRLに基づく手法と高度に専門化された手法の両方の性能を上回ることを示す。
論文 参考訳（メタデータ） (2024-06-07T13:24:19Z) - Closing the Visual Sim-to-Real Gap with Object-Composable NeRFs [59.12526668734703]
本稿では,オブジェクト合成可能なNeRFモデルであるComposable Object Volume NeRF(COV-NeRF)を紹介する。
COV-NeRFは、実際の画像からオブジェクトを抽出し、それらを新しいシーンに合成し、フォトリアリスティックなレンダリングと多くのタイプの2Dおよび3D監視を生成する。
論文 参考訳（メタデータ） (2024-03-07T00:00:02Z) - Reconstructing Objects in-the-wild for Realistic Sensor Simulation [41.55571880832957]
我々は,スパース・イン・ザ・ワイルドデータから正確な幾何学的および現実的な外観を推定する新しい手法であるNeuSimを提案する。
物体の外観を物理にインスパイアされた頑健な反射率表現でモデル化し,実測データに有効である。
実験の結果,NeuSimはスパース・トレーニング・ビューを持つ難解なシナリオに対して,強力なビュー合成性能を有することがわかった。
論文 参考訳（メタデータ） (2023-11-09T18:58:22Z) - Shape, Pose, and Appearance from a Single Image via Bootstrapped
Radiance Field Inversion [54.151979979158085]
提案手法では,自然画像に対する基本的エンドツーエンド再構築フレームワークを導入し,正確な地平のポーズが得られない。
そこで,モデルが解の第一の推算を生成するハイブリッド・インバージョン・スキームを適用する。
当社のフレームワークでは,イメージを10ステップでデレンダリングすることが可能で,現実的なシナリオで使用することが可能です。
論文 参考訳（メタデータ） (2022-11-21T17:42:42Z) - A Shared Representation for Photorealistic Driving Simulators [83.5985178314263]
本稿では、識別器アーキテクチャを再考することにより、生成画像の品質を向上させることを提案する。
シーンセグメンテーションマップや人体ポーズといったセマンティックインプットによって画像が生成されるという問題に焦点が当てられている。
我々は,意味的セグメンテーション,コンテンツ再構成,および粗い粒度の逆解析を行うのに十分な情報をエンコードする,共有潜在表現を学習することを目指している。
論文 参考訳（メタデータ） (2021-12-09T18:59:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。