論文の概要: LucidLyra: Feed-Forward Generative 3D Scene Reconstruction and Joint Understanding via Multi-Task Distillation

• arxiv url: http://arxiv.org/abs/2610.40495v1
• Date: Thu, 29 Oct 2026 17:18:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 06:57:45.144924
• Title: LucidLyra: Feed-Forward Generative 3D Scene Reconstruction and Joint Understanding via Multi-Task Distillation
• Title（参考訳）: LucidLyra: 多段蒸留によるフィードフォワード生成3次元シーン再構成と共同理解
• Abstract要約: LucidLyraは、生成的に再構成された3Dシーンをセマンティクスやインスタンスにクエリ可能にするフレームワークである。 LucidLyraは、3Dシーン編集、3Dアセットマイニング、ロボットシミュレーションなどの下流アプリケーションを可能にする。
• 参考スコア（独自算出の注目度）: 77.81102019165758
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present LucidLyra, a framework that makes generatively reconstructed 3D scenes directly queryable for semantics and instances in a feed-forward manner from video latents. While generative 3D reconstruction can synthesize virtual environments from a single image, downstream applications in robotics and physical AI require not only visual realism but also access to scene semantics and object identities. Existing 3D understanding approaches, however, require captured multi-view scenes, have limited generalization capabilities, or rely on expensive per-scene processing and optimization. To bridge this gap, our method distills complementary knowledge from a camera-controlled video diffusion model and frozen 2D vision foundation models into a unified model to jointly infer 3D Gaussians encoding geometry, appearance, open-vocabulary semantics, and class-agnostic instance cues. The resulting scenes support novel-view rendering, open-vocabulary segmentation, and object grouping without per-scene optimization, while training requires neither manual 3D annotations nor captured multi-view data. Our method outperforms baselines combining state-of-the-art 3DGS segmentation approaches with generative 3D scene reconstruction on curated synthetic and real-image-conditioned benchmarks, while preserving reconstruction quality. Furthermore, our latent formulation naturally extends to monocular video, reconstructing structured dynamic 3D scenes across time. By turning renderable but unstructured outputs into queryable 3D worlds, LucidLyra enables downstream applications including 3D scene editing, 3D asset mining, and robotic simulation.
• Abstract（参考訳）: LucidLyraは、ビデオラテントからのフィードフォワード方式で、セマンティックスやインスタンスに直接クエリ可能な3Dシーンを生成的に再構成するフレームワークである。 生成的な3D再構成は、単一のイメージから仮想環境を合成することができるが、ロボット工学や物理AIにおける下流の応用には、視覚的リアリズムだけでなく、シーンセマンティクスやオブジェクトのアイデンティティへのアクセスも必要である。 しかし、既存の3D理解アプローチでは、キャプチャーされたマルチビューシーン、限られた一般化能力、高価なシーンごとの処理と最適化に依存している。 このギャップを埋めるために, カメラ制御ビデオ拡散モデルと凍結した2次元視覚基礎モデルから相補的知識を抽出し, 幾何学, 外観, 開語彙意味論, クラス非依存のインスタンスキューを符号化した3次元ガウスを統一的に推定する。 結果として得られるシーンは、新規ビューレンダリング、オープンボキャブラリセグメンテーション、オブジェクトグループ化をシーンごとの最適化なしでサポートし、トレーニングは手動の3Dアノテーションやキャプチャーされたマルチビューデータを必要としない。 提案手法は,現状の3DGSセグメンテーション手法と,合成および実画像条件付きベンチマークを用いた生成3Dシーン再構成を併用し,再現品質を保ちながら,ベースラインを向上する。 さらに,我々の潜伏型定式化は自然にモノクロビデオに拡張され,時間とともに構造化された動的3Dシーンが再構成される。 LucidLyraは3Dシーン編集、3Dアセットマイニング、ロボットシミュレーションなどの下流アプリケーションを実現する。

関連論文リスト

• Unified Semantic Transformer for 3D Scene Understanding [55.415468022487005]
  我々は、単一のモデル内に多様な3Dセマンティックタスクを統一する新しいフィードフォワードニューラルネットワークUNITEを紹介する。 我々のモデルは、完全なエンドツーエンドで見えないシーンで動作し、完全な3Dセマンティックジオメトリを推測するのにほんの数秒しかかからない。 UNITEはいくつかの異なる意味的タスクにおいて最先端のパフォーマンスを達成し、タスク固有のモデルよりも優れていることを実証する。
  論文  参考訳（メタデータ） (2025-12-16T12:49:35Z)
• Lyra: Generative 3D Scene Reconstruction via Video Diffusion Model Self-Distillation [87.91642226587294]
  現在の学習に基づく3D再構成手法は、キャプチャーされた実世界のマルチビューデータに頼っている。 本稿では,ビデオ拡散モデルにおける暗黙的な3次元知識を,明示的な3次元ガウススプラッティング(3DGS)表現に蒸留する自己蒸留フレームワークを提案する。 本フレームワークは静的・動的3次元シーン生成における最先端性能を実現する。
  論文  参考訳（メタデータ） (2025-09-23T17:58:01Z)
• UniForward: Unified 3D Scene and Semantic Field Reconstruction via Feed-Forward Gaussian Splatting from Only Sparse-View Images [43.40816438003861]
  本稿では,3次元シーンとセマンティックフィールドの再構成を統一したフィードフォワードモデルを提案する。 我々のUniForwardは、スパースビュー画像のみから、3Dシーンと対応するセマンティックフィールドをリアルタイムで再構築することができる。 新規なビュー合成と新規なビューセグメンテーションの実験により,本手法が最先端の性能を達成することを示す。
  論文  参考訳（メタデータ） (2025-06-11T04:01:21Z)
• Enhancing Monocular 3D Scene Completion with Diffusion Model [20.81599069390756]
  3Dシーンの再構築は、仮想現実、ロボティクス、自動運転の応用に不可欠である。 従来の3Dガウススプラッティング技術は、最適な性能を達成するために複数の視点から撮影された画像に依存している。 1枚の画像から完全な3Dシーンを再構築するための新しいアプローチであるFlashDreamerを紹介する。
  論文  参考訳（メタデータ） (2025-03-02T04:36:57Z)
• Wonderland: Navigating 3D Scenes from a Single Image [43.99037613068823]
  本研究では,映像拡散モデルからの潜伏分を利用した大規模再構成モデルを導入し,映像の3次元ガウススプラッティングをフィードフォワードで予測する。 プログレッシブ・ラーニング・ストラテジーを用いて3次元再構成モデルをトレーニングし,高品質でワイドスコープ,ジェネリックな3次元シーンの効率的な生成を可能にする。
  論文  参考訳（メタデータ） (2024-12-16T18:58:17Z)
• Denoising Diffusion via Image-Based Rendering [54.20828696348574]
  実世界の3Dシーンの高速かつ詳細な再構築と生成を可能にする最初の拡散モデルを提案する。 まず、大きな3Dシーンを効率よく正確に表現できる新しいニューラルシーン表現であるIBプレーンを導入する。 第二に,2次元画像のみを用いて,この新たな3次元シーン表現の事前学習を行うためのデノイング拡散フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-05T19:00:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。