論文の概要: TRON: Tracing Rays to Orchestrate a Neural Renderer for 3D Gaussian Reconstructions

• arxiv url: http://arxiv.org/abs/2606.11314v1
• Date: Tue, 09 Jun 2026 18:01:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-11 16:42:38.122082
• Title: TRON: Tracing Rays to Orchestrate a Neural Renderer for 3D Gaussian Reconstructions
• Title（参考訳）: TRON:3Dガウス再構成のためのニューラルレンダラーの撮影
• Authors: Or Perel, Hassan Abu Alhaija, Zian Wang, Jacob Munkberg, Matan Atzmon, Sanja Fidler, Masha Shugrina,
• Abstract要約: TRONは、3Dガウス線トレーシングとニューラルレンダリングを組み合わせたレンダリングフレームワークで、新しい照明、ダイナミックオブジェクトの動き、オブジェクト挿入、およびマテリアル編集の下で現実世界の3Dシーンの現実的で制御可能なレンダリングを可能にする。 実世界のシナリオをサポートするために,我々は,3次元再構成から合成および実世界のフレームを合成したデータセット2.1Mで,大規模プレトレーニングとターゲットファインタニングからなる多段階戦略でニューラルネットワークを訓練する。
• 参考スコア（独自算出の注目度）: 48.07441815529429
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce TRON, a rendering framework that combines 3D Gaussian ray tracing with neural rendering to enable realistic and controllable rendering of real-world 3D scenes under novel lighting, dynamic object motion, object insertion, and material editing. Prior approaches that rely solely on physically based rendering (PBR) of Gaussian representations struggle to achieve realistic relighting due to imperfections in reconstructed geometry, material estimates, and light transport estimation. At the same time, neural rendering methods often lack an explicit scene representation, limiting their ability to support interactive editing with fine-grained manipulation. TRON bridges these two paradigms. We use intrinsic decomposition priors from a learned inverse rendering model to regularize the material properties of a Gaussian field, and repurpose a ray tracer to provide radiometric guidance rather than final pixels. By treating this output as a structured 3D scaffold, we empower a lightweight neural renderer to bridge the domain gap between shading-model constrained estimates and photorealistic output. Our key insight is that the combination of explicit 3D knowledge with robust material priors provides speed and controllability, while neural rendering enables the synthesis of photorealistic images. To support real-world scenarios, we train our neural renderer with a multi-stage strategy consisting of large-scale pretraining and targeted fine-tuning on a newly constructed dataset of 2.1M rendered synthetic and real-world frames from 3D reconstructions. TRON outperforms Gaussian-based relighting methods in realism, and prior neural renderers in editability and speed. To the best of our knowledge, TRON is the first method to enable practical interactive applications in captured 3D environments, offering realistic appearance under dynamic geometric, lighting and material conditions.
• Abstract（参考訳）: 我々は、3Dガウス線トレーシングとニューラルレンダリングを組み合わせたレンダリングフレームワークであるTRONを導入し、新しい照明、動的物体の動き、物体挿入、物質編集の現実的かつ制御可能な3Dシーンのレンダリングを可能にする。 ガウス表現の物理ベースレンダリング(PBR)にのみ依存する以前のアプローチは、再構成された幾何学、材料推定、光輸送推定の不完全性によって現実的な照準を達成するのに苦労した。 同時に、ニューラルレンダリング手法は明示的なシーン表現を欠くことが多く、微粒な操作でインタラクティブな編集をサポートする能力を制限している。 TRONはこの2つのパラダイムをブリッジする。 我々は、学習した逆レンダリングモデルから固有の分解先行値を用いてガウス場の材料特性を正則化し、最終画素ではなくレイトレーサを用いて放射能誘導を行う。 この出力を構造化された3次元足場として扱うことにより、軽量なニューラルレンダラーがシェーディングモデル制約推定値とフォトリアリスティック出力との領域ギャップを埋めることを可能にする。 私たちの重要な洞察は、3Dの明示的な知識と頑健な素材の事前知識を組み合わせることで、スピードと制御性が向上し、ニューラルレンダリングはフォトリアリスティックな画像の合成を可能にします。 実世界のシナリオをサポートするために,我々は,2.1Mレンダリングされた合成および実世界のフレームを3次元再構成から構築したデータセットに基づいて,大規模プレトレーニングとターゲット微調整からなる多段階戦略でニューラルレンダラーを訓練する。 TRONは、現実主義においてガウスベースのリライト法、編集性とスピードにおいて以前のニューラルレンダラーよりも優れている。 我々の知る限り、TRONは捕獲された3D環境における実用的なインタラクティブなアプリケーションを実現するための最初の方法であり、動的幾何学的、照明的、物質的条件下で現実的な外観を提供する。

関連論文リスト

• MatSpray: Fusing 2D Material World Knowledge on 3D Geometry [7.4570191712029965]
  本稿では,新しい学習手法と投影手法を組み合わせた3次元形状に2次元素材データを融合する枠組みを提案する。 その結果,提案手法は,定量的メトリクスと知覚的視覚リアリズムの両方において,既存の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2025-12-20T10:58:45Z)
• R3D2: Realistic 3D Asset Insertion via Diffusion for Autonomous Driving Simulation [78.26308457952636]
  本稿では,自律運転シミュレーションの限界を克服する軽量な1ステップ拡散モデルであるR3D2を紹介する。 シャドウや一貫した照明など、妥当なレンダリング効果を生み出すことで、既存のシーンに完全な3Dアセットを現実的に挿入することができる。 R3D2は挿入されたアセットの現実性を大幅に向上させ,テキストから3Dへのアセット挿入やクロスシーン/データセットオブジェクト転送といったユースケースを可能にした。
  論文  参考訳（メタデータ） (2025-06-09T14:50:19Z)
• EndoPBR: Material and Lighting Estimation for Photorealistic Surgical Simulations via Physically-based Rendering [1.03590082373586]
  手術シーンにおける3次元視覚におけるラベル付きデータセットの欠如は、堅牢な3次元再構成アルゴリズムの開発を阻害する。 内視鏡画像と既知の幾何から物質と照明を推定するための微分可能なレンダリングフレームワークを提案する。 レンダリング方程式で色予測を基底にすることにより、任意のカメラポーズでフォトリアリスティックな画像を生成することができる。
  論文  参考訳（メタデータ） (2025-02-28T02:50:59Z)
• BEAM: Bridging Physically-based Rendering and Gaussian Modeling for Relightable Volumetric Video [58.97416204208624]
  BEAMは、4Dガウス表現を物理ベースレンダリング(PBR)でブリッジし、高品質でライティング可能なビデオを生成する新しいパイプラインである。 BEAMは、様々な照明条件下で現実的な人生のような可視化を提供することで、インタラクティブなエンターテイメント、ストーリーテリング、クリエイティブな可視化の新しい可能性を開く。
  論文  参考訳（メタデータ） (2025-02-12T10:58:09Z)
• EnvGS: Modeling View-Dependent Appearance with Environment Gaussian [78.74634059559891]
  EnvGSは、環境の反射を捉えるための明示的な3D表現として、ガウスプリミティブのセットを利用する新しいアプローチである。 これらの環境を効率的にレンダリングするために,高速レンダリングにGPUのRTコアを利用するレイトレーシングベースのリフレクションを開発した。 複数の実世界および合成データセットから得られた結果は,本手法がより詳細な反射を生成することを示す。
  論文  参考訳（メタデータ） (2024-12-19T18:59:57Z)
• BiGS: Bidirectional Gaussian Primitives for Relightable 3D Gaussian Splatting [10.918133974256913]
  本稿では、画像に基づく新規ビュー合成技術である双方向ガウスプリミティブについて述べる。 提案手法はガウススプラッティングフレームワークに光の内在分解を取り入れ,3次元物体のリアルタイムリライティングを可能にする。
  論文  参考訳（メタデータ） (2024-08-23T21:04:40Z)
• Learning Indoor Inverse Rendering with 3D Spatially-Varying Lighting [149.1673041605155]
  1枚の画像からアルベド, 正常, 深さ, 3次元の空間的変化を共同で推定する問題に対処する。 既存のほとんどの方法は、シーンの3D特性を無視して、画像から画像への変換としてタスクを定式化する。 本研究では3次元空間変動照明を定式化する統合学習ベースの逆フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-13T15:29:03Z)
• Intrinsic Autoencoders for Joint Neural Rendering and Intrinsic Image Decomposition [67.9464567157846]
  合成3Dモデルからリアルな画像を生成するためのオートエンコーダを提案し,同時に実像を本質的な形状と外観特性に分解する。 実験により, レンダリングと分解の併用処理が有益であることが確認され, 画像から画像への翻訳の質的, 定量的なベースラインよりも優れた結果が得られた。
  論文  参考訳（メタデータ） (2020-06-29T12:53:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。