論文の概要: NeuralSRender: G-Buffer Guided Video Diffusion for Sim-to-Real Rendering

• arxiv url: http://arxiv.org/abs/2610.29200v1
• Date: Wed, 21 Oct 2026 04:45:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.208175
• Title: NeuralSRender: G-Buffer Guided Video Diffusion for Sim-to-Real Rendering
• Title（参考訳）: NeuralSRender:Sim-to-RealレンダリングのためのGバッファガイド付きビデオ拡散
• Abstract要約: 本稿では,合成ビデオの光写実性を高めつつ,音源との幾何的整合性を保ちながら,映像の光写実性を高める枠組みを提案する。 事前訓練されたビデオ拡散変換器(DiT)上に構築されたNeuralSRenderは、Gバッファから幾何学的および物質的先行物を注入するために軽量プロジェクタを使用する。 実験は、競合する幾何整合性を持つ改良されたフォトリアリズムを示す。
• 参考スコア（独自算出の注目度）: 10.111420725789566
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The scarcity of high-quality annotated visual data remains a critical bottleneck for autonomous-driving perception. Simulators provide training data at scale, but the limited realism of synthetic videos compromises perception performance in real-world applications. To address this limitation, we propose NeuralSRender, a sim-to-real video translation framework that enhances the photorealism of synthetic videos while maintaining geometric consistency with the source scenes. Built on a pretrained video diffusion transformer (DiT), NeuralSRender uses a lightweight projector to inject geometric and material priors from G-buffers, and LoRA enables parameter-efficient adaptation. The model is trained in two stages: it first learns G-buffer conditioning from synthetic videos with accurate G-buffers, then adapts to real-world appearance using real videos with estimated G-buffers. During the second stage, an additional LoRA module is trained while the projector and first-stage LoRA remain frozen to reduce interference from estimation noise. NeuralSRender introduces only 1.45\% parameter overhead and can be trained on consumer-grade GPUs with 24 GB of memory. To support training and evaluation, we introduce GenReal, a large-scale driving video dataset comprising synthetic and real-world videos with corresponding G-buffers. Experiments demonstrate improved photorealism with competitive geometric consistency. Training perception models on our translated videos instead of raw simulator renders improves detection $\mathrm{AP}_{50}$ on nuImages from 35.1 to 40.6 and segmentation mIoU on Cityscapes from 32.4 to 40.8. Our code, data, and model weights are available at: https://github.com/WHU-USI3DV/NeuralSRender.
• Abstract（参考訳）: 高品質な注釈付き視覚データの不足は、自動運転の認識にとって重要なボトルネックである。 シミュレーションは大規模なトレーニングデータを提供するが、合成ビデオの制限されたリアリズムは、現実世界のアプリケーションにおける知覚性能を損なう。 この制限に対処するために,合成ビデオの光写実性を高めつつ,ソースシーンとの幾何的整合性を維持したシミュレート・トゥ・リアルなビデオ翻訳フレームワークであるNeuralSRenderを提案する。 事前訓練されたビデオ拡散変換器(DiT)上に構築されたNeuralSRenderは、Gバッファから幾何学的および物質的先行を注入するために軽量プロジェクタを使用し、LoRAはパラメータ効率のよい適応を可能にする。 モデルは、まず正確なGバッファを持つ合成ビデオからGバッファ条件を学習し、次に推定Gバッファを持つ実ビデオを使用して現実世界の外観に適応する。 第2段階では、追加のLoRAモジュールが訓練され、プロジェクターと第1段のLoRAは、推定ノイズからの干渉を減らすために凍結されている。 NeuralSRenderは1.45\%のパラメータオーバーヘッドしか導入せず、24GBのメモリを持つコンシューマグレードのGPUでトレーニングすることができる。 トレーニングと評価を支援するため,Gバッファを備えた実世界の映像を合成した大規模ドライビングビデオデータセットであるGenRealを紹介した。 実験は、競合する幾何整合性を持つ改良されたフォトリアリズムを示す。 生のシミュレータの代わりに翻訳ビデオの知覚モデルをトレーニングすることで, nu Images の 35.1 から 40.6 に $\mathrm{AP}_{50}$ を検出し, Cityscapes の mIoU を 32.4 から 40.8 に分割する。 私たちのコード、データ、モデルウェイトは、https://github.com/WHU-USI3DV/NeuralSRender.comで利用可能です。

関連論文リスト

• RoboRender: Robot-Oriented Video Generation for Visual Sim-to-Real Transfer [35.95528906141269]
  RoboRenderは、シミュレーションされた軌跡を、ポリシー学習のためのフォトリアリスティックなRGBビデオに変換するフレームワークである。 RoboRenderの生成したデータに基づいてトレーニングされたポリシーは、平均的な成功率を71%達成し、生のシミュレーションレンダリングを上回っている。 これらの結果は、生成ビデオレンダリングは、ゼロショットポリシー転送のための視覚的シミュレートと現実的なギャップを緩和することを示している。
  論文  参考訳（メタデータ） (2026-10-07T00:39:56Z)
• Physics-Grounded Fluid Video Generation with a Simulation Dataset and Dual-Stream Optical-Flow Supervision [78.04385989413382]
  ビデオ拡散モデルは視覚的に魅力的な内容を生成するが、流体にまつわる基礎物理学に規則的に違反する。 我々は1,638MPMを模擬した注水/スロッシングビデオと2,320のキーワードフィルターによる実注水ビデオを組み合わせた物理シミュレーション流体データセットを構築した。 予め訓練された拡散フィルタビデオジェネレータ上に構築されたデュアルストリーム映像合成アーキテクチャを提案する。
  論文  参考訳（メタデータ） (2026-07-28T06:13:18Z)
• LightCrafter: PBR-Conditioned Video Diffusion Refinement for Controllable and Consistent Relighting [40.05860097816268]
  LightCrafterはハイブリッドパイプラインで、プロキシビデオの動画翻訳としてビデオのリライティングを改良する。 入力ビデオを直接ターゲットに翻訳するのではなく、ターゲット照明下での入力のレンダリングを最終ターゲットに翻訳する。 PBRレンダリングは、すでにいくつかの先行技術より優れていますが、グローバル照明のような効果に苦戦しています。
  論文  参考訳（メタデータ） (2026-07-09T00:44:43Z)
• BRDFusion: Physics Meets Generation for Urban Scene Inverse Rendering [6.454961474516282]
  キャプチャービデオからの都市シーンの逆レンダリングは、コンテンツ作成や自律運転シミュレーションなど、多数のアプリケーションを可能にする。 本稿では,逆レンダリングと前方レンダリングの2つの補完モデルを組み合わせた統合フレームワークであるBRDFusionを提案する。
  論文  参考訳（メタデータ） (2026-06-15T17:58:31Z)
• Prompt2Effect: Training-Free Image-to-Video Model Specialization via LoRA Generation [71.45435100897093]
  Prompt2Effectは、効果特異的なLoRA重みを1つの前方通過で直接合成することにより、効果ごとのトレーニングを改善できる、重量駆動型ハイパーネットワークである。 Prompt2Effect は従来の LoRA ファインタニングと比較してビデオ品質や効果アライメントに優れることを示した。
  論文  参考訳（メタデータ） (2026-06-11T23:26:44Z)
• TC-Light: Temporally Coherent Generative Rendering for Realistic World Transfer [47.22201704648345]
  照明とテクスチャ編集はワールド・トゥ・ワールド・トランスファーにとって重要な次元である。 既存の技術は、ビデオのリライティングモデルや条件付き世界生成モデルなどのトランスファーを実現するために、入力ビデオを生成的に再レンダリングする。 我々はこれらの問題を克服するための新しい生成計算であるTC-Lightを提案する。
  論文  参考訳（メタデータ） (2025-06-23T17:59:58Z)
• DiffusionRenderer: Neural Inverse and Forward Rendering with Video Diffusion Models [83.28670336340608]
  逆レンダリングとフォワードレンダリングの二重問題に対処するニューラルアプローチであるDiffusionRendererを導入する。 本モデルは,リライティング,素材編集,現実的なオブジェクト挿入など,単一のビデオ入力から現実的な応用を可能にする。
  論文  参考訳（メタデータ） (2025-01-30T18:59:11Z)
• Learning Dynamic View Synthesis With Few RGBD Cameras [60.36357774688289]
  本稿では,RGBDカメラを用いて動的屋内シーンのフリー視点映像を合成することを提案する。 我々は、RGBDフレームから点雲を生成し、それをニューラル機能を介して、自由視点ビデオにレンダリングする。 そこで本研究では,未完成の深度を適応的に塗布して新規なビューを描画する,シンプルなRegional Depth-Inpaintingモジュールを提案する。
  論文  参考訳（メタデータ） (2022-04-22T03:17:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。