論文の概要: RenderFormer-V2: Neural Rendering with Heterogeneous Scene Primitives
- arxiv url: http://arxiv.org/abs/2609.05738v1
- Date: Fri, 04 Sep 2026 21:39:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:08.126339
- Title: RenderFormer-V2: Neural Rendering with Heterogeneous Scene Primitives
- Title（参考訳）: RenderFormer-V2: 異種シーンプリミティブを用いたニューラルレンダリング
- Abstract要約: RenderFormer-V2は、学習したトランスフォーマーベースのニューラルレンダリングモデルである。
シーンごとのトレーニングや特別なコードなしで、様々な光輸送効果を処理できる。
- 参考スコア（独自算出の注目度）: 31.912941448426295
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present 'RenderFormer-V2', a unified learned transformer-based neural rendering model, complementary to modern physics-based rendering systems, that can handle diverse light-transport effects such as caustics, volumetric scattering, environment lighting, textured and displaced surfaces and out-of-distribution materials without per-scene training or specialized code. RenderFormer-V2 models global light transport as a sequence-to-sequence transformation. Following its predecessor, RenderFormer-V2 also employs a two stage process: a view-independent stage that resolves intra-scene primitive to primitive transport, and a view-dependent stage that transforms the internal neural scene representation into image pixels. Different from RenderFormer, our model employs a novel combined windowed-attention and rendering-informed attention sink in the view-independent stage to improve scalability while maintaining render accuracy. To further improve versatility, RenderFormerV2 supports heterogeneous scene primitives, including environment maps and participating media, and it employs a material encoding independent of the underlying surface reflectance model that encodes material appearance via a novel neural embedding. We demonstrate the versatility of RenderFormer-V2 on a variety of scenes and perform an extensive ablation of the improved attention mechanism.
- Abstract（参考訳）: 本稿では,現代物理学を基盤としたニューラルネットワークモデルであるRenderFormer-V2を提案する。因果性,体積散乱,環境照明,テクスチャや変位面,配布外物質など,さまざまな光輸送効果を,シーンごとのトレーニングや特別なコードなしで処理できる。
RenderFormer-V2はシーケンス・ツー・シーケンス変換としてグローバル光輸送をモデル化する。
前者に続いてRenderFormer-V2では、シーン内プリミティブをプリミティブトランスポートに解決するビュー非依存ステージと、内部の神経シーン表現をイメージピクセルに変換するビュー依存ステージという、2段階のプロセスも採用している。
RenderFormerと異なり、レンダリング精度を維持しながらスケーラビリティを向上させるために、ビュー非依存の段階でウィンドウアテンションとレンダリングインフォームされたアテンションシンクを組み合わせた新しいモデルを採用している。
汎用性をさらに向上するため、RenderFormerV2は環境マップや参加メディアを含む異種シーンプリミティブをサポートし、基盤となる表面反射モデルとは独立して物質をコードし、新しいニューラル埋め込みを通じて素材の外観を符号化する。
様々な場面でRenderFormer-V2の汎用性を実証し、改良されたアテンション機構の広範囲なアブレーションを行う。
関連論文リスト
- RenderFormer: Transformer-based Neural Rendering of Triangle Meshes with Global Illumination [16.879350188300023]
我々は、シーンの三角形に基づく表現から直接画像をレンダリングするニューラルネットワークレンダリングパイプラインであるRenderFormerを紹介する。
レンダリングに物理中心のアプローチを取るのではなく、シーケンスからシーケンスへの変換としてレンダリングを定式化する。
形状や光輸送の複雑さの異なるシーンでRenderFormerを実演し,評価した。
論文 参考訳（メタデータ） (2025-05-28T03:20:46Z) - DiffusionRenderer: Neural Inverse and Forward Rendering with Video Diffusion Models [83.28670336340608]
逆レンダリングとフォワードレンダリングの二重問題に対処するニューラルアプローチであるDiffusionRendererを導入する。
本モデルは,リライティング,素材編集,現実的なオブジェクト挿入など,単一のビデオ入力から現実的な応用を可能にする。
論文 参考訳（メタデータ） (2025-01-30T18:59:11Z) - Dynamic Scene Understanding through Object-Centric Voxelization and Neural Rendering [57.895846642868904]
オブジェクト中心学習が可能な動的シーンのための3次元生成モデルDynaVol-Sを提案する。
ボキセル化は、個々の空間的位置において、物体ごとの占有確率を推定する。
提案手法は2次元セマンティックな特徴を統合して3次元セマンティック・グリッドを作成し,複数の不整合ボクセル・グリッドを通してシーンを表現する。
論文 参考訳（メタデータ） (2024-07-30T15:33:58Z) - Evolutive Rendering Models [91.99498492855187]
我々は、レンダリングプロセスを通して、動的に進化し適応する能力を持つレンダリングモデルである、テクスタイトボリューティブレンダリングモデルを提案する。
特に,3つの主要レンダリング要素の最適化を可能にする総合的な学習フレームワークを提案する。
安定な目標指向要素の進化を促進するために, 勾配特性の詳細な解析を行う。
論文 参考訳（メタデータ） (2024-05-27T17:40:00Z) - Inverse Rendering of Translucent Objects using Physical and Neural
Renderers [13.706425832518093]
本研究では,半透明物体の1対の撮像画像のみから3次元形状,空間的反射率,均質散乱パラメータ,環境照度を推定する逆モデルを提案する。
2つの再構成は微分可能であるため、パラメータ推定を補助するために再構成損失を計算することができる。
我々は117Kシーンからなる半透明物体の大規模合成データセットを構築した。
論文 参考訳（メタデータ） (2023-05-15T04:03:11Z) - ENVIDR: Implicit Differentiable Renderer with Neural Environment
Lighting [9.145875902703345]
ENVIDRは、高精細な反射を伴う表面の高精細なレンダリングと再構成のためのレンダリングとモデリングのためのフレームワークである。
まず、表面光と環境光の相互作用を学習するために、分解レンダリングを用いた新しいニューラルネットワークを提案する。
次に、この学習されたニューラルサーフェスを利用して一般的なシーンを表現するSDFベースのニューラルサーフェスモデルを提案する。
論文 参考訳（メタデータ） (2023-03-23T04:12:07Z) - Multiscale Tensor Decomposition and Rendering Equation Encoding for View
Synthesis [7.680742911100444]
ニューラルレイディアンス特徴場(NRFF)と呼ばれる新しいアプローチを提案する。
NRFFは、NeRFデータセットとNSVFデータセットの両方でPSNRの1dB以上のレンダリング結果を改善する。
論文 参考訳（メタデータ） (2023-03-07T11:21:50Z) - Human Performance Modeling and Rendering via Neural Animated Mesh [40.25449482006199]
従来のメッシュをニューラルレンダリングの新たなクラスでブリッジします。
本稿では,映像から人間の視点をレンダリングする新しい手法を提案する。
我々は、ARヘッドセットにバーチャルヒューマンパフォーマンスを挿入して、さまざまなプラットフォーム上でのアプローチを実証する。
論文 参考訳（メタデータ） (2022-09-18T03:58:00Z) - Is Attention All NeRF Needs? [103.51023982774599]
Generalizable NeRF Transformer (GNT) は、ソースビューから高速にNeRF(Neural Radiance Fields)を効率的に再構築する、純粋で統一されたトランスフォーマーベースのアーキテクチャである。
GNTは、2つのトランスフォーマーベースのステージをカプセル化することにより、一般化可能なニューラルシーン表現とレンダリングを実現する。
論文 参考訳（メタデータ） (2022-07-27T05:09:54Z) - IBRNet: Learning Multi-View Image-Based Rendering [67.15887251196894]
本稿では,近接ビューの疎集合を補間することにより,複雑なシーンの新しいビューを合成する手法を提案する。
レンダリング時にソースビューを描画することで、画像ベースのレンダリングに関する古典的な作業に戻ります。
論文 参考訳（メタデータ） (2021-02-25T18:56:21Z) - Neural Human Video Rendering by Learning Dynamic Textures and
Rendering-to-Video Translation [99.64565200170897]
本研究では,2次元スクリーン空間に人体を埋め込むことで,時間的コヒーレントな微細な細部を学習することで,人間の映像合成手法を提案する。
我々は,人間の再現やモノクロ映像からの新たなビュー合成などのアプローチの適用例を示し,質的にも定量的にも,芸術の状態を著しく改善した。
論文 参考訳（メタデータ） (2020-01-14T18:06:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。