論文の概要: RenderFormer: Transformer-based Neural Rendering of Triangle Meshes with Global Illumination

• arxiv url: http://arxiv.org/abs/2505.21925v1
• Date: Wed, 28 May 2025 03:20:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-29 17:35:50.391153
• Title: RenderFormer: Transformer-based Neural Rendering of Triangle Meshes with Global Illumination
• Title（参考訳）: RenderFormer: グローバルイルミネーションによる三角形メッシュのトランスフォーマーベースニューラルレンダリング
• Authors: Chong Zeng, Yue Dong, Pieter Peers, Hongzhi Wu, Xin Tong,
• Abstract要約: 我々は、シーンの三角形に基づく表現から直接画像をレンダリングするニューラルネットワークレンダリングパイプラインであるRenderFormerを紹介する。 レンダリングに物理中心のアプローチを取るのではなく、シーケンスからシーケンスへの変換としてレンダリングを定式化する。 形状や光輸送の複雑さの異なるシーンでRenderFormerを実演し,評価した。
• 参考スコア（独自算出の注目度）: 16.879350188300023
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present RenderFormer, a neural rendering pipeline that directly renders an image from a triangle-based representation of a scene with full global illumination effects and that does not require per-scene training or fine-tuning. Instead of taking a physics-centric approach to rendering, we formulate rendering as a sequence-to-sequence transformation where a sequence of tokens representing triangles with reflectance properties is converted to a sequence of output tokens representing small patches of pixels. RenderFormer follows a two stage pipeline: a view-independent stage that models triangle-to-triangle light transport, and a view-dependent stage that transforms a token representing a bundle of rays to the corresponding pixel values guided by the triangle-sequence from the view-independent stage. Both stages are based on the transformer architecture and are learned with minimal prior constraints. We demonstrate and evaluate RenderFormer on scenes with varying complexity in shape and light transport.
• Abstract（参考訳）: 我々はRenderFormerについて紹介する。RenderFormerは、全地球的な照明効果を持つシーンの三角形ベースの表現から直接画像をレンダリングするニューラルネットワークで、シーンごとのトレーニングや微調整を必要としない。 レンダリングに物理中心のアプローチを採用する代わりに、レンダリングをシーケンス・ツー・シーケンス変換として定式化し、反射特性を持つ三角形を表すトークンの列をピクセルの小さなパッチを表す出力トークンの列に変換する。 RenderFormerは2つのステージパイプラインに従う: 三角形から三角形までの光輸送をモデル化するビュー独立ステージと、光束を表すトークンをビュー独立ステージから三角形系列によって導かれる対応するピクセル値に変換するビュー依存ステージである。 どちらの段階もトランスフォーマーアーキテクチャに基づいており、最小限の事前制約で学習される。 形状や光輸送の複雑さの異なるシーンでRenderFormerを実演し,評価した。

関連論文リスト

• Is Attention All NeRF Needs? [103.51023982774599]
  Generalizable NeRF Transformer (GNT) は、ソースビューから高速にNeRF(Neural Radiance Fields)を効率的に再構築する、純粋で統一されたトランスフォーマーベースのアーキテクチャである。 GNTは、2つのトランスフォーマーベースのステージをカプセル化することにより、一般化可能なニューラルシーン表現とレンダリングを実現する。
  論文  参考訳（メタデータ） (2022-07-27T05:09:54Z)
• Vision Transformer for NeRF-Based View Synthesis from a Single Input Image [49.956005709863355]
  本稿では,グローバルな特徴と局所的な特徴を両立させ,表現力のある3D表現を実現することを提案する。 新たなビューを合成するために,学習した3次元表現に条件付き多層パーセプトロン(MLP)ネットワークを訓練し,ボリュームレンダリングを行う。 提案手法は,1つの入力画像のみから新しいビューを描画し,複数のオブジェクトカテゴリを1つのモデルで一般化することができる。
  論文  参考訳（メタデータ） (2022-07-12T17:52:04Z)
• Scene Representation Transformer: Geometry-Free Novel View Synthesis Through Set-Latent Scene Representations [48.05445941939446]
  コンピュータビジョンにおける古典的な問題は、インタラクティブなレートで新しいビューを描画するのに使用できる少数の画像から3Dシーン表現を推論することである。 SRT(Scene Representation Transformer)は,新しい領域のRGB画像のポーズ処理やアンポーズ処理を行う手法である。 本手法は,PSNRおよび合成データセットの速度において,最近のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-11-25T16:18:56Z)
• Extracting Triangular 3D Models, Materials, and Lighting From Images [59.33666140713829]
  多視点画像観測による材料と照明の協調最適化手法を提案する。 従来のグラフィックスエンジンにデプロイ可能な,空間的に変化する材料と環境を備えたメッシュを活用します。
  論文  参考訳（メタデータ） (2021-11-24T13:58:20Z)
• Light Field Networks: Neural Scene Representations with Single-Evaluation Rendering [60.02806355570514]
  2次元観察から3Dシーンの表現を推定することは、コンピュータグラフィックス、コンピュータビジョン、人工知能の基本的な問題である。 そこで我々は,360度4次元光場における基礎となる3次元シーンの形状と外観の両面を表現した新しいニューラルシーン表現,光場ネットワーク(LFN)を提案する。 LFNからレイをレンダリングするには*single*ネットワークの評価しか必要としない。
  論文  参考訳（メタデータ） (2021-06-04T17:54:49Z)
• Equivariant Neural Rendering [22.95150913645939]
  本稿では,3次元の監督なしに画像から直接ニューラルシーン表現を学習するためのフレームワークを提案する。 我々の重要な洞察は、学習された表現が本物の3Dシーンのように変換されることを保証することで、3D構造を課すことである。 私たちの定式化によって、推論に数分を要するモデルに匹敵する結果を得ながら、リアルタイムでシーンを推測および描画することが可能になります。
  論文  参考訳（メタデータ） (2020-06-13T12:25:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。