論文の概要: ReTR: Modeling Rendering Via Transformer for Generalizable Neural Surface Reconstruction

• arxiv url: http://arxiv.org/abs/2305.18832v2
• Date: Thu, 2 Nov 2023 08:55:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-03 17:33:34.040365
• Title: ReTR: Modeling Rendering Via Transformer for Generalizable Neural Surface Reconstruction
• Title（参考訳）: retr: 汎用的な神経表面再構成のためのトランスフォーマーによるモデリングレンダリング
• Authors: Yixun Liang, Hao He, Ying-cong Chen
• Abstract要約: レコンストラクションTRansformer (ReTR) は、トランスフォーマーアーキテクチャをレンダリングプロセスに活用する新しいフレームワークである。 色空間ではなく高次元の特徴空間内で操作することで、ReTRはソースビューの投影色に対する感度を緩和する。
• 参考スコア（独自算出の注目度）: 24.596408773471477
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generalizable neural surface reconstruction techniques have attracted great attention in recent years. However, they encounter limitations of low confidence depth distribution and inaccurate surface reasoning due to the oversimplified volume rendering process employed. In this paper, we present Reconstruction TRansformer (ReTR), a novel framework that leverages the transformer architecture to redesign the rendering process, enabling complex render interaction modeling. It introduces a learnable $\textit{meta-ray token}$ and utilizes the cross-attention mechanism to simulate the interaction of rendering process with sampled points and render the observed color. Meanwhile, by operating within a high-dimensional feature space rather than the color space, ReTR mitigates sensitivity to projected colors in source views. Such improvements result in accurate surface assessment with high confidence. We demonstrate the effectiveness of our approach on various datasets, showcasing how our method outperforms the current state-of-the-art approaches in terms of reconstruction quality and generalization ability. $\textit{Our code is available at }$ https://github.com/YixunLiang/ReTR.
• Abstract（参考訳）: 近年,一般化可能な神経表面再構成技術が注目されている。 しかし, 過度に単純化されたボリュームレンダリングプロセスにより, 低信頼度分布と不正確な表面推論の限界に遭遇する。 本稿では,レコンストラクタアーキテクチャを利用してレンダリングプロセスを再設計し,複雑なレンダリングインタラクションモデリングを可能にする新しいフレームワークであるReコンストラクタTRansformer(ReTR)を提案する。 学習可能な$\textit{meta-ray token}$を導入し、クロスアテンションメカニズムを使用して、レンダリングプロセスとサンプルポイントとの相互作用をシミュレートし、観察された色を描画する。 一方、色空間ではなく高次元の特徴空間内で操作することで、ReTRはソースビューの投影色に対する感度を緩和する。 このような改善は、信頼性の高い正確な表面評価をもたらす。 本手法は,様々なデータセット上での手法の有効性を実証し,再構築品質と一般化能力の観点から,現状のアプローチをいかに上回るかを示す。 $\textit{Our code are available at }$ https://github.com/YixunLiang/ReTR。

関連論文リスト

• REFRAME: Reflective Surface Real-Time Rendering for Mobile Devices [51.983541908241726]
  本研究は,様々な場面にまたがる反射面に対して,リアルタイムな新規ビュー合成を実現するための課題に取り組む。 既存のリアルタイムレンダリング手法、特にメッシュに基づくレンダリングは、リッチなビュー依存の外観を持つモデリングサーフェスにおいて、サブパーパフォーマンスを持つことが多い。 色を拡散およびスペクトルに分解し、ニューラル環境マップに基づいて反射方向のスペクトル色をモデル化する。
  論文  参考訳（メタデータ） (2024-03-25T07:07:50Z)
• DNS SLAM: Dense Neural Semantic-Informed SLAM [92.39687553022605]
  DNS SLAMは、ハイブリッド表現を備えた新しいRGB-DセマンティックSLAMアプローチである。 本手法は画像に基づく特徴抽出と多視点幾何制約を統合し,外観の細部を改良する。 実験により, 合成データと実世界のデータ追跡の両面において, 最先端の性能が得られた。
  論文  参考訳（メタデータ） (2023-11-30T21:34:44Z)
• Indoor Scene Reconstruction with Fine-Grained Details Using Hybrid Representation and Normal Prior Enhancement [50.56517624931987]
  多視点RGB画像からの室内シーンの再構成は、平坦領域とテクスチャレス領域の共存により困難である。 近年の手法では、予測された表面正規化によって支援されたニューラルラジアンス場を利用してシーン形状を復元している。 本研究は, 上記の制限に対処して, 高忠実度表面を細かな詳細で再構築することを目的とする。
  論文  参考訳（メタデータ） (2023-09-14T12:05:29Z)
• NeuS-PIR: Learning Relightable Neural Surface using Pre-Integrated Rendering [23.482941494283978]
  本稿では,マルチビュー画像やビデオから可照性神経表面を復元するNeuS-PIR法を提案する。 NeRFや離散メッシュに基づく手法とは異なり,提案手法は暗黙のニューラルサーフェス表現を用いて高品質な幾何学を再構築する。 本手法は,現代のグラフィックスエンジンとシームレスに統合可能なリライトなどの高度なアプリケーションを実現する。
  論文  参考訳（メタデータ） (2023-06-13T09:02:57Z)
• ENVIDR: Implicit Differentiable Renderer with Neural Environment Lighting [9.145875902703345]
  ENVIDRは、高精細な反射を伴う表面の高精細なレンダリングと再構成のためのレンダリングとモデリングのためのフレームワークである。 まず、表面光と環境光の相互作用を学習するために、分解レンダリングを用いた新しいニューラルネットワークを提案する。 次に、この学習されたニューラルサーフェスを利用して一般的なシーンを表現するSDFベースのニューラルサーフェスモデルを提案する。
  論文  参考訳（メタデータ） (2023-03-23T04:12:07Z)
• VolRecon: Volume Rendering of Signed Ray Distance Functions for Generalizable Multi-View Reconstruction [64.09702079593372]
  VolRecon は Signed Ray Distance Function (SRDF) を用いた新しい一般化可能な暗黙的再構成法である DTUデータセットでは、VolReconはスパースビュー再構築においてSparseNeuSを約30%上回り、フルビュー再構築においてMVSNetと同等の精度を達成する。
  論文  参考訳（メタデータ） (2022-12-15T18:59:54Z)
• NeuS: Learning Neural Implicit Surfaces by Volume Rendering for Multi-view Reconstruction [88.02850205432763]
  物体やシーンを2次元画像入力から高忠実度に再構成するニュートラルサーフェス(NeuS)を提案する。 DVRやIDRのような既存の神経表面再構成アプローチでは、フォアグラウンドマスクを監督する必要がある。 本研究では,従来のボリュームレンダリング手法が表面再構成に固有の幾何学的誤差を引き起こすことを観察する。 マスクの監督なしでもより正確な表面再構成を実現するため,第一次近似ではバイアスのない新しい定式化を提案する。
  論文  参考訳（メタデータ） (2021-06-20T12:59:42Z)
• UNISURF: Unifying Neural Implicit Surfaces and Radiance Fields for Multi-View Reconstruction [61.17219252031391]
  ニューラル暗黙的3D表現を用いた多視点画像から表面を再構築する新しい手法を提案する。 我々の重要な洞察は、暗黙の曲面モデルと放射場を統一的に定式化し、表面および体積のレンダリングを可能にすることである。 実験により, マスクを必要とせず, idrと同等の性能を保ちつつ, 再構成品質でnrfを上回った。
  論文  参考訳（メタデータ） (2021-04-20T15:59:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。