論文の概要: Towards Efficient Neural Scene Graphs by Learning Consistency Fields

• arxiv url: http://arxiv.org/abs/2210.04127v1
• Date: Sun, 9 Oct 2022 00:44:44 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-11 17:31:20.164941
• Title: Towards Efficient Neural Scene Graphs by Learning Consistency Fields
• Title（参考訳）: 一貫性の学習による効率的なニューラルシーングラフを目指して
• Authors: Yeji Song, Chaerin Kong, Seoyoung Lee, Nojun Kwak, Joonseok Lee
• Abstract要約: 本稿では,ビデオ内の隣接フレーム間の冗長性を生かした機能再利用フレームワークを提案する。 提案手法である TextitConsistency-Field-based NSG (CF-NSG) は, ニューラルラジアンス場を再構成し, テキスト整合性場を付加的に考慮する。 我々は,CF-NSGがレンダリング品質を著しく低下させることなく,NSGよりも85%少ないクエリを使用することで,推論効率を大幅に向上することを示す。
• 参考スコア（独自算出の注目度）: 28.079835152708924
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural Radiance Fields (NeRF) achieves photo-realistic image rendering from novel views, and the Neural Scene Graphs (NSG) \cite{ost2021neural} extends it to dynamic scenes (video) with multiple objects. Nevertheless, computationally heavy ray marching for every image frame becomes a huge burden. In this paper, taking advantage of significant redundancy across adjacent frames in videos, we propose a feature-reusing framework. From the first try of naively reusing the NSG features, however, we learn that it is crucial to disentangle object-intrinsic properties consistent across frames from transient ones. Our proposed method, \textit{Consistency-Field-based NSG (CF-NSG)}, reformulates neural radiance fields to additionally consider \textit{consistency fields}. With disentangled representations, CF-NSG takes full advantage of the feature-reusing scheme and performs an extended degree of scene manipulation in a more controllable manner. We empirically verify that CF-NSG greatly improves the inference efficiency by using 85\% less queries than NSG without notable degradation in rendering quality. Code will be available at: https://github.com/ldynx/CF-NSG
• Abstract（参考訳）: Neural Radiance Fields (NeRF)は、新しいビューからフォトリアリスティックな画像レンダリングを実現し、Neural Scene Graphs (NSG) \cite{ost2021neural} は複数のオブジェクトを持つ動的なシーン(ビデオ)に拡張する。 それでも、画像フレームごとに計算量の多いレイマーチングは大きな負担になる。 本稿では,ビデオ内の隣接するフレーム間の大きな冗長性を生かして,機能再利用フレームワークを提案する。 しかし、NSG特徴を鼻で再利用する最初の試みから、過渡的な特徴からフレーム間で一貫したオブジェクト-内在性を取り除くことが重要であることが分かる。 提案手法は, ニューラルラジアンス場を再構成し, さらに, \textit{Consistency-Field-based NSG (CF-NSG) を考察する。 不整合表現では、CF-NSGは特徴還元スキームを最大限に活用し、より制御可能なシーン操作を行う。 我々は,CF-NSGがレンダリング品質の顕著な劣化を伴わずに,NSGよりも85%少ないクエリを使用することで,推論効率を大幅に向上することを示す。 コードは、https://github.com/ldynx/CF-NSGで入手できる。

関連論文リスト

• TESGNN: Temporal Equivariant Scene Graph Neural Networks for Efficient and Robust Multi-View 3D Scene Understanding [8.32401190051443]
  本稿では,3次元点群からセマンティックなシーングラフを生成するEquivariant Scene Graph Neural Network (ESGNN) の実装について述べる。 我々の組み合わせアーキテクチャは、時間等変Scene Graph Neural Network (TESGNN) と呼ばれ、シーン推定精度において既存の最先端手法を超えるだけでなく、より高速な収束を実現する。
  論文  参考訳（メタデータ） (2024-11-15T15:39:04Z)
• 3D Reconstruction with Generalizable Neural Fields using Scene Priors [71.37871576124789]
  シーンプライオリティ(NFP)を取り入れたトレーニング一般化型ニューラルフィールドを提案する。 NFPネットワークは、任意のシングルビューRGB-D画像を符号付き距離と放射値にマッピングする。 融合モジュールを外した体積空間内の個々のフレームをマージすることにより、完全なシーンを再構築することができる。
  論文  参考訳（メタデータ） (2023-09-26T18:01:02Z)
• X-NeRF: Explicit Neural Radiance Field for Multi-Scene 360$^{\circ} $ Insufficient RGB-D Views [49.55319833743988]
  この記事では、まれに議論されるが重要な設定に焦点を当てる。複数のシーンを表現可能な1つのモデルをトレーニングできるだろうか? 不十分な見解は、非常に疎外で、ほとんど重複しない見解に言及する。 X-NeRFは,座標に基づくマッピングではなく,一般的なシーン完了過程を学習する,完全に明示的なアプローチである。
  論文  参考訳（メタデータ） (2022-10-11T04:29:26Z)
• Is Attention All NeRF Needs? [103.51023982774599]
  Generalizable NeRF Transformer (GNT) は、ソースビューから高速にNeRF(Neural Radiance Fields)を効率的に再構築する、純粋で統一されたトランスフォーマーベースのアーキテクチャである。 GNTは、2つのトランスフォーマーベースのステージをカプセル化することにより、一般化可能なニューラルシーン表現とレンダリングを実現する。
  論文  参考訳（メタデータ） (2022-07-27T05:09:54Z)
• View Synthesis with Sculpted Neural Points [64.40344086212279]
  暗黙の神経表現は印象的な視覚的品質を達成したが、計算効率に欠点がある。 本稿では,点雲を用いたビュー合成を行う新しい手法を提案する。 レンダリング速度を100倍以上速くしながら、NeRFよりも視覚的品質を向上する最初のポイントベース手法である。
  論文  参考訳（メタデータ） (2022-05-12T03:54:35Z)
• SCGC : Self-Supervised Contrastive Graph Clustering [1.1470070927586016]
  グラフクラスタリングはネットワーク内のグループやコミュニティを検出する。 オートエンコーダのような深層学習手法は、豊富な構造情報を組み込むことはできない。 自己監督型コントラストグラフクラスタリング(SCGC)を提案する。
  論文  参考訳（メタデータ） (2022-04-27T01:38:46Z)
• NPBG++: Accelerating Neural Point-Based Graphics [14.366073496519139]
  NPBG++は、シーンフィッティング時間の少ない高レンダリングリアリズムを実現する新しいビュー合成(NVS)タスクである。 本手法は,静的シーンのマルチビュー観測と点雲を効率よく利用し,各点のニューラルディスクリプタを予測する。 比較において、提案システムは、類似した画質の画像を生成しながら、ランタイムの適合とレンダリングの観点から、従来のNVSアプローチよりも優れていた。
  論文  参考訳（メタデータ） (2022-03-24T19:59:39Z)
• Neural Sparse Voxel Fields [151.20366604586403]
  高速かつ高品質な自由視点レンダリングのためのニューラルシーン表現であるNeural Sparse Voxel Fields (NSVF)を紹介する。 NSVFは、各細胞の局所特性をモデル化するために、スパース・ボクセル・オクツリーで組織された、ボクセルに結合した暗黙のフィールドのセットを定義する。 提案手法は, 高い品質を達成しつつ, 推論時の最先端技術(NeRF(Mildenhall et al., 2020))よりも10倍以上高速である。
  論文  参考訳（メタデータ） (2020-07-22T17:51:31Z)
• Zero-Shot Video Object Segmentation via Attentive Graph Neural Networks [150.5425122989146]
  本研究は、ゼロショットビデオオブジェクトセグメンテーション(ZVOS)のための新しい注意グラフニューラルネットワーク(AGNN)を提案する。 AGNNは、フレームをノードとして効率的に表現し、任意のフレームペア間の関係をエッジとして表現するために、完全に連結されたグラフを構築している。 3つのビデオセグメンテーションデータセットの実験結果は、AGNNがそれぞれのケースに新しい最先端を設定していることを示している。
  論文  参考訳（メタデータ） (2020-01-19T10:45:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。