論文の概要: ParticleNeRF: A Particle-Based Encoding for Online Neural Radiance Fields

• arxiv url: http://arxiv.org/abs/2211.04041v4
• Date: Fri, 24 Mar 2023 05:57:41 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-27 18:22:42.589653
• Title: ParticleNeRF: A Particle-Based Encoding for Online Neural Radiance Fields
• Title（参考訳）: particlenerf: online neural radiance fieldsのための粒子ベースのエンコーディング
• Authors: Jad Abou-Chakra, Feras Dayoub, Niko S\"underhauf
• Abstract要約: 最新の表現をオンラインで学習することで,シーン形状の変化に動的に適応する新しいアプローチであるParticleNeRFを提案する。 本研究では, 翻訳, 回転, 調音, 変形可能な物体を含む様々な動的シーンでParticleNeRFを実演する。
• 参考スコア（独自算出の注目度）: 6.166295570030645
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: While existing Neural Radiance Fields (NeRFs) for dynamic scenes are offline methods with an emphasis on visual fidelity, our paper addresses the online use case that prioritises real-time adaptability. We present ParticleNeRF, a new approach that dynamically adapts to changes in the scene geometry by learning an up-to-date representation online, every 200ms. ParticleNeRF achieves this using a novel particle-based parametric encoding. We couple features to particles in space and backpropagate the photometric reconstruction loss into the particles' position gradients, which are then interpreted as velocity vectors. Governed by a lightweight physics system to handle collisions, this lets the features move freely with the changing scene geometry. We demonstrate ParticleNeRF on various dynamic scenes containing translating, rotating, articulated, and deformable objects. ParticleNeRF is the first online dynamic NeRF and achieves fast adaptability with better visual fidelity than brute-force online InstantNGP and other baseline approaches on dynamic scenes with online constraints. Videos of our system can be found at our project website https://sites.google.com/view/particlenerf.
• Abstract（参考訳）: 動的シーンに対する既存のNeural Radiance Fields(NeRF)は、視覚的忠実度を重視したオフライン手法であるが、本稿は、リアルタイム適応性を優先するオンラインユースケースに対処する。 我々は200ミリ秒毎に最新の表現をオンラインで学習することで、シーン形状の変化に動的に適応する新しいアプローチであるParticleNeRFを提案する。 ParticleNeRFは、新しい粒子ベースのパラメトリック符号化を用いてこれを実現する。 我々は,空間内の粒子に特徴を結合し,光計測による再構成損失を粒子の位置勾配にバックプロパゲートし,速度ベクトルとして解釈する。 衝突に対処するための軽量な物理システムによって守られ、地形の変化とともに自由に動きます。 本研究では, 翻訳, 回転, 調音, 変形可能な物体を含む様々な動的シーンでParticleNeRFを実演する。 ParticleNeRFは初めてのオンライン動的NeRFであり、ブルートフォースオンラインInstantNGPや他のオンライン制約のある動的シーンに対するベースラインアプローチよりも優れた視覚的忠実度で高速な適応性を実現する。 私たちのシステムのビデオは、プロジェクトのWebサイトhttps://sites.google.com/view/ Particlenerf.comで見ることができる。

関連論文リスト

• CTNeRF: Cross-Time Transformer for Dynamic Neural Radiance Field from Monocular Video [25.551944406980297]
  複雑でダイナミックなシーンのモノクロ映像から高品質な新しいビューを生成するための新しいアプローチを提案する。 物体の動きの特徴を集約するために,時間領域と周波数領域の両方で動作するモジュールを導入する。 実験により,動的シーンデータセットにおける最先端手法に対する大幅な改善が示された。
  論文  参考訳（メタデータ） (2024-01-10T00:40:05Z)
• Dynamic Mesh-Aware Radiance Fields [75.59025151369308]
  本稿では,メッシュとNeRFの双方向結合をレンダリングおよびシミュレーション時に設計する。 ハイブリッドシステムはメッシュ挿入のための視覚リアリズムの代替よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-09-08T20:18:18Z)
• OD-NeRF: Efficient Training of On-the-Fly Dynamic Neural Radiance Fields [63.04781030984006]
  ダイナミック・ニューラル・レイディアンス・フィールド(ダイナミック・ニューラル・レイディアンス・フィールド)は、3次元ダイナミック・シーンにおける新しいビュー・シンセサイザーにおいて印象的な結果を示した。 本研究では,ダイナミックシーンのストリーミングが可能な動的NeRFを効率よく訓練・レンダリングするOD-NeRFを提案する。 本アルゴリズムは,6FPSトレーニングと合成動的シーンのレンダリングのインタラクティブな高速化を実現し,実世界の動的シーンの最先端と比較して,大幅なスピードアップを実現している。
  論文  参考訳（メタデータ） (2023-05-24T07:36:47Z)
• Neural Residual Radiance Fields for Streamably Free-Viewpoint Videos [69.22032459870242]
  本稿では,Residual Radiance Field(ReRF)という新しい手法を提案する。 このような戦略は品質を犠牲にすることなく大きな動きを扱えることを示す。 ReRFに基づいて,3桁の圧縮率を達成する特別なFVVを設計し,ダイナミックシーンの長期FVVのオンラインストリーミングをサポートするReRFプレーヤを提供する。
  論文  参考訳（メタデータ） (2023-04-10T08:36:00Z)
• NeRF-DS: Neural Radiance Fields for Dynamic Specular Objects [63.04781030984006]
  ダイナミック・ニューラル・ラジアンス・フィールド(英語版)(NeRF)は、動的シーンの単眼RGBビデオからフォトリアリスティック・ノベル・ビュー・イメージをレンダリングできる強力なアルゴリズムである。 観測空間の表面位置と配向に条件付される神経放射場関数を再構成することにより,その限界に対処する。 本研究では,現実的な環境下での異なる移動スペクトルオブジェクトの自己合成データセットを用いて,新しいビュー合成品質に基づくモデルの評価を行った。
  論文  参考訳（メタデータ） (2023-03-25T11:03:53Z)
• Neural Deformable Voxel Grid for Fast Optimization of Dynamic View Synthesis [63.25919018001152]
  動的シーンを扱うための高速な変形可能な放射場法を提案する。 本手法は訓練に20分しかかからないD-NeRFに匹敵する性能を実現する。
  論文  参考訳（メタデータ） (2022-06-15T17:49:08Z)
• D-NeRF: Neural Radiance Fields for Dynamic Scenes [72.75686949608624]
  そこで我々は,D-NeRF(D-NeRF)を動的領域に拡張する手法を提案する。 D-NeRFは、周囲を動き回るカメラから、剛体で非剛体な動きの下で物体のイメージを再構成する。 我々は,剛体・調音・非剛体動作下での物体のシーンに対するアプローチの有効性を実証した。
  論文  参考訳（メタデータ） (2020-11-27T19:06:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。