論文の概要: 3D Visibility-aware Generalizable Neural Radiance Fields for Interacting Hands

• arxiv url: http://arxiv.org/abs/2401.00979v1
• Date: Tue, 2 Jan 2024 00:42:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-03 14:57:56.422894
• Title: 3D Visibility-aware Generalizable Neural Radiance Fields for Interacting Hands
• Title（参考訳）: 相互作用する手のための3次元視認性認識可能な神経放射場
• Authors: Xuan Huang, Hanhui Li, Zejun Yang, Zhisheng Wang, Xiaodan Liang
• Abstract要約: ニューラル放射場(NeRF)は、シーン、オブジェクト、人間の3D表現を約束する。 本稿では,手動操作のための一般化可能な視認可能なNeRFフレームワークを提案する。 Interhand2.6Mデータセットの実験により、提案したVA-NeRFは従来のNeRFよりも著しく優れていることが示された。
• 参考スコア（独自算出の注目度）: 51.305421495638434
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural radiance fields (NeRFs) are promising 3D representations for scenes, objects, and humans. However, most existing methods require multi-view inputs and per-scene training, which limits their real-life applications. Moreover, current methods focus on single-subject cases, leaving scenes of interacting hands that involve severe inter-hand occlusions and challenging view variations remain unsolved. To tackle these issues, this paper proposes a generalizable visibility-aware NeRF (VA-NeRF) framework for interacting hands. Specifically, given an image of interacting hands as input, our VA-NeRF first obtains a mesh-based representation of hands and extracts their corresponding geometric and textural features. Subsequently, a feature fusion module that exploits the visibility of query points and mesh vertices is introduced to adaptively merge features of both hands, enabling the recovery of features in unseen areas. Additionally, our VA-NeRF is optimized together with a novel discriminator within an adversarial learning paradigm. In contrast to conventional discriminators that predict a single real/fake label for the synthesized image, the proposed discriminator generates a pixel-wise visibility map, providing fine-grained supervision for unseen areas and encouraging the VA-NeRF to improve the visual quality of synthesized images. Experiments on the Interhand2.6M dataset demonstrate that our proposed VA-NeRF outperforms conventional NeRFs significantly. Project Page: \url{https://github.com/XuanHuang0/VANeRF}.
• Abstract（参考訳）: neural radiance field (nerfs)はシーン、オブジェクト、人間の3d表現を約束している。 しかし、既存のほとんどのメソッドはマルチビュー入力とシーンごとのトレーニングを必要とし、実際のアプリケーションを制限する。 また、現在の手法では単射の事例に焦点をあてており、手首間の激しい閉塞や難解な視点の変化を伴う相互作用の場面は未解決のままである。 これらの課題に対処するために,手動操作のための一般化可能な可視性NeRF(VA-NeRF)フレームワークを提案する。 具体的には、入力として相互作用する手の画像が与えられた場合、VA-NeRFはまずメッシュベースの手表現を取得し、対応する幾何学的特徴とテクスチャ的特徴を抽出する。 次に,問合せ点とメッシュ頂点の可視性を活用した機能融合モジュールを導入し,両手の特徴を適応的にマージし,未知領域の機能回復を可能にする。 さらに,我々のVA-NeRFは,対戦型学習パラダイムにおける新しい識別器と共に最適化されている。 合成画像の1つの実・偽ラベルを予測する従来の識別器とは対照的に,提案した判別器は画素単位の視認性マップを生成し,未確認領域のきめ細かい監視を行い,VA-NeRFにより合成画像の視覚的品質を向上させる。 Interhand2.6Mデータセットの実験により、提案したVA-NeRFは従来のNeRFよりも著しく優れていることが示された。 プロジェクトページ: \url{https://github.com/xuanhuang0/vanerf}

関連論文リスト

• GMT: Enhancing Generalizable Neural Rendering via Geometry-Driven Multi-Reference Texture Transfer [40.70828307740121]
  新たなビュー合成(NVS)は、多視点画像を用いて任意の視点で画像を生成することを目的としており、ニューラルレイディアンス場(NeRF)からの最近の知見は、顕著な改善に寄与している。 G-NeRFはシーンごとの最適化がないため、特定のシーンの細部を表現するのに依然として苦労している。 G-NeRF用に設計されたプラグアンドプレイモジュールとして利用可能な幾何駆動型マルチ参照テクスチャ転送ネットワーク(GMT)を提案する。
  論文  参考訳（メタデータ） (2024-10-01T13:30:51Z)
• NeRF-DetS: Enhancing Multi-View 3D Object Detection with Sampling-adaptive Network of Continuous NeRF-based Representation [60.47114985993196]
  NeRF-Detは、新しいビュー演算と3D知覚のタスクを統一する。 我々は,新しい3次元知覚ネットワーク構造であるNeRF-DetSを導入する。 NeRF-DetSはScanNetV2データセット上で競合するNeRF-Detより優れている。
  論文  参考訳（メタデータ） (2024-04-22T06:59:03Z)
• NeRF-VPT: Learning Novel View Representations with Neural Radiance Fields via View Prompt Tuning [63.39461847093663]
  本研究では,これらの課題に対処するための新しいビュー合成手法であるNeRF-VPTを提案する。 提案するNeRF-VPTは、先行レンダリング結果から得られたRGB情報を、その後のレンダリングステージのインストラクティブな視覚的プロンプトとして機能するカスケーディングビュープロンプトチューニングパラダイムを用いている。 NeRF-VPTは、追加のガイダンスや複雑なテクニックに頼ることなく、トレーニングステージ毎に前のステージレンダリングからRGBデータをサンプリングするだけである。
  論文  参考訳（メタデータ） (2024-03-02T22:08:10Z)
• Mask-Based Modeling for Neural Radiance Fields [20.728248301818912]
  本研究では,マスクベースモデリングにより3次元暗黙表現学習を大幅に改善できることを明らかにする。 MRVM-NeRFは,各光線に沿った部分的マスキング特徴から,シーンの完全な表現を予測するための自己教師付き事前学習対象である。 この事前学習目標により、MRVM-NeRFは、幾何学的先行として異なる点とビュー間の相関をよりよく利用することができる。
  論文  参考訳（メタデータ） (2023-04-11T04:12:31Z)
• HandNeRF: Neural Radiance Fields for Animatable Interacting Hands [122.32855646927013]
  神経放射場(NeRF)を用いて手の動きを正確に再現する新しい枠組みを提案する。 我々は,提案するHandNeRFのメリットを検証するための広範囲な実験を行い,その成果を報告する。
  論文  参考訳（メタデータ） (2023-03-24T06:19:19Z)
• NerfDiff: Single-image View Synthesis with NeRF-guided Distillation from 3D-aware Diffusion [107.67277084886929]
  単一の画像からの新しいビュー合成には、オブジェクトやシーンの隠蔽領域を推論すると同時に、入力とのセマンティックおよび物理的整合性を同時に維持する必要がある。 そこで我々は,NerfDiffを提案する。NerfDiffは3D対応条件拡散モデル(CDM)の知識を,テスト時に仮想ビューの集合を合成・精製することで,NeRFに抽出することでこの問題に対処する。 さらに,CDMサンプルから3次元一貫した仮想ビューを同時に生成し,改良された仮想ビューに基づいてNeRFを微調整する新しいNeRF誘導蒸留アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-02-20T17:12:00Z)
• Aug-NeRF: Training Stronger Neural Radiance Fields with Triple-Level Physically-Grounded Augmentations [111.08941206369508]
  我々は,NeRFトレーニングの正規化にロバストなデータ拡張のパワーを初めてもたらすAugmented NeRF(Aug-NeRF)を提案する。 提案手法では,最悪の場合の摂動を3段階のNeRFパイプラインにシームレスにブレンドする。 Aug-NeRFは、新しいビュー合成と基礎となる幾何再構成の両方において、NeRF性能を効果的に向上させる。
  論文  参考訳（メタデータ） (2022-07-04T02:27:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。