論文の概要: CoNeRF: Controllable Neural Radiance Fields
- arxiv url: http://arxiv.org/abs/2112.01983v2
- Date: Mon, 6 Dec 2021 07:18:22 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-07 12:25:23.164315
- Title: CoNeRF: Controllable Neural Radiance Fields
- Title（参考訳）: CoNeRF:制御可能な神経放射場
- Authors: Kacper Kania, Kwang Moo Yi, Marek Kowalski, Tomasz Trzci\'nski, Andrea
Tagliasacchi
- Abstract要約: ニューラルな3D表現を拡張して、新しいビューレンダリングを超えて、直感的で解釈可能なユーザコントロールを可能にします。
トレーニング画像中のマスクアノテーションの少ない部分で、どの部分を制御したいのかをユーザがアノテートできるようにします。
- 参考スコア（独自算出の注目度）: 38.860147894671854
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: We extend neural 3D representations to allow for intuitive and interpretable
user control beyond novel view rendering (i.e. camera control). We allow the
user to annotate which part of the scene one wishes to control with just a
small number of mask annotations in the training images. Our key idea is to
treat the attributes as latent variables that are regressed by the neural
network given the scene encoding. This leads to a few-shot learning framework,
where attributes are discovered automatically by the framework, when
annotations are not provided. We apply our method to various scenes with
different types of controllable attributes (e.g. expression control on human
faces, or state control in movement of inanimate objects). Overall, we
demonstrate, to the best of our knowledge, for the first time novel view and
novel attribute re-rendering of scenes from a single video.
- Abstract（参考訳）: ニューラル3d表現を拡張し,新たなビューレンダリング(すなわちカメラ制御)を超えて,直感的かつ解釈可能なユーザ制御を可能にする。
訓練画像において,マスクアノテーションを少数で使用することで,シーンのどの部分を制御したいかをアノテートすることができる。
私たちの重要なアイデアは、シーンエンコーディングによってニューラルネットワークによってレグレッションされる潜在変数として属性を扱うことです。
アノテーションが提供されていない場合、属性がフレームワークによって自動的に検出される。
本研究では,異なる種類の制御可能な属性(例えばヒトの顔の表情制御,無生物の移動における状態制御)を持つシーンに適用する。
全体として、私たちの知る限り、初めて新しいビューと新しい属性が1つのビデオからシーンを再レンダリングしたことを実証する。
関連論文リスト
- CoNFies: Controllable Neural Face Avatars [10.41057307836234]
顔自己画像(CoNFies)の制御可能な神経表現
顔自己画像(CoNFies)に対する制御可能なニューラル表現を提案する。
自動顔行動認識(AFAR)を用いて、表情をアクション単位(AU)とその強度の組み合わせとして特徴付ける。
論文 参考訳（メタデータ） (2022-11-16T01:43:43Z) - Neural Novel Actor: Learning a Generalized Animatable Neural
Representation for Human Actors [98.24047528960406]
本稿では,複数の人物の多視点画像のスパース集合から,汎用的アニマタブルなニューラル表現を学習するための新しい手法を提案する。
学習された表現は、カメラのスパースセットから任意の人の新しいビューイメージを合成し、さらにユーザのポーズ制御でアニメーション化することができる。
論文 参考訳（メタデータ） (2022-08-25T07:36:46Z) - Neural Groundplans: Persistent Neural Scene Representations from a
Single Image [90.04272671464238]
本稿では,シーンの2次元画像観察を永続的な3次元シーン表現にマッピングする手法を提案する。
本稿では,永続的でメモリ効率のよいシーン表現として,条件付きニューラルグラウンドプランを提案する。
論文 参考訳（メタデータ） (2022-07-22T17:41:24Z) - Control-NeRF: Editable Feature Volumes for Scene Rendering and
Manipulation [58.16911861917018]
高品質な新規ビュー合成を実現しつつ,フレキシブルな3次元画像コンテンツ操作を実現するための新しい手法を提案する。
モデルペアはシーンに依存しないニューラルネットワークを用いてシーン固有の特徴ボリュームを学習する。
我々は、シーンの混合、オブジェクトの変形、シーンへのオブジェクト挿入など、さまざまなシーン操作を実証すると同時に、写真リアリスティックな結果も生成する。
論文 参考訳（メタデータ） (2022-04-22T17:57:00Z) - FLAME-in-NeRF : Neural control of Radiance Fields for Free View Face
Animation [37.39945646282971]
本稿では,映像合成のためのニューラルレンダリング手法を提案する。
3次元形態素顔モデル(3DMM)の表情空間を利用して表情の分布を表現した。
本稿では,写真表現制御によるポートレートビデオのフリービュー合成における提案手法の有効性を実証する。
論文 参考訳（メタデータ） (2021-08-10T20:41:15Z) - Neural Rays for Occlusion-aware Image-based Rendering [108.34004858785896]
我々は,ニューラルレイ(NeuRay)と呼ばれるニューラル表現を,マルチビューイメージを入力として,新しいビュー合成(NVS)タスクのために提案する。
NeuRayは、微調整の少ない未確認シーンの高品質なノベルビューレンダリング画像を生成することができる。
論文 参考訳（メタデータ） (2021-07-28T15:09:40Z) - Neural Body: Implicit Neural Representations with Structured Latent
Codes for Novel View Synthesis of Dynamic Humans [56.63912568777483]
本稿では,人間の演奏者に対する新しい視点合成の課題について,カメラビューの少なさから考察する。
異なるフレームで学習されたニューラルネットワーク表現が、変形可能なメッシュにアンカーされた同じ遅延コードセットを共有することを前提とした新しい人体表現であるNeural Bodyを提案する。
ZJU-MoCapの実験により、我々の手法は、新規なビュー合成品質において、先行研究よりも優れた性能を示した。
論文 参考訳（メタデータ） (2020-12-31T18:55:38Z) - STaR: Self-supervised Tracking and Reconstruction of Rigid Objects in
Motion with Neural Rendering [9.600908665766465]
本稿では,マルチビューRGB動画のリジッドモーションによる動的シーンの自己監視追跡と再構成を,手動アノテーションなしで行う新しい手法であるSTaRについて述べる。
本手法は,空間軸と時間軸の両方で新規性を測定するフォトリアリスティック・ノベルビューを描画できることを示した。
論文 参考訳（メタデータ） (2020-12-22T23:45:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。