論文の概要: Learning Naturally Aggregated Appearance for Efficient 3D Editing
- arxiv url: http://arxiv.org/abs/2312.06657v1
- Date: Mon, 11 Dec 2023 18:59:31 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-12 14:09:32.237468
- Title: Learning Naturally Aggregated Appearance for Efficient 3D Editing
- Title(参考訳): 効率的な3D編集のための自然凝集外観の学習
- Authors: Ka Leong Cheng and Qiuyu Wang and Zifan Shi and Kecheng Zheng and
Yinghao Xu and Hao Ouyang and Qifeng Chen and Yujun Shen
- Abstract要約: カラーフィールドを2次元の鮮明なアグリゲーションに置き換えることを提案する。
歪み効果を回避し、簡便な編集を容易にするため、3Dの点をテクスチャルックアップのために2Dピクセルにマッピングする投影場を標準画像に補完する。
私たちの表現はAGAPと呼ばれ、再最適化を必要とせず、様々な3D編集方法(スタイル化、インタラクティブな描画、コンテンツ抽出など)をうまくサポートしています。
- 参考スコア(独自算出の注目度): 94.47518916521065
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural radiance fields, which represent a 3D scene as a color field and a
density field, have demonstrated great progress in novel view synthesis yet are
unfavorable for editing due to the implicitness. In view of such a deficiency,
we propose to replace the color field with an explicit 2D appearance
aggregation, also called canonical image, with which users can easily customize
their 3D editing via 2D image processing. To avoid the distortion effect and
facilitate convenient editing, we complement the canonical image with a
projection field that maps 3D points onto 2D pixels for texture lookup. This
field is carefully initialized with a pseudo canonical camera model and
optimized with offset regularity to ensure naturalness of the aggregated
appearance. Extensive experimental results on three datasets suggest that our
representation, dubbed AGAP, well supports various ways of 3D editing (e.g.,
stylization, interactive drawing, and content extraction) with no need of
re-optimization for each case, demonstrating its generalizability and
efficiency. Project page is available at https://felixcheng97.github.io/AGAP/.
- Abstract(参考訳): 3dシーンをカラーフィールドと密度フィールドとして表現したニューラルラミアンスフィールドは、新しいビュー合成において大きな進歩を見せているが、暗黙性のため編集には不向きである。
そこで本研究では,2次元画像処理による3次元編集を容易にカスタマイズできる,カノニカル画像(canonical image)と呼ばれる,明快な2次元表示アグリゲーションをカラーフィールドに置き換えることを提案する。
歪み効果を回避し、簡便な編集を容易にするため、テクスチャ検索のために3dポイントを2dピクセルにマッピングする投影場を標準画像を補完する。
このフィールドは擬似カノニカルカメラモデルで慎重に初期化され、アグリゲートされた外観の自然性を保証するためにオフセット規則性で最適化される。
3つのデータセットに関する広範な実験の結果は、agapと呼ばれる表現は、3d編集の様々な方法(スタイライゼーション、インタラクティブな描画、コンテンツ抽出など)をサポートしており、各ケースで再最適化する必要がなく、その一般化性と効率性を示している。
プロジェクトページはhttps://felixcheng97.github.io/agap/。
関連論文リスト
- SERF: Fine-Grained Interactive 3D Segmentation and Editing with Radiance
Fields [97.63648347686456]
放射場を用いた対話型3Dセグメンテーションと編集アルゴリズムを新たに導入し,これをSERFと呼ぶ。
提案手法では,マルチビューアルゴリズムと事前学習した2Dモデルを統合することにより,ニューラルネットワーク表現を生成する。
この表現に基づいて,局所的な情報を保存し,変形に頑健な新しい表面レンダリング技術を導入する。
論文 参考訳(メタデータ) (2023-12-26T02:50:42Z) - Blocks2World: Controlling Realistic Scenes with Editable Primitives [5.541644538483947]
我々は3Dシーンのレンダリングと編集のための新しい方法であるBlocks2Worldを提案する。
本手法は,コンベックス分解を用いて,各シーンの様々な物体から3次元並列入力を抽出することから始める。
次のステージでは、2Dレンダリングされた凸プリミティブから画像を生成することを学ぶ条件付きモデルをトレーニングする。
論文 参考訳(メタデータ) (2023-07-07T21:38:50Z) - ARTIC3D: Learning Robust Articulated 3D Shapes from Noisy Web Image
Collections [71.46546520120162]
単眼画像から動物体のような3D関節形状を推定することは、本質的に困難である。
本稿では,スパース画像コレクションから各物体の形状を再構築する自己教師型フレームワークARTIC3Dを提案する。
我々は、剛性部分変換の下で、描画された形状とテクスチャを微調整することで、現実的なアニメーションを作成する。
論文 参考訳(メタデータ) (2023-06-07T17:47:50Z) - PaletteNeRF: Palette-based Appearance Editing of Neural Radiance Fields [60.66412075837952]
本稿では,3次元色分解に基づくニューラルラジアンスフィールド(NeRF)の出現編集手法であるPaletteNeRFを提案する。
提案手法は,各3次元点の出現を,パレットベースによる線形結合に分解する。
我々は、セマンティック・アウェアな外観編集のためのセマンティック機能を圧縮したフレームワークを拡張した。
論文 参考訳(メタデータ) (2022-12-21T00:20:01Z) - Neural Parameterization for Dynamic Human Head Editing [26.071370285285465]
暗黙的手法と明示的手法の両方の利点を提供するハイブリッド表現であるニューラル化(NeP)を提案する。
NePは、シーンの幾何学と外観のきめ細かい編集を可能にしながら、写真リアリスティックなレンダリングを可能にする。
その結果,NePは高い編集性を維持しつつ,ほぼ同じレベルのレンダリング精度を実現していることがわかった。
論文 参考訳(メタデータ) (2022-07-01T05:25:52Z) - VoxGRAF: Fast 3D-Aware Image Synthesis with Sparse Voxel Grids [42.74658047803192]
最先端の3D認識生成モデルは座標に基づくパラメータ化3Dラディアンス場に依存している。
既存のアプローチでは、しばしば解像度の低い特徴写像をレンダリングし、それをアップサンプリングネットワークで処理して最終的な画像を得る。
既存の手法とは対照的に,本手法では完全な3Dシーンを生成するために,単一の前方通過しか必要としない。
論文 参考訳(メタデータ) (2022-06-15T17:44:22Z) - Decomposing NeRF for Editing via Feature Field Distillation [14.628761232614762]
NeRFで表現されるシーンの編集は、基礎となるコネクショナリスト表現がオブジェクト指向や構成的ではないため、難しい。
本研究では,NeRFのセマンティックなシーン分解の問題に対処し,クエリに基づく局所的な編集を可能にする。
本稿では,市販の自己監督型2次元画像特徴抽出器の知識を,放射場と平行に最適化された3次元特徴場に抽出することを提案する。
論文 参考訳(メタデータ) (2022-05-31T07:56:09Z) - A Shading-Guided Generative Implicit Model for Shape-Accurate 3D-Aware
Image Synthesis [163.96778522283967]
そこで本研究では,シェーディング誘導型生成暗黙モデルを提案する。
正確な3D形状は、異なる照明条件下でリアルなレンダリングをもたらす必要がある。
複数のデータセットに対する実験により,提案手法が光リアルな3次元画像合成を実現することを示す。
論文 参考訳(メタデータ) (2021-10-29T10:53:12Z) - Geometric Correspondence Fields: Learned Differentiable Rendering for 3D
Pose Refinement in the Wild [96.09941542587865]
野生の任意のカテゴリのオブジェクトに対する微分可能レンダリングに基づく新しい3次元ポーズ精細化手法を提案する。
このようにして、3DモデルとRGB画像のオブジェクトを正確に整列し、3Dポーズ推定を大幅に改善する。
我々は、Pix3Dデータセットの挑戦に対するアプローチを評価し、複数のメトリクスにおける最先端の精錬手法と比較して、最大55%の改善を実現した。
論文 参考訳(メタデータ) (2020-07-17T12:34:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。