論文の概要: Learning Naturally Aggregated Appearance for Efficient 3D Editing

• arxiv url: http://arxiv.org/abs/2312.06657v2
• Date: Thu, 13 Feb 2025 09:33:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-14 13:45:35.027170
• Title: Learning Naturally Aggregated Appearance for Efficient 3D Editing
• Title（参考訳）: 効率的な3D編集のための自然凝集外観の学習
• Authors: Ka Leong Cheng, Qiuyu Wang, Zifan Shi, Kecheng Zheng, Yinghao Xu, Hao Ouyang, Qifeng Chen, Yujun Shen,
• Abstract要約: カラーフィールドは、標準画像(canonical image)とも呼ばれる、明示的な2次元の外観アグリゲーションとして学習する。 テクスチャクエリのために3Dポイントを2Dピクセルにマッピングする投影場を標準画像に補完する。 提案手法は,既存のNeRFベースの編集手法に比べて,編集1回あたり20倍高速であることを示す。
• 参考スコア（独自算出の注目度）: 90.57414218888536
• License:
• Abstract: Neural radiance fields, which represent a 3D scene as a color field and a density field, have demonstrated great progress in novel view synthesis yet are unfavorable for editing due to the implicitness. This work studies the task of efficient 3D editing, where we focus on editing speed and user interactivity. To this end, we propose to learn the color field as an explicit 2D appearance aggregation, also called canonical image, with which users can easily customize their 3D editing via 2D image processing. We complement the canonical image with a projection field that maps 3D points onto 2D pixels for texture query. This field is initialized with a pseudo canonical camera model and optimized with offset regularity to ensure the naturalness of the canonical image. Extensive experiments on different datasets suggest that our representation, dubbed AGAP, well supports various ways of 3D editing (e.g., stylization, instance segmentation, and interactive drawing). Our approach demonstrates remarkable efficiency by being at least 20 times faster per edit compared to existing NeRF-based editing methods. Project page is available at https://felixcheng97.github.io/AGAP/.
• Abstract（参考訳）: 3次元シーンを色場と密度場として表現するニューラルラディアンス場は、新規なビュー合成の進歩を示すが、暗黙性による編集には好ましくない。 本研究では,効率的な3D編集の課題について検討し,編集速度とユーザ対話性に着目した。 そこで本研究では,2次元画像処理による3次元編集を容易にカスタマイズ可能なカラーフィールドを,カノニカルイメージ(canonical image)とも呼ばれる明示的な2次元画像アグリゲーションとして学習することを提案する。 テクスチャクエリのために3Dポイントを2Dピクセルにマッピングする投影場を標準画像に補完する。 このフィールドは擬似カノニカルカメラモデルで初期化され、オフセット規則性で最適化され、カノニカル画像の自然性を保証する。 異なるデータセットに対する大規模な実験は、AGAPと呼ばれる私たちの表現が、様々な3D編集方法(例えば、スタイリゼーション、インスタンスセグメンテーション、インタラクティブな描画)をうまくサポートしていることを示唆している。 提案手法は,既存のNeRFベースの編集手法に比べて,編集1回あたり20倍高速であることを示す。 プロジェクトページはhttps://felixcheng97.github.io/AGAP/で公開されている。

関連論文リスト

• DragGaussian: Enabling Drag-style Manipulation on 3D Gaussian Representation [57.406031264184584]
  DragGaussianは、3D Gaussian Splattingをベースにした3Dオブジェクトのドラッグ編集フレームワークである。 我々の貢献は、新しいタスクの導入、インタラクティブなポイントベース3D編集のためのDragGaussianの開発、質的かつ定量的な実験によるその効果の包括的検証などである。
  論文  参考訳（メタデータ） (2024-05-09T14:34:05Z)
• DGE: Direct Gaussian 3D Editing by Consistent Multi-view Editing [72.54566271694654]
  オープンな言語命令に基づいて3Dオブジェクトやシーンを編集する際の問題点を考察する。 この問題に対する一般的なアプローチは、3D編集プロセスをガイドするために2Dイメージジェネレータまたはエディタを使用することである。 このプロセスは、コストのかかる3D表現の反復的な更新を必要とするため、しばしば非効率である。
  論文  参考訳（メタデータ） (2024-04-29T17:59:30Z)
• SERF: Fine-Grained Interactive 3D Segmentation and Editing with Radiance Fields [92.14328581392633]
  放射場を用いた対話型3Dセグメンテーションと編集アルゴリズムを新たに導入し,これをSERFと呼ぶ。 提案手法では,マルチビューアルゴリズムと事前学習した2Dモデルを統合することにより,ニューラルネットワーク表現を生成する。 この表現に基づいて,局所的な情報を保存し,変形に頑健な新しい表面レンダリング技術を導入する。
  論文  参考訳（メタデータ） (2023-12-26T02:50:42Z)
• LatentEditor: Text Driven Local Editing of 3D Scenes [8.966537479017951]
  テキストプロンプトを用いたニューラルネットワークの精密かつ局所的な編集のためのフレームワークであるtextscLatentEditorを紹介する。 現実のシーンを潜伏空間に埋め込むことに成功したので、より高速で適応性の高いNeRFバックボーンが編集に役立ちます。 提案手法は既存の3D編集モデルと比較して高速な編集速度と出力品質を実現する。
  論文  参考訳（メタデータ） (2023-12-14T19:38:06Z)
• Feature 3DGS: Supercharging 3D Gaussian Splatting to Enable Distilled Feature Fields [54.482261428543985]
  ニューラル・ラジアンス・フィールドを使用する手法は、新しいビュー合成のような従来のタスクに汎用的である。 3次元ガウシアンスプラッティングは, 実時間ラディアンス場レンダリングにおける最先端の性能を示した。 この問題を効果的に回避するために,アーキテクチャとトレーニングの変更を提案する。
  論文  参考訳（メタデータ） (2023-12-06T00:46:30Z)
• InstructPix2NeRF: Instructed 3D Portrait Editing from a Single Image [25.076270175205593]
  InstructPix2NeRFは、人間の指示で単一のオープンワールドイメージから3D対応のポートレート編集を可能にする。 中心となるのは条件付き3D拡散プロセスで、2D編集を3D空間に引き上げ、ペア画像の差分と3重データによる指示との相関を学習する。
  論文  参考訳（メタデータ） (2023-11-06T02:21:11Z)
• SINE: Semantic-driven Image-based NeRF Editing with Prior-guided Editing Field [37.8162035179377]
  我々は,1つの画像でニューラルラディアンスフィールドを編集できる,新しい意味駆動型NeRF編集手法を提案する。 この目的を達成するために,3次元空間における微細な幾何学的・テクスチャ的編集を符号化する事前誘導編集場を提案する。 本手法は,1枚の編集画像のみを用いた写真リアルな3D編集を実現し,実世界の3Dシーンにおけるセマンティックな編集の限界を押し上げる。
  論文  参考訳（メタデータ） (2023-03-23T13:58:11Z)
• PaletteNeRF: Palette-based Appearance Editing of Neural Radiance Fields [60.66412075837952]
  本稿では,3次元色分解に基づくニューラルラジアンスフィールド(NeRF)の出現編集手法であるPaletteNeRFを提案する。 提案手法は,各3次元点の出現を,パレットベースによる線形結合に分解する。 我々は、セマンティック・アウェアな外観編集のためのセマンティック機能を圧縮したフレームワークを拡張した。
  論文  参考訳（メタデータ） (2022-12-21T00:20:01Z)
• Decomposing NeRF for Editing via Feature Field Distillation [14.628761232614762]
  NeRFで表現されるシーンの編集は、基礎となるコネクショナリスト表現がオブジェクト指向や構成的ではないため、難しい。 本研究では,NeRFのセマンティックなシーン分解の問題に対処し,クエリに基づく局所的な編集を可能にする。 本稿では,市販の自己監督型2次元画像特徴抽出器の知識を,放射場と平行に最適化された3次元特徴場に抽出することを提案する。
  論文  参考訳（メタデータ） (2022-05-31T07:56:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。