論文の概要: RecolorNeRF: Layer Decomposed Radiance Fields for Efficient Color
Editing of 3D Scenes
- arxiv url: http://arxiv.org/abs/2301.07958v3
- Date: Mon, 18 Sep 2023 17:28:42 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-20 01:00:52.166770
- Title: RecolorNeRF: Layer Decomposed Radiance Fields for Efficient Color
Editing of 3D Scenes
- Title（参考訳）: RecolorNeRF: 3次元シーンの効率的な色編集のための層分解放射場
- Authors: Bingchen Gong and Yuehao Wang and Xiaoguang Han and Qi Dou
- Abstract要約: 本稿では,ニューラルラジアンスフィールドのための新しいユーザフレンドリーなカラー編集手法であるRecolorNeRFを提案する。
私たちのキーとなるアイデアは、シーンを純粋な色の層に分解し、パレットを形成することです。
効率的なパレットベースの編集をサポートするには、各レイヤの色を可能な限り表現する必要がある。
- 参考スコア（独自算出の注目度）: 21.284044381058575
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Radiance fields have gradually become a main representation of media.
Although its appearance editing has been studied, how to achieve
view-consistent recoloring in an efficient manner is still under explored. We
present RecolorNeRF, a novel user-friendly color editing approach for the
neural radiance fields. Our key idea is to decompose the scene into a set of
pure-colored layers, forming a palette. By this means, color manipulation can
be conducted by altering the color components of the palette directly. To
support efficient palette-based editing, the color of each layer needs to be as
representative as possible. In the end, the problem is formulated as an
optimization problem, where the layers and their blending weights are jointly
optimized with the NeRF itself. Extensive experiments show that our
jointly-optimized layer decomposition can be used against multiple backbones
and produce photo-realistic recolored novel-view renderings. We demonstrate
that RecolorNeRF outperforms baseline methods both quantitatively and
qualitatively for color editing even in complex real-world scenes.
- Abstract（参考訳）: 放射場は徐々にメディアの主表現になりつつある。
外観編集は研究されているが、ビュー一貫性を効果的に再現する方法はまだ検討中である。
本稿では,ニューラルラジアンス分野のユーザフレンドリーなカラー編集手法であるRecolorNeRFを提案する。
私たちのキーとなるアイデアは、シーンを純粋な色の層に分解し、パレットを形成することです。
これにより、パレットの色成分を直接変更して色操作を行うことができる。
効率的なパレットベースの編集をサポートするには、各レイヤの色を可能な限り表現する必要がある。
最終的に、この問題は最適化問題として定式化され、層とその混合重みは、nerf自体と共同で最適化される。
広汎な実験により, 共同最適化された層分解は複数のバックボーンに対して利用でき, フォトリアリスティックなノベルビューレンダリングを作成できることがわかった。
recolornerfは,複雑な実世界のシーンにおいても,色編集において定量的かつ定性的にベースラインメソッドを上回ることを実証する。
関連論文リスト
- Neural Fields meet Explicit Geometric Representation for Inverse
Rendering of Urban Scenes [62.769186261245416]
本稿では,大都市におけるシーン形状,空間変化材料,HDR照明を,任意の深さで描画したRGB画像の集合から共同で再構成できる新しい逆レンダリングフレームワークを提案する。
具体的には、第1の光線を考慮に入れ、第2の光線をモデリングするために、明示的なメッシュ(基礎となるニューラルネットワークから再構成)を用いて、キャストシャドウのような高次照明効果を発生させる。
論文 参考訳（メタデータ） (2023-04-06T17:51:54Z) - PaletteNeRF: Palette-based Color Editing for NeRFs [16.49512200561126]
本研究では,バニラNeRFの簡易かつ効果的な拡張であるPaletteNeRFを提案する。
提案手法は, 広い範囲のNeRF表現シーンにおいて, 効率的な, ビュー一貫性, アーティファクトのないカラー編集を実現する。
論文 参考訳（メタデータ） (2022-12-25T08:01:03Z) - PaletteNeRF: Palette-based Appearance Editing of Neural Radiance Fields [60.66412075837952]
本稿では,3次元色分解に基づくニューラルラジアンスフィールド(NeRF)の出現編集手法であるPaletteNeRFを提案する。
提案手法は,各3次元点の出現を,パレットベースによる線形結合に分解する。
我々は、セマンティック・アウェアな外観編集のためのセマンティック機能を圧縮したフレームワークを拡張した。
論文 参考訳（メタデータ） (2022-12-21T00:20:01Z) - BiSTNet: Semantic Image Prior Guided Bidirectional Temporal Feature
Fusion for Deep Exemplar-based Video Colorization [70.14893481468525]
本稿では,参照例の色を探索し,映像のカラー化を支援するために有効なBiSTNetを提案する。
まず、各フレームと参照例間の深い特徴空間における意味的対応を確立し、参照例からの色情報を探究する。
我々は,フレームのオブジェクト境界をモデル化するための意味情報を抽出する混合専門家ブロックを開発した。
論文 参考訳（メタデータ） (2022-12-05T13:47:15Z) - Perceptual Artifacts Localization for Inpainting [60.5659086595901]
そこで本研究では,知覚的アーティファクトの自動セグメンテーションの学習タスクを提案する。
データセット上で高度なセグメンテーションネットワークをトレーニングし、インペイントされた画像内のインペイントされたアーティファクトを確実にローカライズする。
また, 対象領域と対象領域全体との比率である知覚人工物比 (PAR) という新しい評価指標を提案する。
論文 参考訳（メタデータ） (2022-08-05T18:50:51Z) - iColoriT: Towards Propagating Local Hint to the Right Region in
Interactive Colorization by Leveraging Vision Transformer [29.426206281291755]
iColoriT は,ユーザヒントを関連領域に伝達する新しい点対話型カラー化視覚変換器である。
提案手法は,デコーダアーキテクチャを置き換える効率的なアップサンプリング技術であるピクセルシャッフルを利用して,リアルタイムに画像のカラー化を行う。
論文 参考訳（メタデータ） (2022-07-14T11:40:32Z) - Hierarchical Vectorization for Portrait Images [12.32304366243904]
本稿では,画像を自動的に3階層の階層表現に変換するベクトル化手法を提案する。
基層は、鮮やかな幾何学的特徴と低周波色を特徴付けるスパース拡散曲線からなる。
中層は、仕様のハイライトと影を大きく編集可能なポアソン領域(PR)にエンコードし、ユーザーは直接照明を調整できる。
トップレベルには、高周波残基のための2種類のピクセルサイズのPRと、ピンプや色素化などの細部が含まれている。
論文 参考訳（メタデータ） (2022-05-24T07:58:41Z) - Flexible Portrait Image Editing with Fine-Grained Control [12.32304366243904]
我々は,1つのニューラルネットワークモデルを用いて,ジオメトリ,色,光,影のきめ細かい編集を支援する肖像画編集法を開発した。
生成者は、エッジマップ、カラーパレット、スライダー、マスクなどの変換された条件入力をユーザが直接編集できる。
本手法の有効性をCelebAMask-HQデータセット上で評価し,色/色/影/光の編集,手描きのスケッチから画像への変換,色変換など,幅広いタスクで検証した。
論文 参考訳（メタデータ） (2022-04-04T08:39:37Z) - 3D Photography using Context-aware Layered Depth Inpainting [50.66235795163143]
本稿では、1枚のRGB-D入力画像を3D写真に変換する方法を提案する。
学習に基づく着色モデルでは,新しい局所的な色と深度を隠蔽領域に合成する。
結果の3D写真は、モーションパララックスで効率よくレンダリングできる。
論文 参考訳（メタデータ） (2020-04-09T17:59:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。