論文の概要: IReNe: Instant Recoloring of Neural Radiance Fields
- arxiv url: http://arxiv.org/abs/2405.19876v2
- Date: Mon, 10 Jun 2024 12:12:38 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-11 23:25:32.817709
- Title: IReNe: Instant Recoloring of Neural Radiance Fields
- Title（参考訳）: IReNe: ニューラルネットワークのインスタントリカラー化
- Authors: Alessio Mazzucchelli, Adrian Garcia-Garcia, Elena Garces, Fernando Rivas-Manzaneque, Francesc Moreno-Noguer, Adrian Penate-Sanchez,
- Abstract要約: 我々は、NeRFにおける高速、ほぼリアルタイムな色編集を可能にするIReNeを紹介する。
トレーニング済みのNeRFモデルとユーザ対応カラー編集によるトレーニングイメージを併用する。
この調整により、モデルはトレーニング画像からの色変化を正確に表現して、新しいシーンビューを生成することができる。
- 参考スコア（独自算出の注目度）: 54.94866137102324
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Advances in NERFs have allowed for 3D scene reconstructions and novel view synthesis. Yet, efficiently editing these representations while retaining photorealism is an emerging challenge. Recent methods face three primary limitations: they're slow for interactive use, lack precision at object boundaries, and struggle to ensure multi-view consistency. We introduce IReNe to address these limitations, enabling swift, near real-time color editing in NeRF. Leveraging a pre-trained NeRF model and a single training image with user-applied color edits, IReNe swiftly adjusts network parameters in seconds. This adjustment allows the model to generate new scene views, accurately representing the color changes from the training image while also controlling object boundaries and view-specific effects. Object boundary control is achieved by integrating a trainable segmentation module into the model. The process gains efficiency by retraining only the weights of the last network layer. We observed that neurons in this layer can be classified into those responsible for view-dependent appearance and those contributing to diffuse appearance. We introduce an automated classification approach to identify these neuron types and exclusively fine-tune the weights of the diffuse neurons. This further accelerates training and ensures consistent color edits across different views. A thorough validation on a new dataset, with edited object colors, shows significant quantitative and qualitative advancements over competitors, accelerating speeds by 5x to 500x.
- Abstract（参考訳）: NERFの進歩により、3Dシーンの再構築と新しいビュー合成が可能になった。
しかし、これらの表現をフォトリアリズムを維持しながら効率的に編集することは、新たな課題である。
インタラクティブな使用には時間がかかり、オブジェクト境界の精度が欠如しており、マルチビューの一貫性を確保するのに苦労しています。
我々はこれらの制限に対処するためにIReNeを導入し、NeRFにおける高速でほぼリアルタイムな色編集を可能にした。
トレーニング済みのNeRFモデルとユーザ対応のカラー編集を備えた単一のトレーニングイメージを活用して、IReNeはネットワークパラメータを数秒で迅速に調整する。
この調整により、モデルは新しいシーンビューを生成し、トレーニング画像からの色変化を正確に表現し、オブジェクト境界とビュー固有の効果を制御できる。
オブジェクト境界制御は、トレーニング可能なセグメンテーションモジュールをモデルに統合することで実現される。
このプロセスは、最後のネットワーク層の重みだけをトレーニングすることで効率を上げる。
この層内のニューロンは、視力依存的な外見と拡散性外見に寄与するニューロンに分類できる。
我々は,これらのニューロンタイプを同定し,拡散ニューロンの重みを限定的に微調整する自動分類手法を導入する。
これにより、トレーニングをさらに加速し、異なるビューにまたがる一貫性のある色編集が保証される。
オブジェクトの色を編集した新しいデータセットに対する徹底的な検証では、競合に対する量的および質的な進歩を示し、スピードを5倍から500倍に加速する。
関連論文リスト
- NeRF-Casting: Improved View-Dependent Appearance with Consistent Reflections [57.63028964831785]
最近の研究は、遠方の環境照明の詳細な明細な外観を描画するNeRFの能力を改善しているが、近い内容の一貫した反射を合成することはできない。
我々はこれらの問題をレイトレーシングに基づくアプローチで解決する。
このモデルでは、それぞれのカメラ線に沿った点における視界依存放射率を求めるために高価なニューラルネットワークをクエリする代わりに、これらの点から光を流し、NeRF表現を通して特徴ベクトルを描画します。
論文 参考訳（メタデータ） (2024-05-23T17:59:57Z) - Taming Latent Diffusion Model for Neural Radiance Field Inpainting [63.297262813285265]
ニューラル・ラジアンス・フィールド(NeRF)は多視点画像からの3次元再構成の表現である。
本研究では,シーンごとのカスタマイズによる拡散モデルの傾向の緩和と,マスキングトレーニングによるテクスチャシフトの緩和を提案する。
我々のフレームワークは、様々な現実世界のシーンに最先端のNeRF塗装結果をもたらす。
論文 参考訳（メタデータ） (2024-04-15T17:59:57Z) - Mitigating Motion Blur in Neural Radiance Fields with Events and Frames [21.052912896866953]
本研究では,フレームやイベントを融合させることにより,カメラ動作下でのNeRF再構成を改善する新しい手法を提案する。
我々は、イベント二重積分を追加のモデルベースとして利用して、ぼやけた生成プロセスを明示的にモデル化する。
合成および実データから,提案手法は,フレームのみを使用する既存の劣化型NeRFよりも優れていることを示す。
論文 参考訳（メタデータ） (2024-03-28T19:06:37Z) - LAENeRF: Local Appearance Editing for Neural Radiance Fields [4.681790910494339]
LAENeRFは、NeRFのフォトリアリスティックおよびノンフォトリアリスティックな外観編集のためのフレームワークである。
我々は、予想される線量から最終的な出力色へのマッピングを学習し、スタイルロスによって教師できる。
マッピングのために1光線当たりの1点を頼りにすることで、メモリ要件を制限し、高速な最適化を可能にします。
論文 参考訳（メタデータ） (2023-12-15T16:23:42Z) - Focused Specific Objects NeRF [1.1424576927168384]
本稿では,シーンのセマンティクスを利用して高速トレーニングの改善を行い,ネットワークが特定のターゲットに集中できるようにする。
トレーニング速度は7.78倍に向上し、レンダリング効果が向上し、小型から中型のターゲットを高速にレンダリングすることができる。
また、NeRFの多面的一貫性と滑らかさを考慮し、陰極線サンプルをスパースサンプリングすることで、弱い監督について検討する。
論文 参考訳（メタデータ） (2023-08-11T07:07:40Z) - Self-NeRF: A Self-Training Pipeline for Few-Shot Neural Radiance Fields [17.725937326348994]
入力ビューの少ない放射場を反復的に洗練する自己進化型NeRFであるSelf-NeRFを提案する。
各イテレーションでは、予測された色や、前回のイテレーションからモデルが生成した歪んだピクセルで、目に見えないビューをラベル付けします。
これらの拡張された擬似ビューは、NeRFの性能を低下させる色やワープアーティファクトのインプレクションによって悩まされる。
論文 参考訳（メタデータ） (2023-03-10T08:22:36Z) - PaletteNeRF: Palette-based Appearance Editing of Neural Radiance Fields [60.66412075837952]
本稿では,3次元色分解に基づくニューラルラジアンスフィールド(NeRF)の出現編集手法であるPaletteNeRFを提案する。
提案手法は,各3次元点の出現を,パレットベースによる線形結合に分解する。
我々は、セマンティック・アウェアな外観編集のためのセマンティック機能を圧縮したフレームワークを拡張した。
論文 参考訳（メタデータ） (2022-12-21T00:20:01Z) - EventNeRF: Neural Radiance Fields from a Single Colour Event Camera [81.19234142730326]
本稿では, 単色イベントストリームを入力として, 3次元一貫性, 密度, 新規なビュー合成法を提案する。
その中核は、カラーイベントチャンネルのオリジナルの解像度を維持しながら、イベントから完全に自己教師された方法で訓練された神経放射場である。
提案手法をいくつかの難解な合成シーンと実シーンで定性的・数値的に評価し,より密集し,より視覚的に魅力的であることを示す。
論文 参考訳（メタデータ） (2022-06-23T17:59:53Z) - Mip-NeRF RGB-D: Depth Assisted Fast Neural Radiance Fields [0.696125353550498]
ニューラルレイディアンスフィールド(NeRF)のようなニューラルシーン表現は、既知のポーズを持つカラー画像のセットを使用して多層パーセプトロン(MLP)をトレーニングすることに基づいている。
今や多くのデバイスがRGB-D情報を生成しており、これは幅広いタスクにおいて非常に重要であることが示されている。
本稿では,色画像に深度情報を組み込むことにより,これらの有望な暗示表現にどのような改善をもたらすかを検討する。
論文 参考訳（メタデータ） (2022-05-19T07:11:42Z) - NeRF++: Analyzing and Improving Neural Radiance Fields [117.73411181186088]
ニューラル・レージアンス・フィールド(NeRF)は、様々なキャプチャ設定のための印象的なビュー合成結果を達成する。
NeRFは、ビュー不変不透明度とビュー依存カラーボリュームを表す多層パーセプトロンを一連のトレーニング画像に適合させる。
大規模3次元シーンにおける物体の360度捕獲にNeRFを適用する際のパラメトリゼーション問題に対処する。
論文 参考訳（メタデータ） (2020-10-15T03:24:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。