論文の概要: CoRF : Colorizing Radiance Fields using Knowledge Distillation
- arxiv url: http://arxiv.org/abs/2309.07668v1
- Date: Thu, 14 Sep 2023 12:30:48 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-15 14:56:49.113062
- Title: CoRF : Colorizing Radiance Fields using Knowledge Distillation
- Title（参考訳）: CoRF : 知識蒸留による放射界の着色
- Authors: Ankit Dhiman and R Srinath and Srinjay Sarkar and Lokesh R Boregowda
and R Venkatesh Babu
- Abstract要約: 本研究では,入力グレースケールのマルチビュー画像からカラー化された新規ビューを合成する手法を提案する。
自然画像上で学習した着色ネットワークから放射野ネットワークに色知識を伝達する蒸留法を提案する。
実験結果から,提案手法は室内および屋外のシーンにおいて,優れた色付きノベルビューを生成することが示された。
- 参考スコア（独自算出の注目度）: 25.714166805323135
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Neural radiance field (NeRF) based methods enable high-quality novel-view
synthesis for multi-view images. This work presents a method for synthesizing
colorized novel views from input grey-scale multi-view images. When we apply
image or video-based colorization methods on the generated grey-scale novel
views, we observe artifacts due to inconsistency across views. Training a
radiance field network on the colorized grey-scale image sequence also does not
solve the 3D consistency issue. We propose a distillation based method to
transfer color knowledge from the colorization networks trained on natural
images to the radiance field network. Specifically, our method uses the
radiance field network as a 3D representation and transfers knowledge from
existing 2D colorization methods. The experimental results demonstrate that the
proposed method produces superior colorized novel views for indoor and outdoor
scenes while maintaining cross-view consistency than baselines. Further, we
show the efficacy of our method on applications like colorization of radiance
field network trained from 1.) Infra-Red (IR) multi-view images and 2.) Old
grey-scale multi-view image sequences.
- Abstract（参考訳）: ニューラルレイディアンス場(NeRF)に基づく手法は,マルチビュー画像の高品質なノベルビュー合成を可能にする。
本研究では,入力グレースケールのマルチビュー画像からカラー化された新規ビューを合成する手法を提案する。
生成したグレースケールの新規ビューに画像やビデオに基づく色付け手法を適用すると、ビュー間の不整合によるアーティファクトを観察する。
色付きグレースケール画像シーケンス上での放射界ネットワークのトレーニングも、3D一貫性の問題は解決しない。
本研究では,自然画像に訓練された着色ネットワークから放射場ネットワークへ色知識を伝達する蒸留法を提案する。
具体的には,放射場ネットワークを3次元表現として使用し,既存の2次元カラー化手法から知識を伝達する。
実験により,提案手法は,ベースラインよりもクロスビュー一貫性を維持しつつ,室内および屋外のシーンにおいて優れたカラー化ノベルビューが得られることを示した。
さらに,本手法が発色場ネットワークのカラー化などの応用に有効であることを示す。
1.赤外線(ir)多視点画像と画像
2) 古いグレースケールのマルチビュー画像シーケンス。
関連論文リスト
- A Nerf-Based Color Consistency Method for Remote Sensing Images [0.5735035463793009]
暗黙の表現を用いて画像特徴を一緒に織り込み、次に特徴空間を再照らし、新しい視点で融合画像を生成する、多視点画像のためのNeRFに基づく色整合法を提案する。
実験結果から,本手法により生成した合成画像は,エッジにおける視覚効果とスムーズな色遷移に優れることがわかった。
論文 参考訳（メタデータ） (2024-11-08T13:26:07Z) - Transforming Color: A Novel Image Colorization Method [8.041659727964305]
本稿では,色変換器とGANを用いた画像カラー化手法を提案する。
提案手法は,グローバルな情報を取得するためのトランスフォーマーアーキテクチャと,視覚的品質を改善するためのGANフレームワークを統合する。
実験の結果,提案するネットワークは,他の最先端のカラー化技術よりも優れていた。
論文 参考訳（メタデータ） (2024-10-07T07:23:42Z) - Layered Rendering Diffusion Model for Zero-Shot Guided Image Synthesis [60.260724486834164]
本稿では,テキストクエリに依存する拡散モデルにおける空間制御性向上のための革新的な手法を提案する。
視覚誘導(Vision Guidance)とレイヤーレンダリング拡散(Layered Rendering Diffusion)フレームワーク(Layered Diffusion)という2つの重要なイノベーションを提示します。
本稿では,ボックス・ツー・イメージ,セマンティック・マスク・ツー・イメージ,画像編集の3つの実践的応用に適用する。
論文 参考訳（メタデータ） (2023-11-30T10:36:19Z) - Novel View Synthesis from a Single RGBD Image for Indoor Scenes [4.292698270662031]
単一RGBD(Red Green Blue-Depth)入力から新しいビューイメージを合成する手法を提案する。
本手法では,RGBD画像を点雲に変換し,異なる視点からレンダリングし,NVSタスクを画像翻訳問題に変換する。
論文 参考訳（メタデータ） (2023-11-02T08:34:07Z) - PaletteNeRF: Palette-based Appearance Editing of Neural Radiance Fields [60.66412075837952]
本稿では,3次元色分解に基づくニューラルラジアンスフィールド(NeRF)の出現編集手法であるPaletteNeRFを提案する。
提案手法は,各3次元点の出現を,パレットベースによる線形結合に分解する。
我々は、セマンティック・アウェアな外観編集のためのセマンティック機能を圧縮したフレームワークを拡張した。
論文 参考訳（メタデータ） (2022-12-21T00:20:01Z) - Adaptive color transfer from images to terrain visualizations [0.0]
任意の画像から多様な地形モデルに色を移す2段階のカラー転送手法を提案する。
まず, 離散的な不規則な画像色を連続的, 定期的なカラーグリッドに整理する画像色分類手法を提案する。
カラークラフトに関する一連の主観的関心、例えば「より低い、高い」原則、カラーコンベンション、および空中視点を定量化する。
論文 参考訳（メタデータ） (2022-05-30T08:03:30Z) - IBRNet: Learning Multi-View Image-Based Rendering [67.15887251196894]
本稿では,近接ビューの疎集合を補間することにより,複雑なシーンの新しいビューを合成する手法を提案する。
レンダリング時にソースビューを描画することで、画像ベースのレンダリングに関する古典的な作業に戻ります。
論文 参考訳（メタデータ） (2021-02-25T18:56:21Z) - Neural Radiance Flow for 4D View Synthesis and Video Processing [59.9116932930108]
本稿では,RGB画像から動的シーンの4次元空間時空間表現を学習する手法を提案する。
私たちのアプローチの鍵は、シーンの3D占有率、輝度、およびダイナミクスをキャプチャすることを学ぶ神経暗黙表現を使用することです。
論文 参考訳（メタデータ） (2020-12-17T17:54:32Z) - Semantic View Synthesis [56.47999473206778]
我々はセマンティック・ビュー・シンセサイザーの新たな課題に取り組み、セマンティック・ラベル・マップを入力として、合成シーンの自由視点レンダリングを生成する。
まず,3次元映像の視覚面の色と深度を合成することに焦点を当てた。
次に、合成色と深度を用いて、多面画像(MPI)表現予測プロセスに明示的な制約を課す。
論文 参考訳（メタデータ） (2020-08-24T17:59:46Z) - 3D Photography using Context-aware Layered Depth Inpainting [50.66235795163143]
本稿では、1枚のRGB-D入力画像を3D写真に変換する方法を提案する。
学習に基づく着色モデルでは,新しい局所的な色と深度を隠蔽領域に合成する。
結果の3D写真は、モーションパララックスで効率よくレンダリングできる。
論文 参考訳（メタデータ） (2020-04-09T17:59:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。