論文の概要: ChromaDistill: Colorizing Monochrome Radiance Fields with Knowledge Distillation
- arxiv url: http://arxiv.org/abs/2309.07668v2
- Date: Fri, 06 Dec 2024 07:11:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-09 15:53:45.898886
- Title: ChromaDistill: Colorizing Monochrome Radiance Fields with Knowledge Distillation
- Title（参考訳）: クロマ蒸留:知識蒸留によるモノクローム放射界の着色
- Authors: Ankit Dhiman, R Srinath, Srinjay Sarkar, Lokesh R Boregowda, R Venkatesh Babu,
- Abstract要約: 入力グレースケールのマルチビュー画像から新しいビューをカラー化する方法を提案する。
自然画像に基づいて訓練したこれらのネットワークからターゲット3D表現に色を伝達する蒸留方式を提案する。
提案手法は基礎となる3D表現に非依存であり,NeRF法や3DGS法に容易に一般化可能である。
- 参考スコア（独自算出の注目度）: 23.968181738235266
- License:
- Abstract: Colorization is a well-explored problem in the domains of image and video processing. However, extending colorization to 3D scenes presents significant challenges. Recent Neural Radiance Field (NeRF) and Gaussian-Splatting(3DGS) methods enable high-quality novel-view synthesis for multi-view images. However, the question arises: How can we colorize these 3D representations? This work presents a method for synthesizing colorized novel views from input grayscale multi-view images. Using image or video colorization methods to colorize novel views from these 3D representations naively will yield output with severe inconsistencies. We introduce a novel method to use powerful image colorization models for colorizing 3D representations. We propose a distillation-based method that transfers color from these networks trained on natural images to the target 3D representation. Notably, this strategy does not add any additional weights or computational overhead to the original representation during inference. Extensive experiments demonstrate that our method produces high-quality colorized views for indoor and outdoor scenes, showcasing significant cross-view consistency advantages over baseline approaches. Our method is agnostic to the underlying 3D representation and easily generalizable to NeRF and 3DGS methods. Further, we validate the efficacy of our approach in several diverse applications: 1.) Infra-Red (IR) multi-view images and 2.) Legacy grayscale multi-view image sequences. Project Webpage: https://val.cds.iisc.ac.in/chroma-distill.github.io/
- Abstract（参考訳）: カラー化は画像処理とビデオ処理の領域においてよく研究されている問題である。
しかし、カラー化を3Dシーンに拡張することは大きな課題である。
近年のニューラルラジアンス場(NeRF)とガウス格子法(3DGS)は,多視点画像に対する高品質なノベルビュー合成を可能にする。
しかし、この3D表現をどのように着色できるかという疑問が浮かび上がっている。
本研究では,入力グレースケールのマルチビュー画像からカラー化された新規ビューを合成する手法を提案する。
画像やビデオのカラー化手法を用いて、これらの3D表現から新しいビューを選択的に色づけすることで、深刻な矛盾のある出力が得られる。
本稿では,3次元表現のカラー化に強力なカラー化モデルを用いる新しい手法を提案する。
自然画像に基づいて訓練したこれらのネットワークからターゲット3D表現に色を伝達する蒸留法を提案する。
特に、この戦略は推論中に元の表現に余分な重みや計算オーバーヘッドを加えない。
広汎な実験により,本手法は室内および屋外のシーンに対して高品質なカラー化ビューを生成できることが示され,ベースラインアプローチよりも優れたクロスビュー整合性を示す。
提案手法は基礎となる3D表現に非依存であり,NeRF法や3DGS法に容易に一般化可能である。
さらに、様々な応用において、我々のアプローチの有効性を検証する。
一 赤外線マルチビュー画像及び赤外線画像
2) レガシーグレースケールマルチビュー画像シーケンス。
Project Webpage: https://val.cds.iisc.ac.in/chroma-distill.github.io/
関連論文リスト
- Geometry-Aware Diffusion Models for Multiview Scene Inpainting [24.963896970130065]
我々は,異なる視点から捉えた入力画像の一部がマスクアウトされる3Dシーンのインペイントに焦点を当てた。
最近の研究は、生成モデルと3次元放射場を組み合わせることで、視点を越えて情報を融合することでこの問題に対処している。
本稿では,参照画像から幾何的および外見的手がかりに基づいて一貫したイメージを描ける幾何認識条件生成モデルを提案する。
論文 参考訳（メタデータ） (2025-02-18T23:30:10Z) - Transforming Color: A Novel Image Colorization Method [8.041659727964305]
本稿では,色変換器とGANを用いた画像カラー化手法を提案する。
提案手法は,グローバルな情報を取得するためのトランスフォーマーアーキテクチャと,視覚的品質を改善するためのGANフレームワークを統合する。
実験の結果,提案するネットワークは,他の最先端のカラー化技術よりも優れていた。
論文 参考訳（メタデータ） (2024-10-07T07:23:42Z) - MVD-Fusion: Single-view 3D via Depth-consistent Multi-view Generation [54.27399121779011]
本稿では,多視点RGB-D画像の生成モデルを用いて,単視点3次元推論を行うMVD-Fusionを提案する。
提案手法は,蒸留に基づく3D推論や先行多視点生成手法など,最近の最先端技術と比較して,より正確な合成を実現することができることを示す。
論文 参考訳（メタデータ） (2024-04-04T17:59:57Z) - ConRad: Image Constrained Radiance Fields for 3D Generation from a
Single Image [15.997195076224312]
単一のRGB画像から3Dオブジェクトを再構成する新しい手法を提案する。
提案手法は,最新の画像生成モデルを用いて隠れた3次元構造を推定する。
我々の3D再構成は入力に忠実なままであり、より一貫性のある3Dモデルを生成することを示す。
論文 参考訳（メタデータ） (2023-11-09T09:17:10Z) - Novel View Synthesis from a Single RGBD Image for Indoor Scenes [4.292698270662031]
単一RGBD(Red Green Blue-Depth)入力から新しいビューイメージを合成する手法を提案する。
本手法では,RGBD画像を点雲に変換し,異なる視点からレンダリングし,NVSタスクを画像翻訳問題に変換する。
論文 参考訳（メタデータ） (2023-11-02T08:34:07Z) - Vision Transformer for NeRF-Based View Synthesis from a Single Input
Image [49.956005709863355]
本稿では,グローバルな特徴と局所的な特徴を両立させ,表現力のある3D表現を実現することを提案する。
新たなビューを合成するために,学習した3次元表現に条件付き多層パーセプトロン(MLP)ネットワークを訓練し,ボリュームレンダリングを行う。
提案手法は,1つの入力画像のみから新しいビューを描画し,複数のオブジェクトカテゴリを1つのモデルで一般化することができる。
論文 参考訳（メタデータ） (2022-07-12T17:52:04Z) - A Shading-Guided Generative Implicit Model for Shape-Accurate 3D-Aware
Image Synthesis [163.96778522283967]
そこで本研究では,シェーディング誘導型生成暗黙モデルを提案する。
正確な3D形状は、異なる照明条件下でリアルなレンダリングをもたらす必要がある。
複数のデータセットに対する実験により,提案手法が光リアルな3次元画像合成を実現することを示す。
論文 参考訳（メタデータ） (2021-10-29T10:53:12Z) - IBRNet: Learning Multi-View Image-Based Rendering [67.15887251196894]
本稿では,近接ビューの疎集合を補間することにより,複雑なシーンの新しいビューを合成する手法を提案する。
レンダリング時にソースビューを描画することで、画像ベースのレンダリングに関する古典的な作業に戻ります。
論文 参考訳（メタデータ） (2021-02-25T18:56:21Z) - Geometric Correspondence Fields: Learned Differentiable Rendering for 3D
Pose Refinement in the Wild [96.09941542587865]
野生の任意のカテゴリのオブジェクトに対する微分可能レンダリングに基づく新しい3次元ポーズ精細化手法を提案する。
このようにして、3DモデルとRGB画像のオブジェクトを正確に整列し、3Dポーズ推定を大幅に改善する。
我々は、Pix3Dデータセットの挑戦に対するアプローチを評価し、複数のメトリクスにおける最先端の精錬手法と比較して、最大55%の改善を実現した。
論文 参考訳（メタデータ） (2020-07-17T12:34:38Z) - 3D Photography using Context-aware Layered Depth Inpainting [50.66235795163143]
本稿では、1枚のRGB-D入力画像を3D写真に変換する方法を提案する。
学習に基づく着色モデルでは,新しい局所的な色と深度を隠蔽領域に合成する。
結果の3D写真は、モーションパララックスで効率よくレンダリングできる。
論文 参考訳（メタデータ） (2020-04-09T17:59:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。