論文の概要: ChromaDistill: Colorizing Monochrome Radiance Fields with Knowledge Distillation
- arxiv url: http://arxiv.org/abs/2309.07668v2
- Date: Fri, 06 Dec 2024 07:11:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-09 15:53:45.898886
- Title: ChromaDistill: Colorizing Monochrome Radiance Fields with Knowledge Distillation
- Title（参考訳）: クロマ蒸留:知識蒸留によるモノクローム放射界の着色
- Authors: Ankit Dhiman, R Srinath, Srinjay Sarkar, Lokesh R Boregowda, R Venkatesh Babu,
- Abstract要約: 入力グレースケールのマルチビュー画像から新しいビューをカラー化する方法を提案する。
自然画像に基づいて訓練したこれらのネットワークからターゲット3D表現に色を伝達する蒸留方式を提案する。
提案手法は基礎となる3D表現に非依存であり,NeRF法や3DGS法に容易に一般化可能である。
- 参考スコア（独自算出の注目度）: 23.968181738235266
- License:
- Abstract: Colorization is a well-explored problem in the domains of image and video processing. However, extending colorization to 3D scenes presents significant challenges. Recent Neural Radiance Field (NeRF) and Gaussian-Splatting(3DGS) methods enable high-quality novel-view synthesis for multi-view images. However, the question arises: How can we colorize these 3D representations? This work presents a method for synthesizing colorized novel views from input grayscale multi-view images. Using image or video colorization methods to colorize novel views from these 3D representations naively will yield output with severe inconsistencies. We introduce a novel method to use powerful image colorization models for colorizing 3D representations. We propose a distillation-based method that transfers color from these networks trained on natural images to the target 3D representation. Notably, this strategy does not add any additional weights or computational overhead to the original representation during inference. Extensive experiments demonstrate that our method produces high-quality colorized views for indoor and outdoor scenes, showcasing significant cross-view consistency advantages over baseline approaches. Our method is agnostic to the underlying 3D representation and easily generalizable to NeRF and 3DGS methods. Further, we validate the efficacy of our approach in several diverse applications: 1.) Infra-Red (IR) multi-view images and 2.) Legacy grayscale multi-view image sequences. Project Webpage: https://val.cds.iisc.ac.in/chroma-distill.github.io/
- Abstract（参考訳）: カラー化は画像処理とビデオ処理の領域においてよく研究されている問題である。
しかし、カラー化を3Dシーンに拡張することは大きな課題である。
近年のニューラルラジアンス場(NeRF)とガウス格子法(3DGS)は,多視点画像に対する高品質なノベルビュー合成を可能にする。
しかし、この3D表現をどのように着色できるかという疑問が浮かび上がっている。
本研究では,入力グレースケールのマルチビュー画像からカラー化された新規ビューを合成する手法を提案する。
画像やビデオのカラー化手法を用いて、これらの3D表現から新しいビューを選択的に色づけすることで、深刻な矛盾のある出力が得られる。
本稿では,3次元表現のカラー化に強力なカラー化モデルを用いる新しい手法を提案する。
自然画像に基づいて訓練したこれらのネットワークからターゲット3D表現に色を伝達する蒸留法を提案する。
特に、この戦略は推論中に元の表現に余分な重みや計算オーバーヘッドを加えない。
広汎な実験により,本手法は室内および屋外のシーンに対して高品質なカラー化ビューを生成できることが示され,ベースラインアプローチよりも優れたクロスビュー整合性を示す。
提案手法は基礎となる3D表現に非依存であり,NeRF法や3DGS法に容易に一般化可能である。
さらに、様々な応用において、我々のアプローチの有効性を検証する。
一 赤外線マルチビュー画像及び赤外線画像
2) レガシーグレースケールマルチビュー画像シーケンス。
Project Webpage: https://val.cds.iisc.ac.in/chroma-distill.github.io/
関連論文リスト
- A Nerf-Based Color Consistency Method for Remote Sensing Images [0.5735035463793009]
暗黙の表現を用いて画像特徴を一緒に織り込み、次に特徴空間を再照らし、新しい視点で融合画像を生成する、多視点画像のためのNeRFに基づく色整合法を提案する。
実験結果から,本手法により生成した合成画像は,エッジにおける視覚効果とスムーズな色遷移に優れることがわかった。
論文 参考訳（メタデータ） (2024-11-08T13:26:07Z) - Transforming Color: A Novel Image Colorization Method [8.041659727964305]
本稿では,色変換器とGANを用いた画像カラー化手法を提案する。
提案手法は,グローバルな情報を取得するためのトランスフォーマーアーキテクチャと,視覚的品質を改善するためのGANフレームワークを統合する。
実験の結果,提案するネットワークは,他の最先端のカラー化技術よりも優れていた。
論文 参考訳（メタデータ） (2024-10-07T07:23:42Z) - Layered Rendering Diffusion Model for Zero-Shot Guided Image Synthesis [60.260724486834164]
本稿では,テキストクエリに依存する拡散モデルにおける空間制御性向上のための革新的な手法を提案する。
視覚誘導(Vision Guidance)とレイヤーレンダリング拡散(Layered Rendering Diffusion)フレームワーク(Layered Diffusion)という2つの重要なイノベーションを提示します。
本稿では,ボックス・ツー・イメージ,セマンティック・マスク・ツー・イメージ,画像編集の3つの実践的応用に適用する。
論文 参考訳（メタデータ） (2023-11-30T10:36:19Z) - Novel View Synthesis from a Single RGBD Image for Indoor Scenes [4.292698270662031]
単一RGBD(Red Green Blue-Depth)入力から新しいビューイメージを合成する手法を提案する。
本手法では,RGBD画像を点雲に変換し,異なる視点からレンダリングし,NVSタスクを画像翻訳問題に変換する。
論文 参考訳（メタデータ） (2023-11-02T08:34:07Z) - PaletteNeRF: Palette-based Appearance Editing of Neural Radiance Fields [60.66412075837952]
本稿では,3次元色分解に基づくニューラルラジアンスフィールド(NeRF)の出現編集手法であるPaletteNeRFを提案する。
提案手法は,各3次元点の出現を,パレットベースによる線形結合に分解する。
我々は、セマンティック・アウェアな外観編集のためのセマンティック機能を圧縮したフレームワークを拡張した。
論文 参考訳（メタデータ） (2022-12-21T00:20:01Z) - Adaptive color transfer from images to terrain visualizations [0.0]
任意の画像から多様な地形モデルに色を移す2段階のカラー転送手法を提案する。
まず, 離散的な不規則な画像色を連続的, 定期的なカラーグリッドに整理する画像色分類手法を提案する。
カラークラフトに関する一連の主観的関心、例えば「より低い、高い」原則、カラーコンベンション、および空中視点を定量化する。
論文 参考訳（メタデータ） (2022-05-30T08:03:30Z) - IBRNet: Learning Multi-View Image-Based Rendering [67.15887251196894]
本稿では,近接ビューの疎集合を補間することにより,複雑なシーンの新しいビューを合成する手法を提案する。
レンダリング時にソースビューを描画することで、画像ベースのレンダリングに関する古典的な作業に戻ります。
論文 参考訳（メタデータ） (2021-02-25T18:56:21Z) - Neural Radiance Flow for 4D View Synthesis and Video Processing [59.9116932930108]
本稿では,RGB画像から動的シーンの4次元空間時空間表現を学習する手法を提案する。
私たちのアプローチの鍵は、シーンの3D占有率、輝度、およびダイナミクスをキャプチャすることを学ぶ神経暗黙表現を使用することです。
論文 参考訳（メタデータ） (2020-12-17T17:54:32Z) - Semantic View Synthesis [56.47999473206778]
我々はセマンティック・ビュー・シンセサイザーの新たな課題に取り組み、セマンティック・ラベル・マップを入力として、合成シーンの自由視点レンダリングを生成する。
まず,3次元映像の視覚面の色と深度を合成することに焦点を当てた。
次に、合成色と深度を用いて、多面画像(MPI)表現予測プロセスに明示的な制約を課す。
論文 参考訳（メタデータ） (2020-08-24T17:59:46Z) - 3D Photography using Context-aware Layered Depth Inpainting [50.66235795163143]
本稿では、1枚のRGB-D入力画像を3D写真に変換する方法を提案する。
学習に基づく着色モデルでは,新しい局所的な色と深度を隠蔽領域に合成する。
結果の3D写真は、モーションパララックスで効率よくレンダリングできる。
論文 参考訳（メタデータ） (2020-04-09T17:59:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。