論文の概要: CoRF : Colorizing Radiance Fields using Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2309.07668v1
• Date: Thu, 14 Sep 2023 12:30:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-15 14:56:49.113062
• Title: CoRF : Colorizing Radiance Fields using Knowledge Distillation
• Title（参考訳）: CoRF : 知識蒸留による放射界の着色
• Authors: Ankit Dhiman and R Srinath and Srinjay Sarkar and Lokesh R Boregowda and R Venkatesh Babu
• Abstract要約: 本研究では,入力グレースケールのマルチビュー画像からカラー化された新規ビューを合成する手法を提案する。 自然画像上で学習した着色ネットワークから放射野ネットワークに色知識を伝達する蒸留法を提案する。 実験結果から,提案手法は室内および屋外のシーンにおいて,優れた色付きノベルビューを生成することが示された。
• 参考スコア（独自算出の注目度）: 25.714166805323135
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural radiance field (NeRF) based methods enable high-quality novel-view synthesis for multi-view images. This work presents a method for synthesizing colorized novel views from input grey-scale multi-view images. When we apply image or video-based colorization methods on the generated grey-scale novel views, we observe artifacts due to inconsistency across views. Training a radiance field network on the colorized grey-scale image sequence also does not solve the 3D consistency issue. We propose a distillation based method to transfer color knowledge from the colorization networks trained on natural images to the radiance field network. Specifically, our method uses the radiance field network as a 3D representation and transfers knowledge from existing 2D colorization methods. The experimental results demonstrate that the proposed method produces superior colorized novel views for indoor and outdoor scenes while maintaining cross-view consistency than baselines. Further, we show the efficacy of our method on applications like colorization of radiance field network trained from 1.) Infra-Red (IR) multi-view images and 2.) Old grey-scale multi-view image sequences.
• Abstract（参考訳）: ニューラルレイディアンス場(NeRF)に基づく手法は,マルチビュー画像の高品質なノベルビュー合成を可能にする。 本研究では,入力グレースケールのマルチビュー画像からカラー化された新規ビューを合成する手法を提案する。 生成したグレースケールの新規ビューに画像やビデオに基づく色付け手法を適用すると、ビュー間の不整合によるアーティファクトを観察する。 色付きグレースケール画像シーケンス上での放射界ネットワークのトレーニングも、3D一貫性の問題は解決しない。 本研究では,自然画像に訓練された着色ネットワークから放射場ネットワークへ色知識を伝達する蒸留法を提案する。 具体的には,放射場ネットワークを3次元表現として使用し,既存の2次元カラー化手法から知識を伝達する。 実験により,提案手法は,ベースラインよりもクロスビュー一貫性を維持しつつ,室内および屋外のシーンにおいて優れたカラー化ノベルビューが得られることを示した。 さらに,本手法が発色場ネットワークのカラー化などの応用に有効であることを示す。 1.赤外線(ir)多視点画像と画像 2) 古いグレースケールのマルチビュー画像シーケンス。

関連論文リスト

• Geometry-Aware Diffusion Models for Multiview Scene Inpainting [24.963896970130065]
  我々は,異なる視点から捉えた入力画像の一部がマスクアウトされる3Dシーンのインペイントに焦点を当てた。 最近の研究は、生成モデルと3次元放射場を組み合わせることで、視点を越えて情報を融合することでこの問題に対処している。 本稿では,参照画像から幾何的および外見的手がかりに基づいて一貫したイメージを描ける幾何認識条件生成モデルを提案する。
  論文  参考訳（メタデータ） (2025-02-18T23:30:10Z)
• Transforming Color: A Novel Image Colorization Method [8.041659727964305]
  本稿では,色変換器とGANを用いた画像カラー化手法を提案する。 提案手法は,グローバルな情報を取得するためのトランスフォーマーアーキテクチャと,視覚的品質を改善するためのGANフレームワークを統合する。 実験の結果,提案するネットワークは,他の最先端のカラー化技術よりも優れていた。
  論文  参考訳（メタデータ） (2024-10-07T07:23:42Z)
• MVD-Fusion: Single-view 3D via Depth-consistent Multi-view Generation [54.27399121779011]
  本稿では,多視点RGB-D画像の生成モデルを用いて,単視点3次元推論を行うMVD-Fusionを提案する。 提案手法は,蒸留に基づく3D推論や先行多視点生成手法など,最近の最先端技術と比較して,より正確な合成を実現することができることを示す。
  論文  参考訳（メタデータ） (2024-04-04T17:59:57Z)
• ConRad: Image Constrained Radiance Fields for 3D Generation from a Single Image [15.997195076224312]
  単一のRGB画像から3Dオブジェクトを再構成する新しい手法を提案する。 提案手法は,最新の画像生成モデルを用いて隠れた3次元構造を推定する。 我々の3D再構成は入力に忠実なままであり、より一貫性のある3Dモデルを生成することを示す。
  論文  参考訳（メタデータ） (2023-11-09T09:17:10Z)
• Novel View Synthesis from a Single RGBD Image for Indoor Scenes [4.292698270662031]
  単一RGBD(Red Green Blue-Depth)入力から新しいビューイメージを合成する手法を提案する。 本手法では,RGBD画像を点雲に変換し,異なる視点からレンダリングし,NVSタスクを画像翻訳問題に変換する。
  論文  参考訳（メタデータ） (2023-11-02T08:34:07Z)
• Vision Transformer for NeRF-Based View Synthesis from a Single Input Image [49.956005709863355]
  本稿では,グローバルな特徴と局所的な特徴を両立させ,表現力のある3D表現を実現することを提案する。 新たなビューを合成するために,学習した3次元表現に条件付き多層パーセプトロン(MLP)ネットワークを訓練し,ボリュームレンダリングを行う。 提案手法は,1つの入力画像のみから新しいビューを描画し,複数のオブジェクトカテゴリを1つのモデルで一般化することができる。
  論文  参考訳（メタデータ） (2022-07-12T17:52:04Z)
• A Shading-Guided Generative Implicit Model for Shape-Accurate 3D-Aware Image Synthesis [163.96778522283967]
  そこで本研究では,シェーディング誘導型生成暗黙モデルを提案する。 正確な3D形状は、異なる照明条件下でリアルなレンダリングをもたらす必要がある。 複数のデータセットに対する実験により,提案手法が光リアルな3次元画像合成を実現することを示す。
  論文  参考訳（メタデータ） (2021-10-29T10:53:12Z)
• IBRNet: Learning Multi-View Image-Based Rendering [67.15887251196894]
  本稿では,近接ビューの疎集合を補間することにより,複雑なシーンの新しいビューを合成する手法を提案する。 レンダリング時にソースビューを描画することで、画像ベースのレンダリングに関する古典的な作業に戻ります。
  論文  参考訳（メタデータ） (2021-02-25T18:56:21Z)
• Geometric Correspondence Fields: Learned Differentiable Rendering for 3D Pose Refinement in the Wild [96.09941542587865]
  野生の任意のカテゴリのオブジェクトに対する微分可能レンダリングに基づく新しい3次元ポーズ精細化手法を提案する。 このようにして、3DモデルとRGB画像のオブジェクトを正確に整列し、3Dポーズ推定を大幅に改善する。 我々は、Pix3Dデータセットの挑戦に対するアプローチを評価し、複数のメトリクスにおける最先端の精錬手法と比較して、最大55%の改善を実現した。
  論文  参考訳（メタデータ） (2020-07-17T12:34:38Z)
• 3D Photography using Context-aware Layered Depth Inpainting [50.66235795163143]
  本稿では、1枚のRGB-D入力画像を3D写真に変換する方法を提案する。 学習に基づく着色モデルでは,新しい局所的な色と深度を隠蔽領域に合成する。 結果の3D写真は、モーションパララックスで効率よくレンダリングできる。
  論文  参考訳（メタデータ） (2020-04-09T17:59:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。