論文の概要: Unsupervised Intrinsic Image Decomposition with LiDAR Intensity Enhanced Training
- arxiv url: http://arxiv.org/abs/2403.14089v1
- Date: Thu, 21 Mar 2024 02:45:16 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-22 15:36:52.251173
- Title: Unsupervised Intrinsic Image Decomposition with LiDAR Intensity Enhanced Training
- Title（参考訳）: LiDARインテンシティ強化トレーニングによる教師なし内在画像分解
- Authors: Shogo Sato, Takuhiro Kaneko, Kazuhiko Murasaki, Taiga Yoshida, Ryuichi Tanida, Akisato Kimura,
- Abstract要約: 内在的画像分解(IID)は、自然像をこれらの基礎的な真実なしにアルベドと日陰に分離する過程である。
本稿では,画像とLiDAR強度をトレーニング中に利用しながら,推論時にのみ画像を利用する新しい手法を提案する。
- 参考スコア（独自算出の注目度）: 16.789654077640716
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Unsupervised intrinsic image decomposition (IID) is the process of separating a natural image into albedo and shade without these ground truths. A recent model employing light detection and ranging (LiDAR) intensity demonstrated impressive performance, though the necessity of LiDAR intensity during inference restricts its practicality. Thus, IID models employing only a single image during inference while keeping as high IID quality as the one with an image plus LiDAR intensity are highly desired. To address this challenge, we propose a novel approach that utilizes only an image during inference while utilizing an image and LiDAR intensity during training. Specifically, we introduce a partially-shared model that accepts an image and LiDAR intensity individually using a different specific encoder but processes them together in specific components to learn shared representations. In addition, to enhance IID quality, we propose albedo-alignment loss and image-LiDAR conversion (ILC) paths. Albedo-alignment loss aligns the gray-scale albedo from an image to that inferred from LiDAR intensity, thereby reducing cast shadows in albedo from an image due to the absence of cast shadows in LiDAR intensity. Furthermore, to translate the input image into albedo and shade style while keeping the image contents, the input image is separated into style code and content code by encoders. The ILC path mutually translates the image and LiDAR intensity, which share content but differ in style, contributing to the distinct differentiation of style from content. Consequently, LIET achieves comparable IID quality to the existing model with LiDAR intensity, while utilizing only an image without LiDAR intensity during inference.
- Abstract（参考訳）: 教師なし内在的画像分解(IID)は、自然像をこれらの基礎的な真実なしにアルベドと日陰に分離する過程である。
光検出・測光(LiDAR)強度を用いた最近のモデルでは、推論時のLiDAR強度の必要性は実用性を制限するが、顕著な性能を示した。
したがって、推論中に1つの画像のみを用いるIIDモデルは、画像+LiDAR強度のモデルと同じくらい高いIID品質を維持することが望まれる。
この課題に対処するために、トレーニング中に画像とLiDAR強度を利用しながら、推論時にのみ画像を利用する新しいアプローチを提案する。
具体的には、異なる特定のエンコーダを用いて画像とLiDAR強度を個別に受け入れる部分共有モデルを導入するが、それらを特定のコンポーネントで処理して共有表現を学習する。
さらに,IID品質を向上させるため,アルベドアライメント損失と画像-LiDAR変換(ILC)経路を提案する。
アルベド配向損失は、画像からLiDAR強度から推定される画像へのグレースケールアルベドの整列を図示し、これにより、LiDAR強度に鋳造影がないため、画像からアルベドの鋳造影を減少させる。
さらに、入力画像を、画像内容を保持しつつ、アルベド、シェードスタイルに変換するために、エンコーダにより、入力画像をスタイルコードとコンテンツコードに分離する。
ILCパスは、コンテンツを共有するがスタイルが異なる画像とLiDAR強度を相互に翻訳し、コンテンツとスタイルの区別に寄与する。
その結果、LIETはLiDAR強度を持つ既存モデルに匹敵するIID品質を達成し、推論中にLiDAR強度を持たない画像のみを活用する。
関連論文リスト
- Latent Intrinsics Emerge from Training to Relight [21.766083733177652]
本稿では,データ駆動型リライト方式について述べる。
我々はアルベドを例を使わずに我々の潜伏した内生生物から回収できることを示し, 回収したアルベドはSOTA法と競合することを示した。
論文 参考訳（メタデータ） (2024-05-31T17:59:12Z) - Fine-grained Image-to-LiDAR Contrastive Distillation with Visual Foundation Models [55.99654128127689]
Visual Foundation Models (VFM) は、3D表現学習を強化するために使用される。
VFMは、弱制御された画素間コントラスト蒸留のためのセマンティックラベルを生成する。
我々は,空間分布とカテゴリー周波数の不均衡に対応するために,点のサンプリング確率を適応させる。
論文 参考訳（メタデータ） (2024-05-23T07:48:19Z) - CodeEnhance: A Codebook-Driven Approach for Low-Light Image Enhancement [97.95330185793358]
低照度画像強調(LLIE)は、低照度画像を改善することを目的としている。
既存の手法では、様々な明るさ劣化からの回復の不確実性と、テクスチャと色情報の喪失という2つの課題に直面している。
我々は、量子化された先行値と画像の精細化を利用して、新しいエンハンスメント手法、CodeEnhanceを提案する。
論文 参考訳（メタデータ） (2024-04-08T07:34:39Z) - Contrastive Denoising Score for Text-guided Latent Diffusion Image Editing [58.48890547818074]
潜在拡散モデル(LDM)に対するコントラストデノナイジングスコア(CUT)の強力な修正を提案する。
提案手法により,ゼロショット画像から画像への変換とニューラルフィールド(NeRF)の編集が可能となり,入力と出力の間の構造的対応が達成される。
論文 参考訳（メタデータ） (2023-11-30T15:06:10Z) - Diving into Darkness: A Dual-Modulated Framework for High-Fidelity
Super-Resolution in Ultra-Dark Environments [51.58771256128329]
本稿では,低照度超解像課題の性質を深く理解しようとする,特殊二変調学習フレームワークを提案する。
Illuminance-Semantic Dual Modulation (ISDM) コンポーネントを開発した。
包括的実験は、我々のアプローチが多様で挑戦的な超低照度条件に適用可能であることを示す。
論文 参考訳（メタデータ） (2023-09-11T06:55:32Z) - Unsupervised Intrinsic Image Decomposition with LiDAR Intensity [15.708803145058138]
固有画像分解(IID)は、自然な画像をアルベドとシェードに分解するタスクである。
本稿では,LiDAR強度(IID-LI)を用いた教師なし固有画像分解法を提案する。
論文 参考訳（メタデータ） (2023-03-20T01:26:16Z) - StyLitGAN: Prompting StyleGAN to Produce New Illumination Conditions [1.933681537640272]
本稿では,ラベル付きデータがない場合に生成した画像をリライトし,再提示するための新しい手法であるStyLitGANを提案する。
提案手法では,ペアデータやCGIデータを必要とせず,キャストシャドウ,ソフトシャドウ,反射間効果,光沢効果などのリアルな照明効果を持つ画像を生成する。
論文 参考訳（メタデータ） (2022-05-20T17:59:40Z) - Enhancing Low-Light Images in Real World via Cross-Image Disentanglement [58.754943762945864]
そこで本研究では,現実の汚職とミスアライメントされたトレーニング画像からなる,新しい低照度画像強調データセットを提案する。
本モデルでは,新たに提案したデータセットと,他の一般的な低照度データセットの両方に対して,最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2022-01-10T03:12:52Z) - Semantically Contrastive Learning for Low-light Image Enhancement [48.71522073014808]
低照度画像強調(LLE)は、単一のRGB画像の低コントラストと低可視性の問題が好ましくないため、依然として困難である。
LLE(SCL-LLE)のための効果的な意味論的コントラスト学習パラダイムを提案する。
提案手法は6つの独立したクロスシーンデータセット上で,最先端のLLEモデルを上回る。
論文 参考訳（メタデータ） (2021-12-13T07:08:33Z) - A Switched View of Retinex: Deep Self-Regularized Low-Light Image
Enhancement [5.217306793654357]
自己正規化低光度画像強調は、トレーニングにおいて通常の光画像を必要としないため、ペアまたはペアなしの低光/非正規画像のチェーンから解放される。
本稿では,すべての色(Hue, Saturation)を保存し,Retinex理論を輝度(Value)にのみ統合する,Retinexに基づく新たな自己正規化手法を提案する。
本手法は、低光度画像を色と明るさの2つのサブスペースに分離し、保存と拡張性を向上させるため効率的である。
論文 参考訳（メタデータ） (2021-01-03T10:40:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。