論文の概要: Depth-to-RGB: Repurposing a Frozen Depth Estimator for Geometry-Guided Compositing

• arxiv url: http://arxiv.org/abs/2610.09125v1
• Date: Tue, 06 Oct 2026 21:19:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.609987
• Title: Depth-to-RGB: Repurposing a Frozen Depth Estimator for Geometry-Guided Compositing
• Title（参考訳）: 深度-RGB:幾何誘導合成のための凍結深度推定器の再利用
• Abstract要約: D2R(Depth-to-RGB)フレームワークは、RGB入力でまだ観測されていないシーンの合成深さを予測する。 ペア化されたシーンのエンコーダ特徴をターゲットとして,凍結深度推定器への参照条件補正を学習する。 完全D2Rシステムは、推定器由来の幾何と測光品質において12のオープンソースと3つのクローズドソースベースラインを導く。
• 参考スコア（独自算出の注目度）: 14.985953336655413
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reference-based object compositing inserts or replaces an object using a background image, a reference image, and a 2D compositing mask. These inputs guide appearance and placement but leave the completed scene's geometry implicit, which can distort object structure or alter the surroundings. Our Depth-to-RGB (D2R) framework predicts composite depth for a scene not yet observed in the RGB inputs. It learns reference-conditioned corrections to a frozen depth estimator using encoder features of paired completed scenes as targets. The unchanged decoder maps the corrected representation to the intended scene's depth, which a separately trained renderer holds fixed during RGB synthesis. Under matched architecture and training, encoder-feature supervision reduces OOD Stage-1 AbsRel by 31.4% relative to decoded-depth supervision. We also introduce AnyInsertion++ with paired in-distribution and category-disjoint splits to evaluate generalization beyond compositing training categories. The complete D2R system leads 12 open-source and 3 closed-source baselines in estimator-derived geometry and photometric quality on both paired splits. On category-disjoint data, D2R reduces AbsRel by 43.7% and improves PSNR by 2.4 dB over the matched RGB baseline. Across three unpaired benchmarks, D2R leads both identity metrics and reduces mean CLIP reference cosine distance by 55% relative to the strongest baseline. Project page: https://shjo-april.github.io/Depth2RGB/
• Abstract（参考訳）: 参照ベースオブジェクト合成は、背景画像、参照画像、および2D合成マスクを用いてオブジェクトを挿入または置換する。 これらの入力は外観や配置をガイドするが、完成したシーンの幾何学は暗黙的に残し、物体の構造を歪めたり周囲を変えたりすることができる。 我々のD2R(Depth-to-RGB)フレームワークは、RGB入力でまだ観測されていないシーンの合成深さを予測する。 ペア化されたシーンのエンコーダ特徴をターゲットとして,凍結深度推定器への参照条件補正を学習する。 変化のないデコーダは、修正された表現を意図されたシーンの深さにマッピングし、RGB合成中に個別に訓練されたレンダラーが固定する。 一致したアーキテクチャとトレーニングの下では、エンコーダ機能監視はOOD Stage-1 AbsRelをデコード深度監視と比較して31.4%削減する。 また、AnyInsertion++には、トレーニングカテゴリの構成以上の一般化を評価するために、インディストリビューションとカテゴリディスジョイントの2つの分割が組み込まれています。 完全なD2Rシステムは、推定器由来の幾何と両分割の光度品質において、12のオープンソースと3つのクローズドソースベースラインを導く。 D2RはAbsRelを43.7%削減し、PSNRを2.4dB改善した。 3つの未ペアベンチマークで、D2Rは両方のアイデンティティメトリクスをリードし、最も強いベースラインと比較して平均CLIP参照コサイン距離を55%削減する。 プロジェクトページ:https://shjo-april.github.io/Depth2RGB/

関連論文リスト

• RIDE: Relocalization-Informed Depth Estimation with 3D Gaussian Splatting [20.29273985020268]
  本稿では,ロボットのRGBマップから深度を推定するRIDEを提案する。 実験では、深度精度が向上し、時間的整合性尺度のみの校正が可能になった。
  論文  参考訳（メタデータ） (2026-09-10T04:36:58Z)
• When Depth Hurts: Reliability-Aware Geometry Distillation for Depth-Free RGB-D Salient Object Detection [39.23633029110609]
  欠落した領域、ぼやけた境界、構造的アーティファクトは多モード核融合を通じて伝播し、RGB-D検出器はRGBのみの検出器よりも精度が低い。 本稿では,RGB-D SODベンチマークのための信頼性を考慮した幾何蒸留フレームワークを提案する。 ReDWeb-Sにおける13.4%のMAE削減を含む、最近のRGB-D SOD法と比較して、36のメトリック・データセットのうち26のベストまたはタイト・ベストな結果を達成する。
  論文  参考訳（メタデータ） (2026-09-03T05:29:10Z)
• DepthMatch: Semi-Supervised RGB-D Scene Parsing through Depth-Guided Regularization [43.974708665104565]
  本稿では,RGB-Dシーン解析に特化して設計された半教師付き学習フレームワークDepthMatchを紹介する。 本稿では,RGB-D画像対におけるテクスチャと空間的特徴の潜伏関係を明らかにするために,補間パッチ混在拡大法を提案する。 また,従来の複合核融合モジュールを代替する軽量空間先行インジェクタを設計し,不均一な特徴核融合の効率を向上する。
  論文  参考訳（メタデータ） (2025-05-26T14:26:31Z)
• DFormerv2: Geometry Self-Attention for RGBD Semantic Segmentation [66.7989548848166]
  既存のアプローチでは、深度マップとRGBイメージをエンコードし、それらの間に特徴融合を行い、より堅牢な予測を可能にする。 我々はDFormerv2という強力なRGBDエンコーダを提案し、ニューラルネットワークで深度情報をエンコードするのではなく、深度マップを幾何先行として明示的に利用する。 我々のゴールは、すべての画像パッチトークンの深さと空間距離から幾何学的手がかりを抽出し、それを用いて、自己注意における注意重みを割り当てることである。
  論文  参考訳（メタデータ） (2025-04-07T03:06:07Z)
• DepthLab: From Partial to Complete [80.58276388743306]
  不足する値は、幅広いアプリケーションにわたる深度データにとって共通の課題である。 この作業は、イメージ拡散プリエントを利用した基礎深度塗装モデルであるDepthLabと、このギャップを埋めるものだ。 提案手法は,3Dシーンのインペイント,テキストから3Dシーン生成,DUST3Rによるスパースビュー再構成,LiDAR深度補完など,様々なダウンストリームタスクにおいて有用であることを示す。
  論文  参考訳（メタデータ） (2024-12-24T04:16:38Z)
• Revisit Self-supervised Depth Estimation with Local Structure-from-Motion [11.37743577100943]
  自己教師付き深度推定とSfM(Structure-from-Motion)の両方がRGBビデオからシーン深度を復元する。 本研究は,局所SfMによる代替スキームを提案する。 すでにSoTAが監督する深度と対応モデルの恩恵を受けています。
  論文  参考訳（メタデータ） (2024-07-27T04:37:16Z)
• Towards Human-Level 3D Relative Pose Estimation: Generalizable, Training-Free, with Single Reference [65.42565481489132]
  人間は、単一のクエリ参照イメージペアのみを前提として、ラベル付けやトレーニングをすることなく、これまで見られなかったオブジェクトの相対的なポーズを容易に推論することができる。 RGB-D参照から3D/2.5D形状認識と2.5D形状認識を併用した新しい3次元一般化可能な相対ポーズ推定法を提案する。 RGBとセマンティックマップ(DINOv2がRGB入力から取得)によってテクスチャ化された2.5Dの回転可能なメッシュを識別し、新しいRGBとセマンティックマップを新しい回転ビューの下でレンダリングする。
  論文  参考訳（メタデータ） (2024-06-26T16:01:10Z)
• DevNet: Self-supervised Monocular Depth Learning via Density Volume Construction [51.96971077984869]
  単眼画像からの自己教師付き深度学習は、通常、時間的に隣接する画像フレーム間の2Dピクセル単位の光度関係に依存する。 本研究は, 自己教師型単眼深度学習フレームワークであるDevNetを提案する。
  論文  参考訳（メタデータ） (2022-09-14T00:08:44Z)
• Dual Pixel Exploration: Simultaneous Depth Estimation and Image Restoration [77.1056200937214]
  本研究では,ぼかしと深度情報をリンクするDPペアの形成について検討する。 本稿では,画像の深さを共同で推定し,復元するためのエンドツーエンドDDDNet(DPベースのDepth and De Network)を提案する。
  論文  参考訳（メタデータ） (2020-12-01T06:53:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。