論文の概要: Stable Diffusion-Based Approach for Human De-Occlusion

• arxiv url: http://arxiv.org/abs/2508.12663v1
• Date: Mon, 18 Aug 2025 06:53:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-19 14:49:11.042673
• Title: Stable Diffusion-Based Approach for Human De-Occlusion
• Title（参考訳）: 安定拡散に基づくヒト脱閉塞症に対するアプローチ
• Authors: Seung Young Noh, Ju Yong Chang,
• Abstract要約: 我々は,隠蔽された身体構造と外観の回復を対象とする,人間の排他的排除に焦点を当てた。 本手法では,タスクをマスク完備化とRGB完備化の2段階に分割する。
• 参考スコア（独自算出の注目度）: 3.106167803320563
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Humans can infer the missing parts of an occluded object by leveraging prior knowledge and visible cues. However, enabling deep learning models to accurately predict such occluded regions remains a challenging task. De-occlusion addresses this problem by reconstructing both the mask and RGB appearance. In this work, we focus on human de-occlusion, specifically targeting the recovery of occluded body structures and appearances. Our approach decomposes the task into two stages: mask completion and RGB completion. The first stage leverages a diffusion-based human body prior to provide a comprehensive representation of body structure, combined with occluded joint heatmaps that offer explicit spatial cues about missing regions. The reconstructed amodal mask then serves as a conditioning input for the second stage, guiding the model on which areas require RGB reconstruction. To further enhance RGB generation, we incorporate human-specific textual features derived using a visual question answering (VQA) model and encoded via a CLIP encoder. RGB completion is performed using Stable Diffusion, with decoder fine-tuning applied to mitigate pixel-level degradation in visible regions -- a known limitation of prior diffusion-based de-occlusion methods caused by latent space transformations. Our method effectively reconstructs human appearances even under severe occlusions and consistently outperforms existing methods in both mask and RGB completion. Moreover, the de-occluded images generated by our approach can improve the performance of downstream human-centric tasks, such as 2D pose estimation and 3D human reconstruction. The code will be made publicly available.
• Abstract（参考訳）: 人間は、事前の知識と目に見える手がかりを活用することで、隠された物体の欠落部分を推測することができる。 しかし、そのような排除された領域を正確に予測する深層学習モデルの実現は、依然として困難な課題である。 デオクルージョンはマスクとRGBの両方の外観を再構築することでこの問題に対処する。 本研究では,隠蔽された身体構造と外観の回復を対象とする,人間の排他的排除に焦点を当てた。 本手法では,タスクをマスク完備化とRGB完備化の2段階に分割する。 第1段階では、拡散に基づく人体を利用して、身体構造を包括的に表現し、欠落した領域に関する明示的な空間的手がかりを提供する排他的関節熱マップと組み合わせている。 再建されたアモーダルマスクは第2段階の条件入力として機能し、RGB再構築を必要とする領域のモデルを導く。 RGB生成をさらに強化するため、視覚的質問応答(VQA)モデルを用いて導出され、CLIPエンコーダを介して符号化される人間固有のテキスト特徴を組み込んだ。 RGB完了は安定拡散(Stable Diffusion)を用いて行われ、デコーダの微調整は可視領域におけるピクセルレベルの劣化を緩和する。 本手法は, 厳密な閉塞下でも人間の外観を効果的に再構築し, マスクとRGBの完成において, 既存の方法より一貫して優れていた。 さらに,提案手法により生成した非閉塞画像は,2次元ポーズ推定や3次元人間の再構築など,下流の人間中心タスクの性能を向上させることができる。 コードは公開されます。

関連論文リスト

• RUN: Reversible Unfolding Network for Concealed Object Segmentation [61.13528324971598]
  マスクドメインとRGBドメインの両方にわたる可逆戦略。 マスクとRGBドメインをまたいだ可逆的戦略を適用したReversible Unfolding Network (RUN)を提案する。
  論文  参考訳（メタデータ） (2025-01-30T22:19:15Z)
• D-SCo: Dual-Stream Conditional Diffusion for Monocular Hand-Held Object Reconstruction [74.49121940466675]
  モノクローナルハンドヘルドオブジェクト再構成のためのCentroid-fixed dual-stream conditionalfusionを導入する。 まず、対象のセントロイドがずれることを避けるために、手動制約付きセントロイド固定パラダイムを用いる。 第2に、意味的および幾何学的に手動物体の相互作用をモデル化するための二重ストリームデノイザを導入する。
  論文  参考訳（メタデータ） (2023-11-23T20:14:50Z)
• O$^2$-Recon: Completing 3D Reconstruction of Occluded Objects in the Scene with a Pre-trained 2D Diffusion Model [28.372289119872764]
  咬合は、RGB-Dビデオからの3D再構成において一般的な問題であり、しばしばオブジェクトの完全な再構成をブロックする。 本研究では,物体の隠れた部分の完全な表面を再構築する2次元拡散に基づくインペインティングモデルを用いて,新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2023-08-18T14:38:31Z)
• Direct Dense Pose Estimation [138.56533828316833]
  複雑な人間のポーズ推定は、RGB画像と人体の表面との密接な対応を学習する問題である。 従来より密集したポーズ推定手法は、すべてMask R-CNNフレームワークに基づいており、まず各人物のバウンディングボックスを識別しようとするトップダウン方式で動作している。 そこで我々は,DDP (Direct Dense Pose) という,高密度ポーズ推定問題の解法を提案する。
  論文  参考訳（メタデータ） (2022-04-04T06:14:38Z)
• Total Scale: Face-to-Body Detail Reconstruction from Sparse RGBD Sensors [52.38220261632204]
  PIFuをベースとした再建術では, 顔面の平坦化が頻発する。 再建した顔のディテールの質を高めるために,2段階のPIFu表現を提案する。 顔の鮮明な細部と身体形状の変形におけるアプローチの有効性を実験的に検証した。
  論文  参考訳（メタデータ） (2021-12-03T18:46:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。