論文の概要: HI-GAN: Hierarchical Inpainting GAN with Auxiliary Inputs for Combined
RGB and Depth Inpainting
- arxiv url: http://arxiv.org/abs/2402.10334v1
- Date: Thu, 15 Feb 2024 21:43:56 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-19 18:21:19.159514
- Title: HI-GAN: Hierarchical Inpainting GAN with Auxiliary Inputs for Combined
RGB and Depth Inpainting
- Title(参考訳): HI-GAN:RGBと深さ印加のための補助入力付き階層型GAN
- Authors: Ankan Dash, Jingyi Gu and Guiling Wang
- Abstract要約: 画像中のピクセルや領域を埋め込む。
既存の方法は、複数のカメラを必要とするデジタル交換技術に頼っている。
本稿では3つのGANを階層的に構成した新しいアプローチであるHI-GAN(Hierarchical Inpainting GAN)を提案する。
- 参考スコア(独自算出の注目度): 3.736916304884176
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Inpainting involves filling in missing pixels or areas in an image, a crucial
technique employed in Mixed Reality environments for various applications,
particularly in Diminished Reality (DR) where content is removed from a user's
visual environment. Existing methods rely on digital replacement techniques
which necessitate multiple cameras and incur high costs. AR devices and
smartphones use ToF depth sensors to capture scene depth maps aligned with RGB
images. Despite speed and affordability, ToF cameras create imperfect depth
maps with missing pixels. To address the above challenges, we propose
Hierarchical Inpainting GAN (HI-GAN), a novel approach comprising three GANs in
a hierarchical fashion for RGBD inpainting. EdgeGAN and LabelGAN inpaint masked
edge and segmentation label images respectively, while CombinedRGBD-GAN
combines their latent representation outputs and performs RGB and Depth
inpainting. Edge images and particularly segmentation label images as auxiliary
inputs significantly enhance inpainting performance by complementary context
and hierarchical optimization. We believe we make the first attempt to
incorporate label images into inpainting process.Unlike previous approaches
requiring multiple sequential models and separate outputs, our work operates in
an end-to-end manner, training all three models simultaneously and
hierarchically. Specifically, EdgeGAN and LabelGAN are first optimized
separately and further optimized inside CombinedRGBD-GAN to enhance inpainting
quality. Experiments demonstrate that HI-GAN works seamlessly and achieves
overall superior performance compared with existing approaches.
- Abstract(参考訳): 画像内の欠落したピクセルや領域を塗りつぶすことは、様々なアプリケーション、特にユーザの視覚環境からコンテンツが削除される減弱現実(dr)において、混合現実環境で使用される重要なテクニックである。
既存の方法は、複数のカメラを必要とするデジタル交換技術に頼っている。
ARデバイスとスマートフォンは、ToF深度センサーを使用して、RGB画像に合わせたシーン深度マップをキャプチャする。
スピードと手頃な価格にもかかわらず、tofカメラはピクセルを欠く不完全な深度マップを作成します。
以上の課題に対処するために,3つのGANからなる新しいアプローチであるHI-GAN(Hierarchical Inpainting GAN)を提案する。
EdgeGANとLabelGANはそれぞれマスク付きエッジとセグメンテーションラベルのイメージを塗布し、CombinedRGBD-GANはその潜在表現出力を組み合わせてRGBとDepthの塗布を行う。
エッジ画像、特に補助入力としてのセグメンテーションラベル画像は、相補的コンテキストと階層的最適化によって塗装性能を大幅に向上させる。
複数のシーケンシャルモデルと別々のアウトプットを必要とする従来のアプローチとは異なり、私たちの作業はエンドツーエンドで動作し、3つのモデルすべてを同時に、階層的にトレーニングします。
具体的には、EdgeGANとLabelGANは別々に最適化され、さらにコンバインドRGBD-GAN内部に最適化され、塗装品質が向上する。
実験によりHI-GANがシームレスに動作し、既存のアプローチに比べて全体的なパフォーマンスが向上することが示された。
関連論文リスト
- UniGS: Unified Representation for Image Generation and Segmentation [105.08152635402858]
カラーマップを使用してエンティティレベルのマスクを表現し、さまざまなエンティティ番号の課題に対処します。
マスク表現を支援するために、位置認識カラーパレットとプログレッシブ二分法モジュールを含む2つの新しいモジュールが提案されている。
論文 参考訳(メタデータ) (2023-12-04T15:59:27Z) - High-Fidelity Image Inpainting with GAN Inversion [23.49170140410603]
本稿では,InvertFillと呼ばれる画像インペイントのための新しいGANインバージョンモデルを提案する。
エンコーダ内では、事前変調ネットワークがマルチスケール構造を利用して、より差別的なセマンティクスをスタイルベクトルにエンコードする。
忠実でフォトリアリスティックなイメージを再構築するために、シンプルだが効果的なSoft-update Mean Latentモジュールは、大規模な腐敗のために高忠実なテクスチャを合成する、より多様なドメイン内パターンをキャプチャするように設計されている。
論文 参考訳(メタデータ) (2022-08-25T03:39:24Z) - Towards Reliable Image Outpainting: Learning Structure-Aware Multimodal
Fusion with Depth Guidance [49.94504248096527]
異なるモードの特徴表現をモデル化するためのDGONet(Depth-Guided Outpainting Network)を提案する。
1)マルチモーダル学習モジュールは、異なるモーダル特性の観点から独自の深さとRGBの特徴表現を生成する。
我々は、不明瞭な輪郭を増進し、信頼性の高いコンテンツ生成を迅速化するために、クロスモーダルロスとエッジロスからなる追加の制約戦略を特別に設計する。
論文 参考訳(メタデータ) (2022-04-12T06:06:50Z) - MISF: Multi-level Interactive Siamese Filtering for High-Fidelity Image
Inpainting [35.79101039727397]
画像インペイントにおける画像レベルの予測フィルタリングの利点と課題について検討する。
カーネル予測分岐(KPB)とセマンティック・アンド・イメージ・フィルタリング分岐(SIFB)の2つの分岐を含む,MISF(Multilevel Interactive Siamese Filtering)と呼ばれる新しいフィルタリング手法を提案する。
提案手法は,4つの指標,すなわちL1,PSNR,SSIM,LPIPSにおいて,最先端のベースラインよりも優れる。
論文 参考訳(メタデータ) (2022-03-12T01:32:39Z) - RSINet: Inpainting Remotely Sensed Images Using Triple GAN Framework [13.613245876782367]
本稿では,エッジ,色,テクスチャなどの画像の各側面に個別に焦点をあてる新しい塗装法を提案する。
個々のGANには、スペクトルと空間的特徴を明示的に抽出するアテンション機構も組み込まれている。
キャンバス上の2つのよく知られたリモートセンシングデータセット、Open Cities AIとEarthで、当社のモデルと過去の技術モデルの評価を行った。
論文 参考訳(メタデータ) (2022-02-12T05:19:37Z) - Aggregated Contextual Transformations for High-Resolution Image
Inpainting [57.241749273816374]
画像の高精細化のための拡張GANモデルAggregated Contextual-Transformation GAN (AOT-GAN)を提案する。
そこで,提案するAOTブロックの複数のレイヤを積み重ねることで,AOT-GANのジェネレータを構築する。
テクスチャ合成を改善するため,AOT-GANの識別をマスク予測タスクでトレーニングすることで強化する。
論文 参考訳(メタデータ) (2021-04-03T15:50:17Z) - Free-Form Image Inpainting via Contrastive Attention Network [64.05544199212831]
画像の塗装作業では、複雑なパターンを形成する画像のどこにでも、どんな形でもマスクが現れる。
エンコーダはこの複雑な状況下でこのような強力な表現を捕捉することは困難である。
本稿では,ロバスト性と一般化性を改善するための自己教師型シームズ推論ネットワークを提案する。
論文 参考訳(メタデータ) (2020-10-29T14:46:05Z) - Efficient texture-aware multi-GAN for image inpainting [5.33024001730262]
近年のGAN (Generative Adversarial Network) のインペイント手法は顕著に改善されている。
本稿では,性能とレンダリング効率の両方を改善するマルチGANアーキテクチャを提案する。
論文 参考訳(メタデータ) (2020-09-30T14:58:03Z) - 3D Photography using Context-aware Layered Depth Inpainting [50.66235795163143]
本稿では、1枚のRGB-D入力画像を3D写真に変換する方法を提案する。
学習に基づく着色モデルでは,新しい局所的な色と深度を隠蔽領域に合成する。
結果の3D写真は、モーションパララックスで効率よくレンダリングできる。
論文 参考訳(メタデータ) (2020-04-09T17:59:06Z) - Very Long Natural Scenery Image Prediction by Outpainting [96.8509015981031]
アウトペイントには2つの課題があるため、あまり注意を払わない。
第一の課題は、生成された画像と元の入力の間の空間的および内容的整合性を維持する方法である。
第2の課題は、生成した結果の高品質を維持する方法です。
論文 参考訳(メタデータ) (2019-12-29T16:29:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。