論文の概要: HI-GAN: Hierarchical Inpainting GAN with Auxiliary Inputs for Combined RGB and Depth Inpainting

• arxiv url: http://arxiv.org/abs/2402.10334v1
• Date: Thu, 15 Feb 2024 21:43:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-19 18:21:19.159514
• Title: HI-GAN: Hierarchical Inpainting GAN with Auxiliary Inputs for Combined RGB and Depth Inpainting
• Title（参考訳）: HI-GAN:RGBと深さ印加のための補助入力付き階層型GAN
• Authors: Ankan Dash, Jingyi Gu and Guiling Wang
• Abstract要約: 画像中のピクセルや領域を埋め込む。 既存の方法は、複数のカメラを必要とするデジタル交換技術に頼っている。 本稿では3つのGANを階層的に構成した新しいアプローチであるHI-GAN(Hierarchical Inpainting GAN)を提案する。
• 参考スコア（独自算出の注目度）: 3.736916304884176
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Inpainting involves filling in missing pixels or areas in an image, a crucial technique employed in Mixed Reality environments for various applications, particularly in Diminished Reality (DR) where content is removed from a user's visual environment. Existing methods rely on digital replacement techniques which necessitate multiple cameras and incur high costs. AR devices and smartphones use ToF depth sensors to capture scene depth maps aligned with RGB images. Despite speed and affordability, ToF cameras create imperfect depth maps with missing pixels. To address the above challenges, we propose Hierarchical Inpainting GAN (HI-GAN), a novel approach comprising three GANs in a hierarchical fashion for RGBD inpainting. EdgeGAN and LabelGAN inpaint masked edge and segmentation label images respectively, while CombinedRGBD-GAN combines their latent representation outputs and performs RGB and Depth inpainting. Edge images and particularly segmentation label images as auxiliary inputs significantly enhance inpainting performance by complementary context and hierarchical optimization. We believe we make the first attempt to incorporate label images into inpainting process.Unlike previous approaches requiring multiple sequential models and separate outputs, our work operates in an end-to-end manner, training all three models simultaneously and hierarchically. Specifically, EdgeGAN and LabelGAN are first optimized separately and further optimized inside CombinedRGBD-GAN to enhance inpainting quality. Experiments demonstrate that HI-GAN works seamlessly and achieves overall superior performance compared with existing approaches.
• Abstract（参考訳）: 画像内の欠落したピクセルや領域を塗りつぶすことは、様々なアプリケーション、特にユーザの視覚環境からコンテンツが削除される減弱現実(dr)において、混合現実環境で使用される重要なテクニックである。 既存の方法は、複数のカメラを必要とするデジタル交換技術に頼っている。 ARデバイスとスマートフォンは、ToF深度センサーを使用して、RGB画像に合わせたシーン深度マップをキャプチャする。 スピードと手頃な価格にもかかわらず、tofカメラはピクセルを欠く不完全な深度マップを作成します。 以上の課題に対処するために,3つのGANからなる新しいアプローチであるHI-GAN(Hierarchical Inpainting GAN)を提案する。 EdgeGANとLabelGANはそれぞれマスク付きエッジとセグメンテーションラベルのイメージを塗布し、CombinedRGBD-GANはその潜在表現出力を組み合わせてRGBとDepthの塗布を行う。 エッジ画像、特に補助入力としてのセグメンテーションラベル画像は、相補的コンテキストと階層的最適化によって塗装性能を大幅に向上させる。 複数のシーケンシャルモデルと別々のアウトプットを必要とする従来のアプローチとは異なり、私たちの作業はエンドツーエンドで動作し、3つのモデルすべてを同時に、階層的にトレーニングします。 具体的には、EdgeGANとLabelGANは別々に最適化され、さらにコンバインドRGBD-GAN内部に最適化され、塗装品質が向上する。 実験によりHI-GANがシームレスに動作し、既存のアプローチに比べて全体的なパフォーマンスが向上することが示された。

関連論文リスト

• MVIP-NeRF: Multi-view 3D Inpainting on NeRF Scenes via Diffusion Prior [65.05773512126089]
  露光RGBと深度2Dの塗布監督を基盤としたNeRF塗布法は,その基礎となる2D塗布能力によって本質的に制限されている。 我々は,NeRF塗装における拡散先行の可能性を生かし,外観面と幾何学面の両方に対処するMVIP-NeRFを提案する。 実験の結果,従来のNeRF塗装法よりも外観や形状の回復性が良好であった。
  論文  参考訳（メタデータ） (2024-05-05T09:04:42Z)
• FDCE-Net: Underwater Image Enhancement with Embedding Frequency and Dual Color Encoder [49.79611204954311]
  水中画像は、低明度、色の変化、ぼやけた詳細、吸光光によるノイズ、水や懸濁粒子による散乱などの様々な問題に悩まされることが多い。 従来の水中画像強調法(UIE)は主に空間領域の強調に焦点を当てており、画像固有の周波数領域情報を無視している。
  論文  参考訳（メタデータ） (2024-04-27T15:16:34Z)
• HD-Painter: High-Resolution and Prompt-Faithful Text-Guided Image Inpainting with Diffusion Models [59.01600111737628]
  HD-Painterはトレーニングフリーのアプローチで、プロンプトを正確に追従し、高解像度の画像インパインティングにコヒーレントにスケールする。 そこで我々は,自己注意スコアを向上するPrompt-Aware Introverted Attention (PAIntA) 層を設計した。 実験の結果,HD-Painterは既存の最先端アプローチを定量的に,質的に超越していることがわかった。
  論文  参考訳（メタデータ） (2023-12-21T18:09:30Z)
• UniGS: Unified Representation for Image Generation and Segmentation [105.08152635402858]
  カラーマップを使用してエンティティレベルのマスクを表現し、さまざまなエンティティ番号の課題に対処します。 マスク表現を支援するために、位置認識カラーパレットとプログレッシブ二分法モジュールを含む2つの新しいモジュールが提案されている。
  論文  参考訳（メタデータ） (2023-12-04T15:59:27Z)
• High-Fidelity Image Inpainting with GAN Inversion [23.49170140410603]
  本稿では,InvertFillと呼ばれる画像インペイントのための新しいGANインバージョンモデルを提案する。 エンコーダ内では、事前変調ネットワークがマルチスケール構造を利用して、より差別的なセマンティクスをスタイルベクトルにエンコードする。 忠実でフォトリアリスティックなイメージを再構築するために、シンプルだが効果的なSoft-update Mean Latentモジュールは、大規模な腐敗のために高忠実なテクスチャを合成する、より多様なドメイン内パターンをキャプチャするように設計されている。
  論文  参考訳（メタデータ） (2022-08-25T03:39:24Z)
• MISF: Multi-level Interactive Siamese Filtering for High-Fidelity Image Inpainting [35.79101039727397]
  画像インペイントにおける画像レベルの予測フィルタリングの利点と課題について検討する。 カーネル予測分岐(KPB)とセマンティック・アンド・イメージ・フィルタリング分岐(SIFB)の2つの分岐を含む,MISF(Multilevel Interactive Siamese Filtering)と呼ばれる新しいフィルタリング手法を提案する。 提案手法は,4つの指標,すなわちL1,PSNR,SSIM,LPIPSにおいて,最先端のベースラインよりも優れる。
  論文  参考訳（メタデータ） (2022-03-12T01:32:39Z)
• RSINet: Inpainting Remotely Sensed Images Using Triple GAN Framework [13.613245876782367]
  本稿では,エッジ,色,テクスチャなどの画像の各側面に個別に焦点をあてる新しい塗装法を提案する。 個々のGANには、スペクトルと空間的特徴を明示的に抽出するアテンション機構も組み込まれている。 キャンバス上の2つのよく知られたリモートセンシングデータセット、Open Cities AIとEarthで、当社のモデルと過去の技術モデルの評価を行った。
  論文  参考訳（メタデータ） (2022-02-12T05:19:37Z)
• Aggregated Contextual Transformations for High-Resolution Image Inpainting [57.241749273816374]
  画像の高精細化のための拡張GANモデルAggregated Contextual-Transformation GAN (AOT-GAN)を提案する。 そこで,提案するAOTブロックの複数のレイヤを積み重ねることで,AOT-GANのジェネレータを構築する。 テクスチャ合成を改善するため,AOT-GANの識別をマスク予測タスクでトレーニングすることで強化する。
  論文  参考訳（メタデータ） (2021-04-03T15:50:17Z)
• 3D Photography using Context-aware Layered Depth Inpainting [50.66235795163143]
  本稿では、1枚のRGB-D入力画像を3D写真に変換する方法を提案する。 学習に基づく着色モデルでは,新しい局所的な色と深度を隠蔽領域に合成する。 結果の3D写真は、モーションパララックスで効率よくレンダリングできる。
  論文  参考訳（メタデータ） (2020-04-09T17:59:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。