論文の概要: RGB-D Image Inpainting Using Generative Adversarial Network with a Late Fusion Approach

• arxiv url: http://arxiv.org/abs/2110.07413v1
• Date: Thu, 14 Oct 2021 14:44:01 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-15 20:03:51.384671
• Title: RGB-D Image Inpainting Using Generative Adversarial Network with a Late Fusion Approach
• Title（参考訳）: レイトフュージョンアプローチによる生成逆数ネットワークを用いたRGB-D画像の描画
• Authors: Ryo Fujii, Ryo Hachiuma, Hideo Saito
• Abstract要約: Diminished Realityは、ビデオ画像からオブジェクトを取り除き、行方不明の領域を可視画素で埋めることを目的とした技術だ。 生成逆数ネットワークを用いたRGB-D画像の描画手法を提案する。
• 参考スコア（独自算出の注目度）: 14.06830052027649
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diminished reality is a technology that aims to remove objects from video images and fills in the missing region with plausible pixels. Most conventional methods utilize the different cameras that capture the same scene from different viewpoints to allow regions to be removed and restored. In this paper, we propose an RGB-D image inpainting method using generative adversarial network, which does not require multiple cameras. Recently, an RGB image inpainting method has achieved outstanding results by employing a generative adversarial network. However, RGB inpainting methods aim to restore only the texture of the missing region and, therefore, does not recover geometric information (i.e, 3D structure of the scene). We expand conventional image inpainting method to RGB-D image inpainting to jointly restore the texture and geometry of missing regions from a pair of RGB and depth images. Inspired by other tasks that use RGB and depth images (e.g., semantic segmentation and object detection), we propose late fusion approach that exploits the advantage of RGB and depth information each other. The experimental results verify the effectiveness of our proposed method.
• Abstract（参考訳）: Diminished Realityは、ビデオ画像からオブジェクトを取り除き、行方不明の領域を可視画素で埋めることを目的とした技術だ。 従来の手法では、異なる視点から同じシーンを撮影する異なるカメラを使用して、領域を取り除いて復元する。 本稿では,複数のカメラを必要としない生成対向ネットワークを用いたRGB-D画像の描画手法を提案する。 近年,RGB画像の塗装法は,生成的対向ネットワークを用いることで,優れた成果を上げている。 しかし、RGB塗装法は、欠落した領域のテクスチャのみを復元することを目的としており、幾何学的情報(シーンの3次元構造)を復元しない。 従来の画像インペイント手法をRGB-D画像インペイントに拡張し,一対のRGB画像と深度画像から行方不明領域のテクスチャと幾何学を共同で復元する。 RGBと深度画像(セマンティックセグメンテーションやオブジェクト検出など)を使用する他のタスクにインスパイアされた我々は、RGBと深度情報の利点を生かしたレイトフュージョンアプローチを提案する。 提案手法の有効性を実験的に検証した。

関連論文リスト

• Rethinking RGB Color Representation for Image Restoration Models [55.81013540537963]
  各画素に局所的な近傍構造情報を保持するために表現を拡大する。 画素あたりの損失に対する表現空間の置換は、画像復元モデルのトレーニングを容易にする。 私たちの空間は、色と局所構造の両方を再構築することで、全体的なメトリクスを一貫して改善します。
  論文  参考訳（メタデータ） (2024-02-05T06:38:39Z)
• DFormer: Rethinking RGBD Representation Learning for Semantic Segmentation [76.81628995237058]
  DFormerは、RGB-Dセグメンテーションタスクの転送可能な表現を学ぶための新しいフレームワークである。 ImageNet-1Kから画像深度ペアを使用してバックボーンを事前トレーニングする。 DFormerは2つのRGB-Dタスクで最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2023-09-18T11:09:11Z)
• Generative Scene Synthesis via Incremental View Inpainting using RGBD Diffusion Models [39.23531919945332]
  本研究では,カメラ軌道に沿って新しいRGBDビューを順次生成する新しい手法を提案する。 各レンダリングされたRGBDビューは、後に部分曲面としてバックプロジェクションされ、中間メッシュに補完される。 中間メッシュとカメラプロジェクションの使用は、多視点不整合の屈折問題を解くのに役立つ。
  論文  参考訳（メタデータ） (2022-12-12T15:50:00Z)
• Boosting RGB-D Saliency Detection by Leveraging Unlabeled RGB Images [89.81919625224103]
  RGB-D Salient Object Detection (SOD) のための深層モデルの訓練は、しばしば多数のラベル付きRGB-D画像を必要とする。 本稿では、ラベルのないRGB画像を活用するために、Dual-Semi RGB-D Salient Object Detection Network (DS-Net)を提案する。
  論文  参考訳（メタデータ） (2022-01-01T03:02:27Z)
• Colored Point Cloud to Image Alignment [15.828285556159026]
  そこで本研究では,カラーマッチングと幾何マッチングにより,色付き点雲を所定の色画像に整列する微分最適化手法を提案する。 カメラ画像と点雲の色との変換は、点雲の相対的な位置と一致した色とのマッチングを繰り返すことによって行う。
  論文  参考訳（メタデータ） (2021-10-07T08:12:56Z)
• Semantic-embedded Unsupervised Spectral Reconstruction from Single RGB Images in the Wild [48.44194221801609]
  この課題に対処するため、我々は、新しい軽量でエンドツーエンドの学習ベースのフレームワークを提案する。 我々は、効率的なカメラスペクトル応答関数推定により、検索されたHS画像から入力されたRGB画像と再投影されたRGB画像の差を徐々に広げる。 提案手法は最先端の教師なし手法よりも優れており,いくつかの設定下では最新の教師付き手法よりも優れている。
  論文  参考訳（メタデータ） (2021-08-15T05:19:44Z)
• Refer-it-in-RGBD: A Bottom-up Approach for 3D Visual Grounding in RGBD Images [69.5662419067878]
  RGBD画像における接地参照表現は新たな分野である。 本稿では,参照する物体が閉塞により部分的にスキャンされる場合が多い単視点rgbd画像における3次元視覚グランド化の新たな課題を提案する。 提案手法はまず,RGBD画像内の関連領域をローカライズするヒートマップを生成するために,下層の言語と視覚的特徴を融合させる。 次に、ヒートマップに基づく適応的特徴学習を行い、他のビジオ言語融合とオブジェクトレベルのマッチングを行い、最後に参照したオブジェクトを接地する。
  論文  参考訳（メタデータ） (2021-03-14T11:18:50Z)
• NormalGAN: Learning Detailed 3D Human from a Single RGB-D Image [34.79657678041356]
  本稿では,1枚のRGB-D画像から完全かつ詳細な3次元人間を再構築する高速対角学習法を提案する。 一般消費者のRGB-Dセンサーを使用すれば、NurmalGANは20fpsで完全な3D人間の再構築結果を生成することができる。
  論文  参考訳（メタデータ） (2020-07-30T09:35:46Z)
• Hierarchical Regression Network for Spectral Reconstruction from RGB Images [21.551899202524904]
  我々は,PixelShuffle層を用いた4レベル階層回帰ネットワーク(HRNet)を階層間相互作用として提案する。 NTIRE 2020 Challenge on Spectral Reconstruction from RGB Images に参加して,他のアーキテクチャや技術を用いたHRNetの評価を行った。
  論文  参考訳（メタデータ） (2020-05-10T16:06:11Z)
• 3D Photography using Context-aware Layered Depth Inpainting [50.66235795163143]
  本稿では、1枚のRGB-D入力画像を3D写真に変換する方法を提案する。 学習に基づく着色モデルでは,新しい局所的な色と深度を隠蔽領域に合成する。 結果の3D写真は、モーションパララックスで効率よくレンダリングできる。
  論文  参考訳（メタデータ） (2020-04-09T17:59:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。