論文の概要: RPNR: Robust-Perception Neural Reshading

• arxiv url: http://arxiv.org/abs/2401.14510v1
• Date: Thu, 25 Jan 2024 21:06:23 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-29 16:38:25.038239
• Title: RPNR: Robust-Perception Neural Reshading
• Title（参考訳）: RPNR:ロバスト知覚ニューラルリシェーディング
• Authors: Fouad Afiouni, Mohamad Fakih and Joey Sleiman
• Abstract要約: Augmented Reality (AR) アプリケーションは、既知の特性と形状を持つ3Dオブジェクトを挿入する必要がある。 本手法は,これらの2つの画像のみを用いて,これらの音源の断片を対象の周囲と整合的にレンダリングする。 提案手法では,ペアラベルのデータは不要であり,データセットの広範なトレーニングは不要である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Augmented Reality (AR) applications necessitates methods of inserting needed objects into scenes captured by cameras in a way that is coherent with the surroundings. Common AR applications require the insertion of predefined 3D objects with known properties and shape. This simplifies the problem since it is reduced to extracting an illumination model for the object in that scene by understanding the surrounding light sources. However, it is often not the case that we have information about the properties of an object, especially when we depart from a single source image. Our method renders such source fragments in a coherent way with the target surroundings using only these two images. Our pipeline uses a Deep Image Prior (DIP) network based on a U-Net architecture as the main renderer, alongside robust-feature extracting networks that are used to apply needed losses. Our method does not require any pair-labeled data, and no extensive training on a dataset. We compare our method using qualitative metrics to the baseline methods such as Cut and Paste, Cut And Paste Neural Rendering, and Image Harmonization
• Abstract（参考訳）: Augmented Reality (AR) アプリケーションでは、必要なオブジェクトをカメラが捉えたシーンに、周囲と一貫性のある方法で挿入する必要がある。 一般的なARアプリケーションは、既知の特性と形状を持つ事前定義された3Dオブジェクトを挿入する必要がある。 これにより、周囲の光源を理解することにより、そのシーン内の物体の照明モデルを抽出することが少なくなるため、問題を単純化する。 しかし、オブジェクトの特性に関する情報、特に1つのソースイメージから逸脱する場合は、多くの場合そうではない。 本手法では,これら2つの画像のみを用いて,対象の周囲とコヒーレントな方法でソースフラグメントを描画する。 我々のパイプラインでは、U-Netアーキテクチャを主レンダラとしてベースとしたDeep Image Prior(DIP)ネットワークと、必要な損失を適用するために使用される堅牢な機能抽出ネットワークを使用します。 提案手法では,ペアラベルのデータは不要であり,データセットの広範なトレーニングは不要である。 本手法は質的指標を用いて, カット・ペースト, カット・ペースト, ニューラル・レンダリング, イメージ・ハーモニゼーションなどのベースライン手法と比較した。

関連論文リスト

• Inverse Neural Rendering for Explainable Multi-Object Tracking [35.072142773300655]
  我々はRGBカメラから3Dマルチオブジェクト追跡をEmphInverse Rendering (IR)問題として再放送した。 我々は、本質的に形状と外観特性を歪ませる生成潜在空間上の画像損失を最適化する。 本手法の一般化とスケーリング能力は,合成データのみから生成前を学習することで検証する。
  論文  参考訳（メタデータ） (2024-04-18T17:37:53Z)
• Consistent Mesh Diffusion [8.318075237885857]
  UVパラメータ化による3Dメッシュを前提として,テキストプロンプトからテクスチャを生成する新しいアプローチを提案する。 当社のアプローチは、30メッシュを含むデータセット上で、メッシュ毎に約5分を要することを実証しています。
  論文  参考訳（メタデータ） (2023-12-01T23:25:14Z)
• TMO: Textured Mesh Acquisition of Objects with a Mobile Device by using Differentiable Rendering [54.35405028643051]
  スマートフォン1台でテクスチャ化されたメッシュを野生で取得するパイプラインを新たに提案する。 提案手法ではまず,RGBD支援構造を動きから導入し,フィルタした深度マップを作成できる。 我々は,高品質なメッシュを実現するニューラル暗黙表面再構成法を採用する。
  論文  参考訳（メタデータ） (2023-03-27T10:07:52Z)
• BundleSDF: Neural 6-DoF Tracking and 3D Reconstruction of Unknown Objects [89.2314092102403]
  モノクロRGBDビデオシーケンスから未知物体の6-DoF追跡をリアルタイムに行う手法を提案する。 視覚的テクスチャがほとんど欠如している場合でも,任意の剛体オブジェクトに対して有効である。
  論文  参考訳（メタデータ） (2023-03-24T17:13:49Z)
• Efficient Implicit Neural Reconstruction Using LiDAR [6.516471975863534]
  本稿では, 微小なLiDAR点雲と粗度オドメトリーを用いて, 微小な暗黙的占有場を数分以内に効率的に再構築する手法を提案する。 我々の知る限り、この手法はLiDARのみの入力から暗黙のシーン表現を再構築する最初の方法である。
  論文  参考訳（メタデータ） (2023-02-28T07:31:48Z)
• Shape, Pose, and Appearance from a Single Image via Bootstrapped Radiance Field Inversion [54.151979979158085]
  提案手法では,自然画像に対する基本的エンドツーエンド再構築フレームワークを導入し,正確な地平のポーズが得られない。 そこで,モデルが解の第一の推算を生成するハイブリッド・インバージョン・スキームを適用する。 当社のフレームワークでは,イメージを10ステップでデレンダリングすることが可能で,現実的なシナリオで使用することが可能です。
  論文  参考訳（メタデータ） (2022-11-21T17:42:42Z)
• Semantic keypoint-based pose estimation from single RGB frames [64.80395521735463]
  一つのRGB画像からオブジェクトの連続6-DoFポーズを推定する手法を提案する。 このアプローチは、畳み込みネットワーク(convnet)によって予測されるセマンティックキーポイントと、変形可能な形状モデルを組み合わせる。 提案手法は,インスタンスベースのシナリオとクラスベースのシナリオの両方に対して,6-DoFオブジェクトのポーズを正確に復元できることを示す。
  論文  参考訳（メタデータ） (2022-04-12T15:03:51Z)
• NeuralReshaper: Single-image Human-body Retouching with Deep Neural Networks [50.40798258968408]
  本稿では,深部生成ネットワークを用いた単一画像における人体の意味的再構成手法であるNeuralReshaperを提案する。 われわれのアプローチは、まずパラメトリックな3次元人間モデルと元の人間の画像とを適合させるフィッティング・セイン・リフォーム・パイプラインに従う。 ペアデータが存在しないデータ不足に対処するために,ネットワークをトレーニングするための新たな自己教師型戦略を導入する。
  論文  参考訳（メタデータ） (2022-03-20T09:02:13Z)
• Combining Local and Global Pose Estimation for Precise Tracking of Similar Objects [2.861848675707602]
  類似・非テクスチャオブジェクトに対する多目的6D検出・追跡パイプラインを提案する。 合成画像のみを訓練した新しいネットワークアーキテクチャは、複数のオブジェクトの同時ポーズ推定を可能にする。 建設現場における実際のAR支援アプリケーションにおいて,システムがどのように利用できるかを示す。
  論文  参考訳（メタデータ） (2022-01-31T14:36:57Z)
• Image Restoration by Deep Projected GSURE [115.57142046076164]
  Ill-posed inverse problem は、デブロアリングや超解像など、多くの画像処理アプリケーションに現れる。 本稿では,一般化されたSteinUnbiased Risk Estimator(GSURE)の「投影変換」とCNNによる潜在画像のパラメータ化を含む損失関数の最小化に基づく,新たな画像復元フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-02-04T08:52:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。