論文の概要: Diverse Plausible 360-Degree Image Outpainting for Efficient 3DCG Background Creation

• arxiv url: http://arxiv.org/abs/2203.14668v1
• Date: Mon, 28 Mar 2022 11:47:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-29 15:28:20.984728
• Title: Diverse Plausible 360-Degree Image Outpainting for Efficient 3DCG Background Creation
• Title（参考訳）: 効率的な3dcg背景作成のための多彩な360度画像アウトペイント
• Authors: Naofumi Akimoto, Yuhi Matsuo, Yoshimitsu Aoki
• Abstract要約: 視野が狭い単一画像から周囲を推定して360度画像を生成するという問題に対処する。 本稿では、シーンモデリングのためのトランスフォーマーと、出力画像上の360度画像の特性を改善するための新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 4.537706008329172
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We address the problem of generating a 360-degree image from a single image with a narrow field of view by estimating its surroundings. Previous methods suffered from overfitting to the training resolution and deterministic generation. This paper proposes a completion method using a transformer for scene modeling and novel methods to improve the properties of a 360-degree image on the output image. Specifically, we use CompletionNets with a transformer to perform diverse completions and AdjustmentNet to match color, stitching, and resolution with an input image, enabling inference at any resolution. To improve the properties of a 360-degree image on an output image, we also propose WS-perceptual loss and circular inference. Thorough experiments show that our method outperforms state-of-the-art (SOTA) methods both qualitatively and quantitatively. For example, compared to SOTA methods, our method completes images 16 times larger in resolution and achieves 1.7 times lower Frechet inception distance (FID). Furthermore, we propose a pipeline that uses the completion results for lighting and background of 3DCG scenes. Our plausible background completion enables perceptually natural results in the application of inserting virtual objects with specular surfaces.
• Abstract（参考訳）: 視野が狭い単一画像から周囲を推定して360度画像を生成するという問題に対処する。 以前の方法は、トレーニングの解決と決定論的生成に過度に適合していた。 本稿では,シーンモデリングのための変圧器を用いた補完手法と,出力画像上の360度画像の特性改善のための新しい手法を提案する。 具体的には、コンプリートネットをトランスフォーマーと組み合わせて様々な補完を行い、調整ネットは色、縫い目、解像度を入力画像と一致させ、任意の解像度で推論を可能にする。 また、出力画像上の360度画像の特性を改善するために、WS-perceptual lossと円形推論を提案する。 より詳細な実験により,本手法は定性的かつ定量的に,最先端(SOTA)法より優れていることが示された。 例えば、soma法に比べて解像度が16倍大きく、frechetインセプション距離(fid)が1.7倍小さい画像が得られる。 さらに,3DCGシーンの照明と背景の仕上げ結果を用いたパイプラインを提案する。 当社では,鏡面に仮想オブジェクトを挿入することで,知覚的に自然な結果を得ることができる。

関連論文リスト

• Sp2360: Sparse-view 360 Scene Reconstruction using Cascaded 2D Diffusion Priors [51.36238367193988]
  潜時拡散モデル(LDM)を用いた360度3次元シーンのスパースビュー再構成に挑戦する。 SparseSplat360は,未完成の細部を埋めたり,新しいビューをクリーンにするために,インペイントとアーティファクト除去のカスケードを利用する手法である。 提案手法は,9つの入力ビューから360度映像全体を生成する。
  論文  参考訳（メタデータ） (2024-05-26T11:01:39Z)
• High-Resolution Volumetric Reconstruction for Clothed Humans [27.900514732877827]
  本稿では,1～6RGB画像のスパース集合から,衣服の人間を再構築する新しい手法を提案する。 提案手法は,P2S法の平均点通過精度を50%以上削減し,約2mmの精度を512容積分解能で達成する。
  論文  参考訳（メタデータ） (2023-07-25T06:37:50Z)
• $PC^2$: Projection-Conditioned Point Cloud Diffusion for Single-Image 3D Reconstruction [97.06927852165464]
  単一のRGB画像から物体の3次元形状を再構築することは、コンピュータビジョンにおける長年の課題である。 条件付き偏光拡散プロセスによりスパース点雲を生成する単一像3次元再構成法を提案する。
  論文  参考訳（メタデータ） (2023-02-21T13:37:07Z)
• High-fidelity 3D GAN Inversion by Pseudo-multi-view Optimization [51.878078860524795]
  フォトリアリスティック・ノベルビューを合成可能な高忠実度3次元生成対向ネットワーク(GAN)インバージョン・フレームワークを提案する。 提案手法は,1枚の画像から高忠実度3Dレンダリングを可能にし,AI生成3Dコンテンツの様々な応用に期待できる。
  論文  参考訳（メタデータ） (2022-11-28T18:59:52Z)
• View-aware Salient Object Detection for 360{\deg} Omnidirectional Image [33.43250302656753]
  等角射影(ERP)にオブジェクトレベルの画素ワイドアノテーションを付加した大規模360度ISODデータセットを構築した。 そこで本研究では,SAVT(Sample Adaptive View Transformer)モジュールを用いたビューアウェア・サリエント物体検出手法を提案する。
  論文  参考訳（メタデータ） (2022-09-27T07:44:08Z)
• ARF: Artistic Radiance Fields [63.79314417413371]
  本稿では,任意のスタイル画像の芸術的特徴を3Dシーンに転送する方法を提案する。 点雲やメッシュ上で3次元スタイリングを行う従来の手法は、幾何的再構成誤差に敏感である。 より頑健なラディアンス場表現の体系化を提案する。
  論文  参考訳（メタデータ） (2022-06-13T17:55:31Z)
• Enhancement of Novel View Synthesis Using Omnidirectional Image Completion [61.78187618370681]
  ニューラルレイディアンス場(NeRF)に基づく1枚の360度RGB-D画像から新しいビューを合成する方法を提案する。 実験により,提案手法は実世界と実世界の両方でシーンの特徴を保ちながら,可塑性な新規なビューを合成できることが実証された。
  論文  参考訳（メタデータ） (2022-03-18T13:49:25Z)
• Field-of-View IoU for Object Detection in 360{\deg} Images [36.72543749626039]
  本研究では,FoV-IoU(FoV-IoU)と360deg画像における物体検出のための360Augmentationという2つの基本手法を提案する。 FoV-IoUは2つの視野境界ボックスの交叉結合を球面画像で計算し、トレーニング、推論、評価に使用できる。 360Augmentationは、球面イメージをランダムに回転させ、球面から平面への投影によるバイアスを解決する360degオブジェクト検出タスクに特有のデータ拡張技術である。
  論文  参考訳（メタデータ） (2022-02-07T14:01:59Z)
• Neural Radiance Fields Approach to Deep Multi-View Photometric Stereo [103.08512487830669]
  多視点測光ステレオ問題(MVPS)に対する現代的な解法を提案する。 我々は、光度ステレオ(PS)画像形成モデルを用いて表面配向を取得し、それを多視点のニューラルラディアンス場表現とブレンドして物体の表面形状を復元する。 本手法は,多視点画像のニューラルレンダリングを行い,深部光度ステレオネットワークによって推定される表面の正規性を活用している。
  論文  参考訳（メタデータ） (2021-10-11T20:20:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。