Fugu-MT 論文翻訳(概要): Depth self-supervision for single image novel view synthesis

論文の概要: Depth self-supervision for single image novel view synthesis

arxiv url: http://arxiv.org/abs/2308.14108v1
Date: Sun, 27 Aug 2023 13:50:15 GMT
ステータス: 処理完了
システム内更新日: 2023-08-29 16:42:58.736947
Title: Depth self-supervision for single image novel view synthesis
Title（参考訳）: 単一画像新規ビュー合成のための奥行き自己スーパービジョン
Authors: Giovanni Minelli, Matteo Poggi, Samuele Salti
Abstract要約: 入力として1フレームを与えられた任意の視点から新しい画像を生成する問題に取り組む。我々は、新しいビュー合成と深さ推定の両方のために、我々のフレームワークを共同で最適化し、両者のシナジーを解き放つ。
参考スコア（独自算出の注目度）: 26.223796965401654
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In this paper, we tackle the problem of generating a novel image from an arbitrary viewpoint given a single frame as input. While existing methods operating in this setup aim at predicting the target view depth map to guide the synthesis, without explicit supervision over such a task, we jointly optimize our framework for both novel view synthesis and depth estimation to unleash the synergy between the two at its best. Specifically, a shared depth decoder is trained in a self-supervised manner to predict depth maps that are consistent across the source and target views. Our results demonstrate the effectiveness of our approach in addressing the challenges of both tasks allowing for higher-quality generated images, as well as more accurate depth for the target viewpoint.
Abstract（参考訳）: 本稿では,一つのフレームを入力として与えられた任意の視点から新しい画像を生成する問題に取り組む。既存の手法では,合成を導くための目標ビュー深度マップの予測を目標としているが,このようなタスクを明示的に監視することなく,新たなビュー合成と深さ推定のためのフレームワークを共同で最適化し,両者のシナジーを最適に解き放つ。具体的には、共有深度デコーダを自己教師型でトレーニングし、ソースとターゲットビュー間で一貫性のある深度マップを予測する。提案手法は,高品質な画像生成を可能にするとともに,より正確な被写界深度を目標とするタスクの課題を解決するための効果を示す。

関連論文リスト

Diffusion Models for Monocular Depth Estimation: Overcoming Challenging Conditions [30.148969711689773]
本稿では, 単一画像深度推定タスクにおいて, ディストリビューションデータの挑戦によって生じる複雑さに対処する新しい手法を提案する。我々は,包括的課題と関連する深度情報を用いて,新たなユーザ定義シーンを体系的に生成する。これは、深度認識制御による最先端のテキスト・画像拡散モデルを活用することで実現される。
論文参考訳（メタデータ） (2024-07-23T17:59:59Z)
Depth Information Assisted Collaborative Mutual Promotion Network for Single Image Dehazing [9.195173526948123]
単一画像のデハジングを実現するために,デュアルタスク協調促進フレームワークを提案する。このフレームワークは、デュアルタスク相互作用機構による深度推定とデハジングを統合している。提案手法は,最先端手法よりも優れた性能が得られることを示す。
論文参考訳（メタデータ） (2024-03-02T06:29:44Z)
Panoptic-Depth Color Map for Combination of Depth and Image Segmentation [2.33877878310217]
画像分割と深度推定を組み合わせた革新的な手法を提案する。セグメンテーションネットワークに追加の深さ推定ブランチを組み込むことで、各インスタンスセグメントの深さを予測することができる。提案手法は,より包括的な画像認識結果を生成するために,異なるタスクとネットワークを組み合わせる新たな可能性を示す。
論文参考訳（メタデータ） (2023-08-24T17:25:09Z)
Multi-Camera Collaborative Depth Prediction via Consistent Structure Estimation [75.99435808648784]
本稿では,新しいマルチカメラ協調深度予測法を提案する。カメラ間の構造的整合性を維持しながら、大きな重なり合う領域を必要としない。 DDADおよびNuScenesデータセットの実験結果から,本手法の優れた性能を示す。
論文参考訳（メタデータ） (2022-10-05T03:44:34Z)
NVS-MonoDepth: Improving Monocular Depth Prediction with Novel View Synthesis [74.4983052902396]
単眼深度推定を改善するために,3つの主要なステップに分割した新しいトレーニング手法を提案する。実験により,KITTIおよびNYU-Depth-v2データセット上での最先端ないし同等の性能が得られた。
論文参考訳（メタデータ） (2021-12-22T12:21:08Z)
RigNet: Repetitive Image Guided Network for Depth Completion [20.66405067066299]
近年のアプローチは、高密度な結果を予測するためのイメージガイド学習に重点を置いている。ぼやけたイメージガイダンスとオブジェクト構造は、まだイメージガイドされたフレームワークのパフォーマンスを妨げている。画像案内ネットワークにおける反復的な設計を探索し,徐々に深度値の回復を図る。提案手法は,NYUv2データセットの最先端化を実現し,提出時のKITTIベンチマークで1位にランクインする。
論文参考訳（メタデータ） (2021-07-29T08:00:33Z)
Domain Adaptive Semantic Segmentation with Self-Supervised Depth Estimation [84.34227665232281]
セマンティックセグメンテーションのためのドメイン適応は、ソースとターゲットドメイン間の分散シフトの存在下でモデルのパフォーマンスを向上させることを目的とする。ドメイン間のギャップを埋めるために、両ドメインで利用可能な自己教師付き深さ推定からのガイダンスを活用します。提案手法のベンチマークタスクSYNTHIA-to-CityscapesとGTA-to-Cityscapesの有効性を実証する。
論文参考訳（メタデータ） (2021-04-28T07:47:36Z)
Depth-conditioned Dynamic Message Propagation for Monocular 3D Object Detection [86.25022248968908]
モノラル3Dオブジェクト検出の問題を解決するために、コンテキストと奥行きを認識する特徴表現を学びます。 KITTIベンチマークデータセットにおける単眼的アプローチにおける最新の結果を示す。
論文参考訳（メタデータ） (2021-03-30T16:20:24Z)
Self-Supervised Visibility Learning for Novel View Synthesis [79.53158728483375]
従来のレンダリング方法はシーン形状を推定し、2つの別々のステップで新しいビューを合成します。エラー伝搬問題を排除するために,エンドツーエンドのNVSフレームワークを提案する。当社のネットワークはエンドツーエンドのセルフ監視方式でトレーニングされており、ビュー合成におけるエラーの蓄積を大幅に軽減します。
論文参考訳（メタデータ） (2021-03-29T08:11:25Z)
SOSD-Net: Joint Semantic Object Segmentation and Depth Estimation from Monocular images [94.36401543589523]
これら2つのタスクの幾何学的関係を利用するための意味的対象性の概念を紹介します。次に, 対象性仮定に基づくセマンティックオブジェクト・深さ推定ネットワーク(SOSD-Net)を提案する。私たちの知識を最大限に活用するために、SOSD-Netは同時単眼深度推定とセマンティックセグメンテーションのためのジオメトリ制約を利用する最初のネットワークです。
論文参考訳（メタデータ） (2021-01-19T02:41:03Z)
The Edge of Depth: Explicit Constraints between Segmentation and Depth [25.232436455640716]
画像からの自己教師付き深度推定とセマンティックセグメンテーションという2つの共通コンピュータビジョンタスクの相互利益について検討する。セグメンテーションと深さの境界の整合性を明示的に測定し,最小化することを提案する。提案手法は広範にわたる実験を通じて,KITTIにおける教師なし単分子深度推定技術の現状を推し進めるものである。
論文参考訳（メタデータ） (2020-04-01T00:03:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。