論文の概要: CamFreeDiff: Camera-free Image to Panorama Generation with Diffusion Model
- arxiv url: http://arxiv.org/abs/2407.07174v1
- Date: Tue, 9 Jul 2024 18:41:12 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-11 18:41:00.438549
- Title: CamFreeDiff: Camera-free Image to Panorama Generation with Diffusion Model
- Title（参考訳）: CamFreeDiff:拡散モデルによるパノラマ生成のためのカメラ不要画像
- Authors: Xiaoding Yuan, Shitao Tang, Kejie Li, Alan Yuille, Peng Wang,
- Abstract要約: 本稿では,1枚のカメラレス画像とテキスト記述から360度映像を出力するカメラフリー拡散モデルを提案する。
本モデルは,マルチビュー拡散フレームワーク内でのホモグラフィーを直接予測する機構を組み込んだものである。
- 参考スコア（独自算出の注目度）: 12.38275663977654
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: This paper introduces Camera-free Diffusion (CamFreeDiff) model for 360-degree image outpainting from a single camera-free image and text description. This method distinguishes itself from existing strategies, such as MVDiffusion, by eliminating the requirement for predefined camera poses. Instead, our model incorporates a mechanism for predicting homography directly within the multi-view diffusion framework. The core of our approach is to formulate camera estimation by predicting the homography transformation from the input view to a predefined canonical view. The homography provides point-level correspondences between the input image and targeting panoramic images, allowing connections enforced by correspondence-aware attention in a fully differentiable manner. Qualitative and quantitative experimental results demonstrate our model's strong robustness and generalization ability for 360-degree image outpainting in the challenging context of camera-free inputs.
- Abstract（参考訳）: 本稿では,1枚のカメラレス画像とテキスト記述から360度画像を出力するCamFreeDiffモデルを提案する。
この方法は、事前定義されたカメラポーズの要求を排除し、MVDiffusionのような既存の戦略と区別する。
その代わり,本モデルでは,マルチビュー拡散フレームワーク内でのホモグラフィーを直接予測する機構を組み込んでいる。
提案手法の核となるのは、入力ビューから予め定義された標準ビューへのホモグラフィ変換を予測することにより、カメラ推定を定式化することである。
このホモグラフィーは、入力画像とパノラマ画像との点レベル対応を提供し、完全に異なる方法で対応認識された接続を可能にする。
定性的かつ定量的な実験結果から、カメラレス入力の困難な状況下での360度画像の強靭性と一般化能力を示す。
関連論文リスト
- Cameras as Rays: Pose Estimation via Ray Diffusion [54.098613859015856]
カメラのポーズを推定することは3D再構成の基本的な課題であり、まばらにサンプリングされたビューを考えると依然として困難である。
本稿では,カメラを光束として扱うカメラポーズの分散表現を提案する。
提案手法は回帰法と拡散法の両方で,CO3Dのカメラポーズ推定における最先端性能を示す。
論文 参考訳（メタデータ） (2024-02-22T18:59:56Z) - DiffPortrait3D: Controllable Diffusion for Zero-Shot Portrait View Synthesis [18.64688172651478]
本稿では,DiffPortrait3Dについて述べる。DiffPortrait3Dは,3次元一貫性のあるフォトリアリスティック・ノベルビューを合成できる条件拡散モデルである。
一つのRGB入力が与えられた場合、我々は、新しいカメラビューから表現された、可塑性だが一貫した顔の詳細を合成することを目指している。
我々は、我々の挑戦的インザワイルドとマルチビューのベンチマークにおいて、質的にも定量的にも、最先端の結果を実証する。
論文 参考訳（メタデータ） (2023-12-20T13:31:11Z) - UpFusion: Novel View Diffusion from Unposed Sparse View Observations [66.36092764694502]
UpFusionは、参照画像のスパースセットが与えられたオブジェクトに対して、新しいビュー合成と3D表現を推論することができる。
本研究では,この機構により,付加された(未提示)画像の合成品質を向上しつつ,高忠実度な新規ビューを生成することができることを示す。
論文 参考訳（メタデータ） (2023-12-11T18:59:55Z) - Curved Diffusion: A Generative Model With Optical Geometry Control [56.24220665691974]
最終シーンの外観に対する異なる光学系の影響は、しばしば見過ごされる。
本研究では,画像レンダリングに使用される特定のレンズとテキスト画像拡散モデルを密接に統合するフレームワークを提案する。
論文 参考訳（メタデータ） (2023-11-29T13:06:48Z) - Learning Robust Multi-Scale Representation for Neural Radiance Fields
from Unposed Images [65.41966114373373]
コンピュータビジョンにおけるニューラルイメージベースのレンダリング問題に対する改善された解決策を提案する。
提案手法は,テスト時に新たな視点からシーンのリアルなイメージを合成することができる。
論文 参考訳（メタデータ） (2023-11-08T08:18:23Z) - Inverting the Imaging Process by Learning an Implicit Camera Model [73.81635386829846]
本稿では,ディープニューラルネットワークとしてのカメラの物理画像処理を表現した,新しい暗黙カメラモデルを提案する。
本稿では,この暗黙カメラモデルが2つの逆撮像タスクに与える影響を実演する。
論文 参考訳（メタデータ） (2023-04-25T11:55:03Z) - Long-Term Photometric Consistent Novel View Synthesis with Diffusion
Models [24.301334966272297]
本稿では,特定のカメラ軌跡に整合したフォトリアリスティックな画像列を生成できる新しい生成モデルを提案する。
生成したビューのシーケンス上の一貫性を測定するために、新しい計量、しきい値付き対称極性距離(TSED)を導入する。
論文 参考訳（メタデータ） (2023-04-21T02:01:02Z) - RelPose: Predicting Probabilistic Relative Rotation for Single Objects
in the Wild [73.1276968007689]
本稿では、任意のオブジェクトの複数の画像からカメラ視点を推定するデータ駆動手法について述べる。
本手法は, 画像の鮮明さから, 最先端のSfM法とSLAM法より優れていることを示す。
論文 参考訳（メタデータ） (2022-08-11T17:59:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。