論文の概要: ZoomDiff: A High-Fidelity Diffusion Model for Dual-Camera Smooth Zooming
- arxiv url: http://arxiv.org/abs/2609.28083v1
- Date: Wed, 23 Sep 2026 13:22:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-25 00:05:18.042835
- Title: ZoomDiff: A High-Fidelity Diffusion Model for Dual-Camera Smooth Zooming
- Title(参考訳): ZoomDiff:デュアルカメラ平滑ズームのための高忠実拡散モデル
- Abstract要約: デュアルカメラ間のデジタルズーム遷移は、幾何学的構造と色調の整合性において顕著な不連続性を示すことが多い。
本稿では,高忠実度拡散モデルであるZoomDiffを提案する。
- 参考スコア(独自算出の注目度): 52.06132693305164
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Digital zoom transitions between dual cameras often exhibit conspicuous discontinuities in geometric structure and chromatic consistency, degrading the user experience. While recent dual-camera smooth zoom (DCSZ) methods attempt to mitigate this by fine-tuning frame interpolation (FI) models on DCSZ data, they struggle with the large cross-view disparities and complex geometric transformations. Considering that the generative prior of diffusion models is suitable for addressing this problem, we explore their application to DCSZ. However, naively applying existing diffusion-based FI models still yields low-fidelity transitions due to insufficient conditional guidance, high-frequency information loss during VAE encoding, as well as inadequate temporal consistency. To address this, we propose ZoomDiff, a high-fidelity diffusion model that leverages dual-camera inputs in both latent and pixel spaces for photo-realistic transitions. Specifically, we first strengthen dual-image conditional guidance during the multi-step denoising process to improve geometric consistency. Then we inject flow-aligned multi-scale features from the VAE encoder into the VAE decoder to recover high-frequency details, where flow-guided temporal consistency supervision are introduced to produce more smooth transitions. Extensive experiments on both synthetic and real-world datasets demonstrate that ZoomDiff outperforms state-of-the-art methods quantitatively and qualitatively. Project page: https://jiayi-hit.github.io/ZoomDiff.github.io/.
- Abstract(参考訳): デュアルカメラ間のデジタルズーム遷移は、幾何学的構造と色調整合において顕著な不連続性を示し、ユーザエクスペリエンスを劣化させる。
最近のデュアルカメラ・スムーズズーム(DCSZ)法は、DCSZデータ上での微調整フレーム補間(FI)モデルによってこれを緩和しようとするが、大きなクロスビューの相違や複雑な幾何学的変換に悩まされる。
拡散モデルの生成がこの問題に対処するのに適していることを考慮し,DCSZへの適用について検討する。
しかし, 既存の拡散型FIモデルの適用は, 条件ガイダンスの不足, VAE符号化時の高周波情報損失, 時間的整合性の欠如などにより, 相変わらず低忠実性遷移をもたらす。
この問題に対処するために、光実写遷移のために、潜時空間と画素空間の両方でデュアルカメラ入力を利用する高忠実拡散モデルZoomDiffを提案する。
具体的には,幾何整合性を改善するために,まずマルチステップ・デノナイジング過程における2次元条件ガイダンスを強化する。
次に、VAEエンコーダからVAEデコーダにフローアラインなマルチスケール特徴を注入し、よりスムーズな遷移を生成するために、フロー誘導時整合性監視を導入する。
人工と実世界の両方のデータセットに対する大規模な実験は、ZoomDiffが最先端の手法を定量的に質的に上回ることを示した。
プロジェクトページ: https://jiayi-hit.github.io/ZoomDiff.github.io/
関連論文リスト
- One-Step Diffusion Model for Image Motion-Deblurring [85.76149042561507]
本稿では,脱臭過程を1段階に短縮する新しいフレームワークである脱臭拡散モデル(OSDD)を提案する。
拡散モデルにおける忠実度損失に対処するために,構造復元を改善する改良された変分オートエンコーダ(eVAE)を導入する。
提案手法は,実測値と非参照値の両方で高い性能を達成する。
論文 参考訳(メタデータ) (2025-03-09T09:39:57Z) - DiffMorpher: Unleashing the Capability of Diffusion Models for Image
Morphing [28.593023489682654]
DiffMorpherは、拡散モデルを用いて、スムーズで自然な画像のモーフィングを可能にする最初のアプローチである。
私たちのキーとなるアイデアは、2つのLoRAをそれぞれ組み合わせることで2つの画像の意味を捉え、LoRAパラメータと潜時ノイズの両方を補間することで、スムーズなセマンティック・トランジションを確保することです。
また,連続画像間のスムーズさをさらに高めるため,注意・注入手法と新しいサンプリングスケジュールを提案する。
論文 参考訳(メタデータ) (2023-12-12T16:28:08Z) - Hierarchical Integration Diffusion Model for Realistic Image Deblurring [71.76410266003917]
拡散モデル (DM) は画像劣化に導入され, 有望な性能を示した。
本稿では,階層型統合拡散モデル(HI-Diff)を提案する。
人工的および実世界のぼかしデータセットの実験は、HI-Diffが最先端の手法より優れていることを示した。
論文 参考訳(メタデータ) (2023-05-22T12:18:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。