論文の概要: M2SVid: End-to-End Inpainting and Refinement for Monocular-to-Stereo Video Conversion
- arxiv url: http://arxiv.org/abs/2505.16565v1
- Date: Thu, 22 May 2025 11:58:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-23 17:12:48.264755
- Title: M2SVid: End-to-End Inpainting and Refinement for Monocular-to-Stereo Video Conversion
- Title（参考訳）: M2SVid:モノクロ-ステレオビデオ変換のためのエンド・ツー・エンド塗装と微細化
- Authors: Nina Shvetsova, Goutam Bhat, Prune Truong, Hilde Kuehne, Federico Tombari,
- Abstract要約: 入力左図の奥行きに基づく再投影により得られた歪んだ右図の描画と洗練のための新しいアーキテクチャを提案する。
提案手法は従来の最先端手法よりも優れており,ユーザスタディでは4つの比較手法の中で平均1.43のランクが得られた。
- 参考スコア（独自算出の注目度）: 60.728003408015844
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We tackle the problem of monocular-to-stereo video conversion and propose a novel architecture for inpainting and refinement of the warped right view obtained by depth-based reprojection of the input left view. We extend the Stable Video Diffusion (SVD) model to utilize the input left video, the warped right video, and the disocclusion masks as conditioning input to generate a high-quality right camera view. In order to effectively exploit information from neighboring frames for inpainting, we modify the attention layers in SVD to compute full attention for discoccluded pixels. Our model is trained to generate the right view video in an end-to-end manner by minimizing image space losses to ensure high-quality generation. Our approach outperforms previous state-of-the-art methods, obtaining an average rank of 1.43 among the 4 compared methods in a user study, while being 6x faster than the second placed method.
- Abstract（参考訳）: 本稿では,モノクロからステレオへの映像変換の問題に取り組み,入力左図の奥行きに基づく再投影により得られた歪んだ右図の表現と洗練のための新しいアーキテクチャを提案する。
我々は、入力された左ビデオ、歪んだ右ビデオ、および非閉塞マスクを条件入力として使用するために、安定ビデオ拡散(SVD)モデルを拡張し、高品質な右カメラビューを生成する。
隣接フレームからの情報を効果的に活用するために,SVDの注目層を修正し,不特定画素に対する注意度を算出する。
画像空間の損失を最小限に抑え,高品質な映像生成を実現することによって,エンド・ツー・エンドで適切なビュー映像を生成する訓練を行った。
提案手法は従来の最先端手法よりも優れており,ユーザスタディで比較した4つの手法の中で平均1.43のランクが得られたが,第2の手法よりも6倍高速であった。
関連論文リスト
- Restereo: Diffusion stereo video generation and restoration [43.208256051997616]
ステレオビデオを生成するだけでなく、左ビデオと右ビデオの両方を1つのモデルで一貫した拡張を行う新しいパイプラインを導入する。
本手法は,比較的小さなステレオビデオデータセットを用いて微調整し,高品質な実世界のビデオに適用することができる。
論文 参考訳（メタデータ） (2025-06-06T12:14:24Z) - Zero4D: Training-Free 4D Video Generation From Single Video Using Off-the-Shelf Video Diffusion [52.0192865857058]
そこで,本研究では,市販ビデオ拡散モデルを利用して,単一入力ビデオから多視点ビデオを生成する4Dビデオ生成手法を提案する。
本手法はトレーニング不要で,市販のビデオ拡散モデルを完全に活用し,マルチビュービデオ生成のための実用的で効果的なソリューションを提供する。
論文 参考訳（メタデータ） (2025-03-28T17:14:48Z) - TrajectoryCrafter: Redirecting Camera Trajectory for Monocular Videos via Diffusion Models [33.219657261649324]
TrajectoryCrafterは、モノクロビデオのためのカメラトラジェクトリをリダイレクトする新しいアプローチである。
コンテンツ生成から決定論的視点変換を遠ざけることで,ユーザの特定したカメラトラジェクトリの正確な制御を実現する。
論文 参考訳（メタデータ） (2025-03-07T17:57:53Z) - Elevating Flow-Guided Video Inpainting with Reference Generation [50.03502211226332]
ビデオインパインティング(VI)は、フレーム間で観測可能なコンテンツを効果的に伝播させながら、オリジナルビデオに存在しない新しいコンテンツを同時に生成する必要がある課題である。
本稿では,より進んだ画素伝搬アルゴリズムと組み合わせて,参照生成のための大規模な生成モデルを活用する,堅牢で実用的なVIフレームワークを提案する。
提案手法は,オブジェクト削除のためのフレームレベルの品質を著しく向上するだけでなく,ユーザが提供するテキストプロンプトに基づいて,欠落した領域の新たなコンテンツを合成する。
論文 参考訳（メタデータ） (2024-12-12T06:13:00Z) - VISION-XL: High Definition Video Inverse Problem Solver using Latent Image Diffusion Models [58.464465016269614]
本稿では,遅延画像拡散モデルを用いた高精細ビデオ逆問題の解法を提案する。
提案手法は,NVIDIA 4090 GPUの1フレームあたり6秒未満でHD解像度の再構成を実現する。
論文 参考訳（メタデータ） (2024-11-29T08:10:49Z) - ViBiDSampler: Enhancing Video Interpolation Using Bidirectional Diffusion Sampler [53.98558445900626]
現在の画像とビデオの拡散モデルは、単一のフレームからビデオを生成するのに強力だが、2フレーム条件付き生成に適応する必要がある。
我々は,これらのオフマンド問題に対処するために,広範囲な再ノイズや微調整を必要とせずに,新しい双方向サンプリング戦略を導入する。
提案手法では,それぞれ開始フレームと終了フレームに条件付き前方経路と後方経路の両方に沿って逐次サンプリングを行い,中間フレームの整合性を確保した。
論文 参考訳（メタデータ） (2024-10-08T03:01:54Z) - Learning Spatial Adaptation and Temporal Coherence in Diffusion Models for Video Super-Resolution [151.1255837803585]
ビデオ超解像のための空間適応と時間コヒーレンス(SATeCo)を追求する新しい手法を提案する。
SATeCoは低解像度ビデオから時空間ガイダンスを学習し、潜時空間高解像度ビデオデノイングとピクセル空間ビデオ再構成の両方を校正する。
REDS4データセットとVid4データセットを用いて行った実験は、我々のアプローチの有効性を実証する。
論文 参考訳（メタデータ） (2024-03-25T17:59:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。