論文の概要: Restereo: Diffusion stereo video generation and restoration

• arxiv url: http://arxiv.org/abs/2506.06023v1
• Date: Fri, 06 Jun 2025 12:14:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-09 17:28:43.466408
• Title: Restereo: Diffusion stereo video generation and restoration
• Title（参考訳）: Restereo: 拡散ステレオビデオの生成と復元
• Authors: Xingchang Huang, Ashish Kumar Singh, Florian Dubost, Cristina Nader Vasconcelos, Sakar Khattar, Liang Shi, Christian Theobalt, Cengiz Oztireli, Gurprit Singh,
• Abstract要約: ステレオビデオを生成するだけでなく、左ビデオと右ビデオの両方を1つのモデルで一貫した拡張を行う新しいパイプラインを導入する。 本手法は,比較的小さなステレオビデオデータセットを用いて微調整し,高品質な実世界のビデオに適用することができる。
• 参考スコア（独自算出の注目度）: 43.208256051997616
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Stereo video generation has been gaining increasing attention with recent advancements in video diffusion models. However, most existing methods focus on generating 3D stereoscopic videos from monocular 2D videos. These approaches typically assume that the input monocular video is of high quality, making the task primarily about inpainting occluded regions in the warped video while preserving disoccluded areas. In this paper, we introduce a new pipeline that not only generates stereo videos but also enhances both left-view and right-view videos consistently with a single model. Our approach achieves this by fine-tuning the model on degraded data for restoration, as well as conditioning the model on warped masks for consistent stereo generation. As a result, our method can be fine-tuned on a relatively small synthetic stereo video datasets and applied to low-quality real-world videos, performing both stereo video generation and restoration. Experiments demonstrate that our method outperforms existing approaches both qualitatively and quantitatively in stereo video generation from low-resolution inputs.
• Abstract（参考訳）: 近年,ビデオ拡散モデルの発展に伴い,ステレオ映像生成が注目されている。 しかし、既存のほとんどの手法はモノクロ2Dビデオから3Dステレオビデオを生成することに重点を置いている。 これらの手法は典型的には、入力された単眼ビデオは高品質であると仮定し、主に歪んだビデオの隠蔽領域に塗装を施し、隠蔽領域を保存する。 本稿では,ステレオビデオを生成するだけでなく,左ビデオと右ビデオの両方を1つのモデルで一貫した拡張を行うパイプラインを提案する。 本手法は、復元のための劣化データに基づくモデル調整と、一貫したステレオ生成のための変形マスク上でのモデル調整により、これを実現する。 その結果,本手法は比較的小さな合成ステレオビデオデータセットを用いて微調整し,低品質の現実世界ビデオに適用し,ステレオビデオ生成と復元の両方を行うことができた。 実験により,本手法は,低解像度入力からのステレオビデオ生成において,定性的かつ定量的に既存の手法よりも優れていることが示された。

関連論文リスト

• M2SVid: End-to-End Inpainting and Refinement for Monocular-to-Stereo Video Conversion [60.728003408015844]
  入力左図の奥行きに基づく再投影により得られた歪んだ右図の描画と洗練のための新しいアーキテクチャを提案する。 提案手法は従来の最先端手法よりも優れており,ユーザスタディでは4つの比較手法の中で平均1.43のランクが得られた。
  論文  参考訳（メタデータ） (2025-05-22T11:58:54Z)
• SpatialMe: Stereo Video Conversion Using Depth-Warping and Blend-Inpainting [20.98704347305053]
  本研究では,深度ワープとブレンドインペインティングに基づく新しいステレオビデオ変換フレームワークであるSpatialMeを紹介する。 データ不足を軽減するために、高品質な現実世界のステレオビデオデータセット -- StereoV1K を実行しています。
  論文  参考訳（メタデータ） (2024-12-16T07:42:49Z)
• StereoCrafter-Zero: Zero-Shot Stereo Video Generation with Noisy Restart [44.671043951223574]
  ゼロショットステレオビデオ生成のための新しいフレームワークであるStereoCrafter-Zeroを紹介する。 主なイノベーションは、ステレオ認識の潜在表現を初期化するノイズリスタート戦略である。 我々は,StereoCrafter-Zeroが高精細度と時間的滑らかさを向上した高品質なステレオビデオを生成することを示す。
  論文  参考訳（メタデータ） (2024-11-21T16:41:55Z)
• Replace Anyone in Videos [82.37852750357331]
  ReplaceAnyoneフレームワークは、複雑な背景を特徴とする、局所的な人間の置換と挿入に焦点を当てたフレームワークである。 我々は,このタスクを,一貫したエンド・ツー・エンドビデオ拡散アーキテクチャを用いて,ポーズガイダンスを用いた画像条件付きビデオ塗装パラダイムとして定式化する。 提案されたReplaceAnyoneは従来の3D-UNetベースモデルだけでなく、Wan2.1のようなDiTベースのビデオモデルにもシームレスに適用できる。
  論文  参考訳（メタデータ） (2024-09-30T03:27:33Z)
• StereoCrafter: Diffusion-based Generation of Long and High-fidelity Stereoscopic 3D from Monocular Videos [44.51044100125421]
  本稿では,没入型立体映像を没入型立体映像に変換するための新しい枠組みを提案し,没入型体験における3Dコンテンツの需要の増加に対処する。 われわれのフレームワークは、2Dから3Dへの変換を大幅に改善し、Apple Vision Proや3Dディスプレイのような3Dデバイス用の没入型コンテンツを作るための実用的なソリューションを提供する。
  論文  参考訳（メタデータ） (2024-09-11T17:52:07Z)
• SVG: 3D Stereoscopic Video Generation via Denoising Frame Matrix [60.48666051245761]
  本研究では,3次元立体映像生成のためのポーズフリーかつトレーニングフリーな手法を提案する。 提案手法は, 推定ビデオ深度を用いた立体視ベースライン上のカメラビューにモノクロ映像をワープする。 本研究では,映像の画質向上を図るために,非閉塞境界再注入方式を開発した。
  論文  参考訳（メタデータ） (2024-06-29T08:33:55Z)
• Single-View View Synthesis with Self-Rectified Pseudo-Stereo [49.946151180828465]
  疑似ステレオ視点を生成する前に、信頼性と明示的なステレオを利用する。 本稿では,自己修正ステレオ合成法を提案する。 本手法は,最先端の単一ビュービュー合成法およびステレオ合成法より優れる。
  論文  参考訳（メタデータ） (2023-04-19T09:36:13Z)
• Learning Task-Oriented Flows to Mutually Guide Feature Alignment in Synthesized and Real Video Denoising [137.5080784570804]
  Video Denoisingは、クリーンなノイズを回復するためにビデオからノイズを取り除くことを目的としている。 既存の研究によっては、近辺のフレームから追加の空間的時間的手がかりを利用することで、光学的流れがノイズ発生の助けとなることが示されている。 本稿では,様々なノイズレベルに対してより堅牢なマルチスケール光フロー誘導型ビデオデノイング法を提案する。
  論文  参考訳（メタデータ） (2022-08-25T00:09:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。