論文の概要: StabStitch++: Unsupervised Online Video Stitching with Spatiotemporal Bidirectional Warps

• arxiv url: http://arxiv.org/abs/2505.05001v1
• Date: Thu, 08 May 2025 07:12:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-09 21:43:49.784314
• Title: StabStitch++: Unsupervised Online Video Stitching with Spatiotemporal Bidirectional Warps
• Title（参考訳）: StabStitch++: 時空間双方向ワープによる教師なしオンラインビデオスティッチ
• Authors: Lang Nie, Chunyu Lin, Kang Liao, Yun Zhang, Shuaicheng Liu, Yao Zhao,
• Abstract要約: 我々は,画像縫合からビデオ縫合までを延ばす際に,連続的に非平滑なワープによって引き起こされる時間的内容の揺らぎを顕現するワープシェイクという新たな問題にビデオ縫合を再ターゲットとした。 この問題を解決するために,教師なし学習を同時に行う空間的縫合と時間的安定化を実現する新しいビデオ縫合フレームワークであるStabStitch++を提案する。
• 参考スコア（独自算出の注目度）: 81.8786100662034
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We retarget video stitching to an emerging issue, named warping shake, which unveils the temporal content shakes induced by sequentially unsmooth warps when extending image stitching to video stitching. Even if the input videos are stable, the stitched video can inevitably cause undesired warping shakes and affect the visual experience. To address this issue, we propose StabStitch++, a novel video stitching framework to realize spatial stitching and temporal stabilization with unsupervised learning simultaneously. First, different from existing learning-based image stitching solutions that typically warp one image to align with another, we suppose a virtual midplane between original image planes and project them onto it. Concretely, we design a differentiable bidirectional decomposition module to disentangle the homography transformation and incorporate it into our spatial warp, evenly spreading alignment burdens and projective distortions across two views. Then, inspired by camera paths in video stabilization, we derive the mathematical expression of stitching trajectories in video stitching by elaborately integrating spatial and temporal warps. Finally, a warp smoothing model is presented to produce stable stitched videos with a hybrid loss to simultaneously encourage content alignment, trajectory smoothness, and online collaboration. Compared with StabStitch that sacrifices alignment for stabilization, StabStitch++ makes no compromise and optimizes both of them simultaneously, especially in the online mode. To establish an evaluation benchmark and train the learning framework, we build a video stitching dataset with a rich diversity in camera motions and scenes. Experiments exhibit that StabStitch++ surpasses current solutions in stitching performance, robustness, and efficiency, offering compelling advancements in this field by building a real-time online video stitching system.
• Abstract（参考訳）: 我々は,画像縫合からビデオ縫合までを延ばす際に,連続的に非平滑なワープによって引き起こされる時間的内容の揺らぎを顕現するワープシェイクという新たな問題にビデオ縫合を再ターゲットとした。 たとえ入力ビデオが安定していても、縫合されたビデオは必然的に望ましくない反動を引き起こし、視覚的体験に影響を与える。 この問題を解決するために,教師なし学習を同時に行う空間的縫合と時間的安定化を実現する新しいビデオ縫合フレームワークであるStabStitch++を提案する。 まず、既存の学習ベースの画像縫合ソリューションとは違い、1つの画像が他の画像と整合するようにワープされる。 具体的には、ホモグラフィ変換をアンタングル化し、空間ワープに組み込むことで、アライメントの負担や投影歪みを2つのビューに均等に分散させる、微分可能な双方向分解モジュールを設計する。 そして,ビデオ安定化におけるカメラパスに着想を得て,空間的および時間的ワープを精巧に統合することにより,ビデオ縫合における縫合軌跡の数学的表現を導出する。 最後に、コンテンツのアライメント、軌道のスムーズさ、オンラインコラボレーションを同時に促進するために、ハイブリッド損失を伴う安定した縫合ビデオを生成するワープ平滑化モデルを提案する。 安定化のためのアライメントを犠牲にするStabStitchと比べ、StabStitch++は妥協をせず、特にオンラインモードでは、両方を同時に最適化する。 評価ベンチマークを確立し,学習フレームワークを訓練するために,カメラの動きやシーンの多様性に富んだビデオステッチデータセットを構築した。 実験によると、StabStitch++は、スタイリングパフォーマンス、堅牢性、効率性において現在のソリューションを超えており、リアルタイムオンラインビデオ縫合システムを構築することで、この分野において魅力的な進歩をもたらしている。

関連論文リスト

• WildVidFit: Video Virtual Try-On in the Wild via Image-Based Controlled Diffusion Models [132.77237314239025]
  ビデオ仮想トライオンは、衣料品のアイデンティティを維持し、ソースビデオにおける人のポーズと身体の形に適応する現実的なシーケンスを生成することを目的としている。 従来の画像ベースの手法は、ワープとブレンディングに依存しており、複雑な人間の動きや閉塞に苦しむ。 衣料品の説明や人間の動きを条件とした映像生成のプロセスとして,映像試行を再認識する。 私たちのソリューションであるWildVidFitは、画像ベースで制御された拡散モデルを用いて、一段階の合理化を図っている。
  論文  参考訳（メタデータ） (2024-07-15T11:21:03Z)
• Eliminating Warping Shakes for Unsupervised Online Video Stitching [77.96880800111498]
  我々は、ビデオ縫合まで画像縫合を延ばす際に、ワープシェイクと呼ばれる新しい問題にビデオ縫合を向けた。 統合された教師なし学習フレームワークにおいて,ビデオステッチとビデオ安定化を同時に実現するためのStabStitchを提案する。 既存の縫合法と比較して、StabStitchは縫合性能と安定化性能に加えて、シーンの堅牢性と推論速度に大きな優位性を示す。
  論文  参考訳（メタデータ） (2024-03-11T02:05:31Z)
• Fast Full-frame Video Stabilization with Iterative Optimization [21.962533235492625]
  ビデオ安定化のための合成データセットを用いた反復的最適化に基づく学習手法を提案する。 確率的流れ場に基づく2レベル(粗粒度)安定化アルゴリズムを開発した。 そこで本研究では,分割コンカレントアプローチを採用し,フルフレーム安定化ビューをレンダリングするための新しいマルチフレーム融合戦略を提案する。
  論文  参考訳（メタデータ） (2023-07-24T13:24:19Z)
• Video Demoireing with Relation-Based Temporal Consistency [68.20281109859998]
  カラー歪みのように見えるモアレパターンは、デジタルカメラでスクリーンを撮影する際に、画像と映像の画質を著しく劣化させる。 我々は、このような望ましくないモアレパターンをビデオで除去する方法を研究している。
  論文  参考訳（メタデータ） (2022-04-06T17:45:38Z)
• Restoration of Video Frames from a Single Blurred Image with Motion Understanding [69.90724075337194]
  単一モーション赤画像からクリーンな映像フレームを生成するための新しいフレームワークを提案する。 一つのぼやけた画像からの映像復元を逆問題として、クリーンな画像シーケンスとそれぞれの動きを潜伏要因として設定する。 提案手法は,空間トランスフォーマネットワークモジュールを用いたanblur-decoder構造に基づいている。
  論文  参考訳（メタデータ） (2021-04-19T08:32:57Z)
• Aligning Videos in Space and Time [36.77248894563779]
  本稿では,時間と空間の対応をクロスビデオ・サイクル整合性により学習する新しいアライメント手法を提案する。 The Penn Action and Pouring datasets we demonstrated that the proposed method can successfully learn to correspondally similar patch across video。
  論文  参考訳（メタデータ） (2020-07-09T02:30:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。