論文の概要: Deep Motion Blind Video Stabilization

• arxiv url: http://arxiv.org/abs/2011.09697v2
• Date: Fri, 22 Oct 2021 08:28:08 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-23 21:09:39.609898
• Title: Deep Motion Blind Video Stabilization
• Title（参考訳）: ディープモーションブラインドビデオ安定化
• Authors: Muhammad Kashif Ali, Sangjoon Yu, Tae Hyun Kim
• Abstract要約: この研究は、新しいデータセットの助けを借りて、ビデオ安定化の過度に複雑化した定式化を解消することを目的としている。 より厳密な生成技術を用いて,モーションブラインドフルフレーム映像の安定化学習に成功した。 本手法は,現在利用可能な最速ビデオ安定化方式よりも$sim3times$の高速化を実現する。
• 参考スコア（独自算出の注目度）: 4.544151613454639
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite the advances in the field of generative models in computer vision, video stabilization still lacks a pure regressive deep-learning-based formulation. Deep video stabilization is generally formulated with the help of explicit motion estimation modules due to the lack of a dataset containing pairs of videos with similar perspective but different motion. Therefore, the deep learning approaches for this task have difficulties in the pixel-level synthesis of latent stabilized frames, and resort to motion estimation modules for indirect transformations of the unstable frames to stabilized frames, leading to the loss of visual content near the frame boundaries. In this work, we aim to declutter this over-complicated formulation of video stabilization with the help of a novel dataset that contains pairs of training videos with similar perspective but different motion, and verify its effectiveness by successfully learning motion blind full-frame video stabilization through employing strictly conventional generative techniques and further improve the stability through a curriculum-learning inspired adversarial training strategy. Through extensive experimentation, we show the quantitative and qualitative advantages of the proposed approach to the state-of-the-art video stabilization approaches. Moreover, our method achieves $\sim3\times$ speed-up over the currently available fastest video stabilization methods.
• Abstract（参考訳）: コンピュータビジョンにおける生成モデル分野の進歩にもかかわらず、ビデオ安定化はまだ純粋な回帰型ディープラーニングベースの定式化を欠いている。 ディープビデオ安定化は、よく似た視点を持つが異なる動きを持つビデオのペアを含むデータセットがないため、明示的な動き推定モジュールの助けを借りて定式化される。 したがって、この課題に対するディープラーニングのアプローチは、潜在安定化フレームのピクセルレベル合成において困難であり、不安定フレームから安定化フレームへの間接変換のための運動推定モジュールを頼りに、フレーム境界付近の視覚コンテンツが失われる。 本研究の目的は、この過度に複雑なビデオ安定化の定式化を、類似の視点で異なる動きのトレーニングビデオを含む新しいデータセットの助けを借りて解消することであり、その効果を、厳密な生成技術を用いて学習し、さらにカリキュラム学習による対角訓練戦略により、その安定性を向上させることである。 広汎な実験を通して,現状のビデオ安定化手法に対する提案手法の定量的,定性的優位性を示す。 さらに,本手法は,現在利用可能な最速ビデオ安定化方式よりも,$\sim3\times$の高速化を実現する。

関連論文リスト

• FRESCO: Spatial-Temporal Correspondence for Zero-Shot Video Translation [85.29772293776395]
  フレーム間対応とフレーム間対応のFRESCOを導入し,より堅牢な時空間制約を確立する。 この拡張により、フレーム間で意味的に類似したコンテンツのより一貫性のある変換が可能になる。 提案手法では,入力ビデオと高空間時間整合性を実現するために,特徴の明示的な更新を行う。
  論文  参考訳（メタデータ） (2024-03-19T17:59:18Z)
• Harnessing Meta-Learning for Improving Full-Frame Video Stabilization [8.208892438376388]
  我々は,これらのモデルを個々の入力ビデオシーケンスに適応させることにより,ビデオ安定化のための画素レベルの合成ソリューションの性能を向上させる新しい手法を提案する。 提案手法は,低レベルの視覚的手がかりを利用して,映像の安定性と品質を改善する。
  論文  参考訳（メタデータ） (2024-03-06T12:31:02Z)
• Video Dynamics Prior: An Internal Learning Approach for Robust Video Enhancements [83.5820690348833]
  外部トレーニングデータコーパスを必要としない低レベルの視覚タスクのためのフレームワークを提案する。 提案手法は,コヒーレンス・時間的テストの重み付けと統計内部統計を利用して,破損したシーケンスを最適化することでニューラルモジュールを学習する。
  論文  参考訳（メタデータ） (2023-12-13T01:57:11Z)
• Fast Full-frame Video Stabilization with Iterative Optimization [21.962533235492625]
  ビデオ安定化のための合成データセットを用いた反復的最適化に基づく学習手法を提案する。 確率的流れ場に基づく2レベル(粗粒度)安定化アルゴリズムを開発した。 そこで本研究では,分割コンカレントアプローチを採用し,フルフレーム安定化ビューをレンダリングするための新しいマルチフレーム融合戦略を提案する。
  論文  参考訳（メタデータ） (2023-07-24T13:24:19Z)
• Minimum Latency Deep Online Video Stabilization [77.68990069996939]
  本稿では,オンラインビデオ安定化作業のための新しいカメラパス最適化フレームワークを提案する。 本研究では,近年の市販の高品位深度モーションモデルを用いて動き推定を行い,カメラの軌道を復元する。 我々の手法は、定性的にも量的にも最先端のオンライン手法を大きく上回っている。
  論文  参考訳（メタデータ） (2022-12-05T07:37:32Z)
• Self-Supervised Real-time Video Stabilization [100.00816752529045]
  本稿では,リアルタイムビデオ安定化手法を提案する。 この動画は、まるでジンバルでリアルタイムで安定しているかのように、不安定な動画に変換します。
  論文  参考訳（メタデータ） (2021-11-10T22:49:56Z)
• Motion-blurred Video Interpolation and Extrapolation [72.3254384191509]
  本稿では,映像から鮮明なフレームをエンドツーエンドに切り離し,補間し,外挿する新しい枠組みを提案する。 予測フレーム間の時間的コヒーレンスを確保し,潜在的な時間的あいまいさに対処するために,単純で効果的なフローベースルールを提案する。
  論文  参考訳（メタデータ） (2021-03-04T12:18:25Z)
• Neural Re-rendering for Full-frame Video Stabilization [144.9918806873405]
  まず,高密度ワープ場を推定し,フルフレーム映像安定化のためのアルゴリズムを提案する。 フルフレーム安定化フレームは、隣接するフレームから歪んだコンテンツを融合することで合成することができる。
  論文  参考訳（メタデータ） (2021-02-11T18:59:45Z)
• Adaptively Meshed Video Stabilization [32.68960056325736]
  本稿では,すべての特徴軌跡と適応的ブロッキング戦略に基づいて,ゆるやかな映像を安定化するための適応的メッシュ化手法を提案する。 2段階最適化問題を解くことにより,各フレームのメッシュベースの変換を推定する。
  論文  参考訳（メタデータ） (2020-06-14T06:51:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。