論文の概要: Fast Full-frame Video Stabilization with Iterative Optimization

• arxiv url: http://arxiv.org/abs/2307.12774v2
• Date: Mon, 31 Jul 2023 08:42:20 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-01 19:54:00.548230
• Title: Fast Full-frame Video Stabilization with Iterative Optimization
• Title（参考訳）: 反復最適化による高速フルフレーム映像安定化
• Authors: Weiyue Zhao, Xin Li, Zhan Peng, Xianrui Luo, Xinyi Ye, Hao Lu, Zhiguo Cao
• Abstract要約: ビデオ安定化のための合成データセットを用いた反復的最適化に基づく学習手法を提案する。 確率的流れ場に基づく2レベル(粗粒度)安定化アルゴリズムを開発した。 そこで本研究では,分割コンカレントアプローチを採用し,フルフレーム安定化ビューをレンダリングするための新しいマルチフレーム融合戦略を提案する。
• 参考スコア（独自算出の注目度）: 21.962533235492625
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Video stabilization refers to the problem of transforming a shaky video into a visually pleasing one. The question of how to strike a good trade-off between visual quality and computational speed has remained one of the open challenges in video stabilization. Inspired by the analogy between wobbly frames and jigsaw puzzles, we propose an iterative optimization-based learning approach using synthetic datasets for video stabilization, which consists of two interacting submodules: motion trajectory smoothing and full-frame outpainting. First, we develop a two-level (coarse-to-fine) stabilizing algorithm based on the probabilistic flow field. The confidence map associated with the estimated optical flow is exploited to guide the search for shared regions through backpropagation. Second, we take a divide-and-conquer approach and propose a novel multiframe fusion strategy to render full-frame stabilized views. An important new insight brought about by our iterative optimization approach is that the target video can be interpreted as the fixed point of nonlinear mapping for video stabilization. We formulate video stabilization as a problem of minimizing the amount of jerkiness in motion trajectories, which guarantees convergence with the help of fixed-point theory. Extensive experimental results are reported to demonstrate the superiority of the proposed approach in terms of computational speed and visual quality. The code will be available on GitHub.
• Abstract（参考訳）: ビデオ安定化とは、不気味なビデオを視覚的に喜ばしいものにする問題である。 視覚品質と計算速度の間の良いトレードオフをどうやって達成するかという問題は、ビデオの安定化におけるオープンな課題の1つだ。 wobblyフレームとjigsawパズルの類似性に触発されて,ビデオ安定化のための合成データセットを用いた反復最適化に基づく学習手法を提案する。 まず,確率的流れ場に基づく2レベル(粗粒度)安定化アルゴリズムを提案する。 推定光流に付随する信頼マップを用いて、バックプロパゲーションにより共有領域の探索を誘導する。 第2に,分割・分割のアプローチを採り,フルフレームの安定化ビューを描画するための新しいマルチフレーム融合戦略を提案する。 反復最適化手法によってもたらされた重要な新たな洞察は、ビデオ安定化のための非線形マッピングの固定点として対象映像を解釈できるということである。 固定点理論の助けを借りて収束を保証する動き軌跡における不気味さの最小化問題として,ビデオ安定化を定式化する。 計算速度と視覚的品質の観点から,提案手法の優位性を示す実験結果が報告されている。 コードはGitHubで入手できる。

関連論文リスト

• Minimum Latency Deep Online Video Stabilization [77.68990069996939]
  本稿では,オンラインビデオ安定化作業のための新しいカメラパス最適化フレームワークを提案する。 本研究では,近年の市販の高品位深度モーションモデルを用いて動き推定を行い,カメラの軌道を復元する。 我々の手法は、定性的にも量的にも最先端のオンライン手法を大きく上回っている。
  論文  参考訳（メタデータ） (2022-12-05T07:37:32Z)
• Motion-blurred Video Interpolation and Extrapolation [72.3254384191509]
  本稿では,映像から鮮明なフレームをエンドツーエンドに切り離し,補間し,外挿する新しい枠組みを提案する。 予測フレーム間の時間的コヒーレンスを確保し,潜在的な時間的あいまいさに対処するために,単純で効果的なフローベースルールを提案する。
  論文  参考訳（メタデータ） (2021-03-04T12:18:25Z)
• Neural Re-rendering for Full-frame Video Stabilization [144.9918806873405]
  まず,高密度ワープ場を推定し,フルフレーム映像安定化のためのアルゴリズムを提案する。 フルフレーム安定化フレームは、隣接するフレームから歪んだコンテンツを融合することで合成することができる。
  論文  参考訳（メタデータ） (2021-02-11T18:59:45Z)
• FLAVR: Flow-Agnostic Video Representations for Fast Frame Interpolation [97.99012124785177]
  FLAVRは、3D空間時間の畳み込みを使用して、ビデオフレームのエンドツーエンドの学習と推論を可能にする柔軟で効率的なアーキテクチャです。 FLAVRは、アクション認識、光フロー推定、モーション拡大のための有用な自己解釈タスクとして役立つことを実証します。
  論文  参考訳（メタデータ） (2020-12-15T18:59:30Z)
• Deep Motion Blind Video Stabilization [4.544151613454639]
  この研究は、新しいデータセットの助けを借りて、ビデオ安定化の過度に複雑化した定式化を解消することを目的としている。 より厳密な生成技術を用いて,モーションブラインドフルフレーム映像の安定化学習に成功した。 本手法は,現在利用可能な最速ビデオ安定化方式よりも$sim3times$の高速化を実現する。
  論文  参考訳（メタデータ） (2020-11-19T07:26:06Z)
• Cinematic-L1 Video Stabilization with a Log-Homography Model [0.0]
  撮影者が撮影するカメラの動きを、三脚、人形、ステアディカムなどの装置でシミュレートする手持ちビデオの安定化方法を提案する。 提案手法は,iPhone XS上で300fpsで動作する計算効率が高く,高品質な結果が得られる。
  論文  参考訳（メタデータ） (2020-11-16T18:10:57Z)
• Towards Fast, Accurate and Stable 3D Dense Face Alignment [73.01620081047336]
  本稿では,速度,精度,安定性のバランスをとる3DDFA-V2という新しい回帰フレームワークを提案する。 本研究では,静止画を平面内と面外の動きを取り入れた映像に変換する仮想合成法を提案する。
  論文  参考訳（メタデータ） (2020-09-21T15:37:37Z)
• Enhanced Quadratic Video Interpolation [56.54662568085176]
  より複雑なシーンや動きパターンを扱うために,拡張された2次ビデオ(EQVI)モデルを提案する。 さらなる性能向上のために,学習可能な拡張プロセスと見なせる新しいマルチスケール核融合ネットワーク(MS-Fusion)を考案した。 提案されたEQVIモデルは、AIM 2020 Video Temporal Super-Resolution Challengeで優勝した。
  論文  参考訳（メタデータ） (2020-09-10T02:31:50Z)
• Adaptively Meshed Video Stabilization [32.68960056325736]
  本稿では,すべての特徴軌跡と適応的ブロッキング戦略に基づいて,ゆるやかな映像を安定化するための適応的メッシュ化手法を提案する。 2段階最適化問題を解くことにより,各フレームのメッシュベースの変換を推定する。
  論文  参考訳（メタデータ） (2020-06-14T06:51:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。