論文の概要: GlobalFlowNet: Video Stabilization using Deep Distilled Global Motion Estimates

• arxiv url: http://arxiv.org/abs/2210.13769v1
• Date: Tue, 25 Oct 2022 05:09:18 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-26 13:55:42.390135
• Title: GlobalFlowNet: Video Stabilization using Deep Distilled Global Motion Estimates
• Title（参考訳）: GlobalFlowNet: 深部蒸留グローバルモーション推定によるビデオ安定化
• Authors: Jerin Geo James (1), Devansh Jain (1), Ajit Rajwade (1) ((1) Indian Institute of Technology Bombay)
• Abstract要約: 手持ちのカメラを使ってレイメンが撮影したビデオには、望ましくない震えが写っている。 連続するフレーム間のグローバルな動きを推定することは、多くのビデオ安定化技術の中心である。 移動物体を無視するために、既存の光フローネットワークに適応するより一般的な表現方式を導入する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Videos shot by laymen using hand-held cameras contain undesirable shaky motion. Estimating the global motion between successive frames, in a manner not influenced by moving objects, is central to many video stabilization techniques, but poses significant challenges. A large body of work uses 2D affine transformations or homography for the global motion. However, in this work, we introduce a more general representation scheme, which adapts any existing optical flow network to ignore the moving objects and obtain a spatially smooth approximation of the global motion between video frames. We achieve this by a knowledge distillation approach, where we first introduce a low pass filter module into the optical flow network to constrain the predicted optical flow to be spatially smooth. This becomes our student network, named as \textsc{GlobalFlowNet}. Then, using the original optical flow network as the teacher network, we train the student network using a robust loss function. Given a trained \textsc{GlobalFlowNet}, we stabilize videos using a two stage process. In the first stage, we correct the instability in affine parameters using a quadratic programming approach constrained by a user-specified cropping limit to control loss of field of view. In the second stage, we stabilize the video further by smoothing global motion parameters, expressed using a small number of discrete cosine transform coefficients. In extensive experiments on a variety of different videos, our technique outperforms state of the art techniques in terms of subjective quality and different quantitative measures of video stability. The source code is publicly available at \href{https://github.com/GlobalFlowNet/GlobalFlowNet}{https://github.com/GlobalFlowNet/GlobalFlowNet}
• Abstract（参考訳）: 手持ちのカメラを使ってレイメンが撮影したビデオには、望ましくない揺れが含まれている。 連続するフレーム間のグローバルな動きを、移動物体の影響を受けない方法で推定することは、多くのビデオ安定化技術の中心であるが、重大な課題を生じさせる。 大部分は2次元アフィン変換やホモグラフィーを大域運動に用いている。 しかし,本研究では,移動物体を無視するために既存の光フローネットワークを適用し,映像フレーム間の大域的な動きを空間的に滑らかに近似する,より一般的な表現方式を提案する。 そこで我々はまず,光フローネットワークに低域通過フィルタモジュールを導入し,予測された光フローの空間的スムーズさを抑える。 これは我々の学生ネットワークとなり、名前は \textsc{GlobalFlowNet} となる。 そして,教師ネットワークとしてオリジナル光学フローネットワークを用いて,ロバストな損失関数を用いて学生ネットワークを訓練する。 訓練された \textsc{globalflownet} が与えられると、2段階のプロセスでビデオを安定化する。 最初の段階では、ユーザ指定のトリミング制限によって制約された二次的プログラミング手法を用いて、アフィンパラメータの不安定性を補正し、視野の損失を制御する。 第2段階では, 少数の離散コサイン変換係数を用いて表現した大域的運動パラメータを平滑化することにより, 映像を安定化する。 様々なビデオに関する広範な実験において,本手法は主観的品質とビデオ安定性の異なる定量的尺度において,技術の現状よりも優れていた。 ソースコードは \href{https://github.com/GlobalFlowNet/GlobalFlowNet}{https://github.com/GlobalFlowNet/GlobalFlowNet} で公開されている。

関連論文リスト

• AnimateAnything: Consistent and Controllable Animation for Video Generation [24.576022028967195]
  本稿では,AnimateAnythingという統合制御可能なビデオ生成手法を提案する。 様々な条件にまたがる正確で一貫したビデオ操作を容易にする。 実験により,本手法は最先端手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2024-11-16T16:36:49Z)
• ScaleFlow++: Robust and Accurate Estimation of 3D Motion from Video [26.01796507893086]
  本稿では,3次元モーション認識手法であるScaleFlow++を提案する。 たった1対のRGBイメージで、ScaleFlow++は光学フローとモーションインディープス(MID)をしっかりと推定できる。 KITTIでは、ScaleFlow++は、SF-allを6.21から5.79に削減し、最高のモノクロシーンフロー推定性能を達成した。
  論文  参考訳（メタデータ） (2024-09-16T11:59:27Z)
• Puppet-Master: Scaling Interactive Video Generation as a Motion Prior for Part-Level Dynamics [67.97235923372035]
  本稿では,対話型ビデオ生成モデルであるPuppet-Masterについて紹介する。 テスト時には、ひとつのイメージと粗い動き軌跡が与えられた場合、Puppet-Masterは、与えられたドラッグ操作に忠実な現実的な部分レベルの動きを描写したビデオを合成することができる。
  論文  参考訳（メタデータ） (2024-08-08T17:59:38Z)
• ScaleFlow++: Robust and Accurate Estimation of 3D Motion from Video [15.629496237910999]
  本稿では,3次元モーション認識手法であるScaleFlow++を提案する。 たった1対のRGBイメージで、ScaleFlow++は光学フローとモーションインディープス(MID)をしっかりと推定できる。 KITTIでは、ScaleFlow++は、SF-allを6.21から5.79に削減し、最高のモノクロシーンフロー推定性能を達成した。
  論文  参考訳（メタデータ） (2024-07-13T07:58:48Z)
• Motion-adaptive Separable Collaborative Filters for Blind Motion Deblurring [71.60457491155451]
  様々な動きによって生じる画像のぼかしを除去することは、難しい問題である。 本研究では,動き適応型分離型協調フィルタと呼ばれる実世界のデブロアリングフィルタモデルを提案する。 本手法は,実世界の動きのぼかし除去に有効な解法を提供し,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2024-04-19T19:44:24Z)
• Fast Full-frame Video Stabilization with Iterative Optimization [21.962533235492625]
  ビデオ安定化のための合成データセットを用いた反復的最適化に基づく学習手法を提案する。 確率的流れ場に基づく2レベル(粗粒度)安定化アルゴリズムを開発した。 そこで本研究では,分割コンカレントアプローチを採用し,フルフレーム安定化ビューをレンダリングするための新しいマルチフレーム融合戦略を提案する。
  論文  参考訳（メタデータ） (2023-07-24T13:24:19Z)
• Tracking Everything Everywhere All at Once [111.00807055441028]
  ビデオシーケンスから高密度及び長距離運動を推定するための新しいテスト時間最適化法を提案する。 我々はOmniMotionと呼ばれる完全で一貫した動作表現を提案する。 提案手法は,従来の最先端手法よりも定量的にも定性的にも大きなマージンで優れている。
  論文  参考訳（メタデータ） (2023-06-08T17:59:29Z)
• Minimum Latency Deep Online Video Stabilization [77.68990069996939]
  本稿では,オンラインビデオ安定化作業のための新しいカメラパス最適化フレームワークを提案する。 本研究では,近年の市販の高品位深度モーションモデルを用いて動き推定を行い,カメラの軌道を復元する。 我々の手法は、定性的にも量的にも最先端のオンライン手法を大きく上回っている。
  論文  参考訳（メタデータ） (2022-12-05T07:37:32Z)
• Unsupervised Video Interpolation by Learning Multilayered 2.5D Motion Fields [75.81417944207806]
  本稿では,ビデオフレーム学習において,単一のビデオのみを必要とする自己教師型アプローチを提案する。 時間変化運動場上に定義された通常の微分可能方程式(ODE)を解くことにより,映像の動きをパラメータ化する。 この暗黙的な神経表現は、ビデオを時空間連続体として学習し、任意の時間分解能でフレーム時間連続体を可能にする。
  論文  参考訳（メタデータ） (2022-04-21T06:17:05Z)
• FILM: Frame Interpolation for Large Motion [20.04001872133824]
  本稿では,2つの入力画像から複数の中間フレームを合成するフレームアルゴリズムを提案する。 提案手法は,Xiph大運動ベンチマークの最先端手法より優れている。
  論文  参考訳（メタデータ） (2022-02-10T08:48:18Z)
• Optical Flow Distillation: Towards Efficient and Stable Video Style Transfer [67.36785832888614]
  本稿では,知識蒸留パラダイムを用いて,軽量のビデオスタイル転送ネットワークを学習することを提案する。 教師ネットワークは2つあり、そのうちの1つは推論中に光学的流れをとるが、もう1つはそうでない。 これら2つの教師ネットワーク間の出力差は、光学的フローによる改善を強調し、対象の学生ネットワークを蒸留するために使用される。
  論文  参考訳（メタデータ） (2020-07-10T03:00:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。