論文の概要: Deep Online Fused Video Stabilization

• arxiv url: http://arxiv.org/abs/2102.01279v1
• Date: Tue, 2 Feb 2021 03:35:07 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-03 16:49:01.725858
• Title: Deep Online Fused Video Stabilization
• Title（参考訳）: Deep Online Fused Video Stabilization
• Authors: Zhenmei Shi, Fuhao Shi, Wei-Sheng Lai, Chia-Kai Liang, Yingyu Liang
• Abstract要約: 本稿では,映像の安定化にセンサデータ(ジャイロスコープ)と画像コンテンツ(光学フロー)の両方を用いるディープニューラルネットワーク(DNN)を提案する。 ネットワークは、実際の/仮想カメラで光の流れを融合し、ヒストリーを関節運動表現に変換する。
• 参考スコア（独自算出の注目度）: 36.44540036063668
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a deep neural network (DNN) that uses both sensor data (gyroscope) and image content (optical flow) to stabilize videos through unsupervised learning. The network fuses optical flow with real/virtual camera pose histories into a joint motion representation. Next, the LSTM block infers the new virtual camera pose, and this virtual pose is used to generate a warping grid that stabilizes the frame. Novel relative motion representation as well as a multi-stage training process are presented to optimize our model without any supervision. To the best of our knowledge, this is the first DNN solution that adopts both sensor data and image for stabilization. We validate the proposed framework through ablation studies and demonstrated the proposed method outperforms the state-of-art alternative solutions via quantitative evaluations and a user study.
• Abstract（参考訳）: 本稿では、センサデータ(ジャイロスコープ)と画像コンテンツ(光学フロー)の両方を用いて、教師なし学習による動画の安定化を図るディープニューラルネットワーク(DNN)を提案する。 ネットワークは、実際の/仮想カメラで光の流れを融合し、ヒストリーを関節運動表現に変換する。 次に、LSTMブロックは新しい仮想カメラポーズを推測し、この仮想ポーズはフレームを安定させる反動グリッドを生成するために使用されます。 新たな相対運動表現と多段階学習プロセスが提案され, 教師なしのモデルが最適化される。 我々の知る限りでは、センサデータと画像の両方を安定化に利用する最初のDNNソリューションである。 提案手法をアブレーション研究により検証し,提案手法は定量的評価とユーザスタディにより最先端の代替ソリューションよりも優れていることを示した。

関連論文リスト

• Learning Robust Multi-Scale Representation for Neural Radiance Fields from Unposed Images [65.41966114373373]
  コンピュータビジョンにおけるニューラルイメージベースのレンダリング問題に対する改善された解決策を提案する。 提案手法は,テスト時に新たな視点からシーンのリアルなイメージを合成することができる。
  論文  参考訳（メタデータ） (2023-11-08T08:18:23Z)
• Robust Camera Pose Refinement for Multi-Resolution Hash Encoding [19.655282240361835]
  ニューラルレンダリングの計算コストを削減するため,マルチレゾリューションハッシュ符号化が提案されている。 カメラのポーズを校正し、効率的なマルチ解像度ハッシュ符号化を用いて幾何学的表現を学習するための共同最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-02-03T06:49:27Z)
• Minimum Latency Deep Online Video Stabilization [77.68990069996939]
  本稿では,オンラインビデオ安定化作業のための新しいカメラパス最適化フレームワークを提案する。 本研究では,近年の市販の高品位深度モーションモデルを用いて動き推定を行い,カメラの軌道を復元する。 我々の手法は、定性的にも量的にも最先端のオンライン手法を大きく上回っている。
  論文  参考訳（メタデータ） (2022-12-05T07:37:32Z)
• GPU-accelerated SIFT-aided source identification of stabilized videos [63.084540168532065]
  我々は、安定化フレームインバージョンフレームワークにおけるグラフィクス処理ユニット(GPU)の並列化機能を利用する。 我々はSIFT機能を活用することを提案する。 カメラのモーメントを推定し 1%の確率で 時間セグメントを識別します 実験により,提案手法の有効性を確認し,必要な計算時間を短縮し,情報源の同定精度を向上させる。
  論文  参考訳（メタデータ） (2022-07-29T07:01:31Z)
• Enhanced Frame and Event-Based Simulator and Event-Based Video Interpolation Network [1.4095425725284465]
  固定オフセットに任意の数のセンサを配置したカメラリグによって記録されたリアルなシーンを生成できる,新しい高度なイベントシミュレータを提案する。 これには、現実的な画質低下効果を持つフレームベースの新しいイメージセンサモデルと、より正確な特性を持つ拡張DVSモデルが含まれる。 我々のシミュレータによって生成されたデータは、我々の新しいモデルをトレーニングするために利用でき、その結果、アートの状況よりも同等またはより良い品質の公開データセット上の再構成画像が生成される。
  論文  参考訳（メタデータ） (2021-12-17T08:27:13Z)
• Cross-Camera Human Motion Transfer by Time Series Analysis [11.454103393879368]
  動きの季節性を同定し,移動可能なパターンを抽出する付加モデルを構築するアルゴリズムを提案する。 我々は、HRから派生したパターンを活用することにより、低解像度ビデオのポーズ推定を改善する。
  論文  参考訳（メタデータ） (2021-09-29T03:39:01Z)
• Learning a Model-Driven Variational Network for Deformable Image Registration [89.9830129923847]
  VR-Netは、教師なしの変形可能な画像登録のための新しいカスケード可変ネットワークである。 登録精度において最先端のディープラーニング手法よりも優れています。 ディープラーニングの高速推論速度と変分モデルのデータ効率を維持している。
  論文  参考訳（メタデータ） (2021-05-25T21:37:37Z)
• Optical Flow Estimation from a Single Motion-blurred Image [66.2061278123057]
  画像内の動きのぼかしは、基本的なコンピュータビジョンの問題に実用的な関心を持つ可能性があります。 本研究では,単一動画像からの光流れをエンドツーエンドで推定する新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2021-03-04T12:45:18Z)
• DFVS: Deep Flow Guided Scene Agnostic Image Based Visual Servoing [11.000164408890635]
  既存のディープラーニングベースのビジュアルサーボアプローチは、画像間の相対カメラのポーズを後退させる。 我々は、深層ニューラルネットワークを用いて予測される視覚的特徴として光学的流れを考察する。 2cm以下と1度以下の正確な位置を維持しながら3m以上40度以上の収束性を示した。
  論文  参考訳（メタデータ） (2020-03-08T11:42:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。