論文の概要: STB-VMM: Swin Transformer Based Video Motion Magnification

• arxiv url: http://arxiv.org/abs/2302.10001v2
• Date: Mon, 27 Mar 2023 20:18:45 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-29 18:43:23.966424
• Title: STB-VMM: Swin Transformer Based Video Motion Magnification
• Title（参考訳）: STB-VMM:スウィントランスによる動画モーション拡大
• Authors: Ricard Lado-Roig\'e, Marco A. P\'erez
• Abstract要約: この研究は、Swin Transformerに基づいた新しい最先端モデルを示す。 ノイズの少ない入力や、ノイズ、ぼかし、アーティファクトが先行技術よりも少ない品質の出力に耐性がある。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The goal of video motion magnification techniques is to magnify small motions in a video to reveal previously invisible or unseen movement. Its uses extend from bio-medical applications and deepfake detection to structural modal analysis and predictive maintenance. However, discerning small motion from noise is a complex task, especially when attempting to magnify very subtle, often sub-pixel movement. As a result, motion magnification techniques generally suffer from noisy and blurry outputs. This work presents a new state-of-the-art model based on the Swin Transformer, which offers better tolerance to noisy inputs as well as higher-quality outputs that exhibit less noise, blurriness, and artifacts than prior-art. Improvements in output image quality will enable more precise measurements for any application reliant on magnified video sequences, and may enable further development of video motion magnification techniques in new technical fields.
• Abstract（参考訳）: ビデオモーション拡大技術の目的は、ビデオ内の小さな動きを拡大して、これまで目に見えない、あるいは見えない動きを明らかにすることである。 その用途は、生体医学的応用やディープフェイク検出から、構造的様相解析や予測的メンテナンスにまで及んでいる。 しかし、特に非常に微妙な、しばしばサブピクセルの動きを拡大しようとする場合、ノイズから小さな動きを識別することは複雑な作業である。 結果として、運動拡大技術は一般にノイズとぼやけた出力に苦しむ。 この研究は、スウィントランスに基づく新しい最先端のモデルを提供し、ノイズの入力に対する耐性と、先行技術よりもノイズ、ぼやけ、アーティファクトの少ない高品質な出力を提供する。 出力画像の品質の向上は、拡大されたビデオシーケンスに依存するアプリケーションに対してより正確な測定を可能にし、新しい技術分野におけるビデオモーション倍率技術のさらなる発展を可能にする。

関連論文リスト

• Revisiting Learning-based Video Motion Magnification for Real-time Processing [23.148430647367224]
  動画の動きを拡大する技術は、裸眼で見えないビデオの中で微妙な動きを捉え、増幅する技術である。 FLOPを4.2倍小さくし,従来よりも2.7倍高速なリアルタイム深層学習に基づく動き倍率モデルを提案する。
  論文  参考訳（メタデータ） (2024-03-04T09:57:08Z)
• Event-Based Motion Magnification [28.057537257958963]
  イベントカメラと従来のRGBカメラを組み合わせたデュアルカメラシステムを提案する。 この革新的な組み合わせは、広範かつ費用対効果の高い高周波運動の増幅を可能にする。 両カメラシステムとネットワークの有効性と精度を実証し、モーション検出と倍率化のための費用対効果とフレキシブルなソリューションを提供する。
  論文  参考訳（メタデータ） (2024-02-19T08:59:58Z)
• Learning-based Axial Video Motion Magnification [15.491931417718837]
  本稿では,ユーザが指定した方向に沿って動きを拡大する軸運動倍率という新しい概念を提案する。 提案手法は,ユーザ制御性という新たな特徴を付加することにより,特定の軸に沿った動きの正当性を向上させる。
  論文  参考訳（メタデータ） (2023-12-15T06:04:42Z)
• VMC: Video Motion Customization using Temporal Attention Adaption for Text-to-Video Diffusion Models [58.93124686141781]
  Video Motion Customization (VMC) はビデオ拡散モデルに時間的注意層を適応させる新しいワンショットチューニング手法である。 本研究では, 連続するフレーム間の残留ベクトルを運動基準として用いた新しい運動蒸留法を提案する。 実世界のさまざまな動きや状況にまたがる最先端のビデオ生成モデルに対して,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2023-12-01T06:50:11Z)
• Cinematic Behavior Transfer via NeRF-based Differentiable Filming [63.1622492808519]
  既存のSLAM手法は動的シーンの制限に直面し、人間のポーズ推定はしばしば2次元投影に焦点を当てる。 まず,逆撮影行動推定手法を提案する。 次に,新しい2Dビデオや3D仮想環境に様々な撮影タイプを転送できる映像転送パイプラインを導入する。
  論文  参考訳（メタデータ） (2023-11-29T15:56:58Z)
• 3D Motion Magnification: Visualizing Subtle Motions with Time Varying Radiance Fields [58.6780687018956]
  本研究では,移動カメラが捉えたシーンからの微妙な動きを拡大できる3次元運動倍率法を提案する。 時間変化のラディアンス場を用いてシーンを表現し、運動倍率のユーレリア原理を利用する。 我々は,様々なカメラ装置で撮影した合成シーンと実世界のシーンの両方において,本手法の有効性を評価する。
  論文  参考訳（メタデータ） (2023-08-07T17:59:59Z)
• LaMD: Latent Motion Diffusion for Video Generation [69.4111397077229]
  LaMDフレームワークは、モーション分解されたビデオオートエンコーダと拡散に基づくモーションジェネレータで構成される。 その結果、LaMDはダイナミックスから高度に制御可能な動きに至るまで、幅広い動きを持つ高品質なビデオを生成することがわかった。
  論文  参考訳（メタデータ） (2023-04-23T10:32:32Z)
• Learning Variational Motion Prior for Video-based Motion Capture [31.79649766268877]
  ビデオに基づくモーションキャプチャーのための新しい変分動作先行学習手法(VMP)を提案する。 我々のフレームワークはフレームワイドポーズ推定における時間的ジッタリングと障害モードを効果的に削減できる。 公開データセットとインザワイルドビデオの両方を用いた実験により、我々のフレームワークの有効性と一般化能力が実証された。
  論文  参考訳（メタデータ） (2022-10-27T02:45:48Z)
• Motion-blurred Video Interpolation and Extrapolation [72.3254384191509]
  本稿では,映像から鮮明なフレームをエンドツーエンドに切り離し,補間し,外挿する新しい枠組みを提案する。 予測フレーム間の時間的コヒーレンスを確保し,潜在的な時間的あいまいさに対処するために,単純で効果的なフローベースルールを提案する。
  論文  参考訳（メタデータ） (2021-03-04T12:18:25Z)
• Enhanced Quadratic Video Interpolation [56.54662568085176]
  より複雑なシーンや動きパターンを扱うために,拡張された2次ビデオ(EQVI)モデルを提案する。 さらなる性能向上のために,学習可能な拡張プロセスと見なせる新しいマルチスケール核融合ネットワーク(MS-Fusion)を考案した。 提案されたEQVIモデルは、AIM 2020 Video Temporal Super-Resolution Challengeで優勝した。
  論文  参考訳（メタデータ） (2020-09-10T02:31:50Z)
• Prior-enlightened and Motion-robust Video Deblurring [29.158836861982742]
  PriOr-enlightened and MOTION-robust deblurring model (PROMOTION) は難解なぼかしに適したモデルである。 我々は、異種先行情報を効率的に符号化するために、3Dグループ畳み込みを用いる。 また、一様でないぼやけた時間領域をよりよく扱うために、ぼやけた分布を表す事前設計を行う。
  論文  参考訳（メタデータ） (2020-03-25T04:16:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。