論文の概要: STB-VMM: Swin Transformer Based Video Motion Magnification

• arxiv url: http://arxiv.org/abs/2302.10001v1
• Date: Mon, 20 Feb 2023 14:21:56 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-21 15:15:49.222454
• Title: STB-VMM: Swin Transformer Based Video Motion Magnification
• Title（参考訳）: STB-VMM:スウィントランスによる動画モーション拡大
• Authors: Ricard Lado-Roig\'e, Marco A. P\'erez
• Abstract要約: この研究は、Swin Transformerに基づいた新しい最先端モデルを示す。 ノイズの少ない入力や、ノイズ、ぼやけ、アーティファクトが先行技術よりも少ない品質の出力に耐性がある。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The goal of video motion magnification techniques is to magnify small motions in a video to reveal previously invisible or unseen movement. Its uses extend from bio-medical applications and deep fake detection to structural modal analysis and predictive maintenance. However, discerning small motion from noise is a complex task, especially when attempting to magnify very subtle often sub-pixel movement. As a result, motion magnification techniques generally suffer from noisy and blurry outputs. This work presents a new state-of-the-art model based on the Swin Transformer, which offers better tolerance to noisy inputs as well as higher-quality outputs that exhibit less noise, blurriness and artifacts than prior-art. Improvements in output image quality will enable more precise measurements for any application reliant on magnified video sequences, and may enable further development of video motion magnification techniques in new technical fields.
• Abstract（参考訳）: ビデオモーション拡大技術の目的は、ビデオ内の小さな動きを拡大して、これまで目に見えない、あるいは見えない動きを明らかにすることである。 その用途は、生体医学的応用やディープフェイク検出から、構造的様相解析や予測的メンテナンスにまで及んでいる。 しかし、ノイズから小さな動きを識別することは複雑な作業であり、特に非常に微妙にしばしばサブピクセルの動きを拡大しようとする場合である。 結果として、運動拡大技術は一般にノイズとぼやけた出力に苦しむ。 この研究は、スウィントランスに基づく新しい最先端のモデルを提供し、ノイズ入力に対する耐性と、先行技術よりもノイズ、ぼやけ、アーティファクトの少ない高品質な出力を提供する。 出力画像の品質の向上は、拡大されたビデオシーケンスに依存するアプリケーションに対してより正確な測定を可能にし、新しい技術分野におけるビデオモーション倍率技術のさらなる発展を可能にする。

関連論文リスト

• A Plug-and-Play Physical Motion Restoration Approach for In-the-Wild High-Difficulty Motions [56.709280823844374]
  動作コンテキストとビデオマスクを利用して、欠陥のある動作を修復するマスクベースの動作補正モジュール(MCM)を導入する。 また,運動模倣のための事前訓練および適応手法を用いた物理ベースの運動伝達モジュール (PTM) を提案する。 本手法は,高速な移動を含む映像モーションキャプチャ結果を物理的に洗練するためのプラグイン・アンド・プレイモジュールとして設計されている。
  論文  参考訳（メタデータ） (2024-12-23T08:26:00Z)
• MotionStone: Decoupled Motion Intensity Modulation with Diffusion Transformer for Image-to-Video Generation [55.238542326124545]
  静止画像に画像間(I2V)生成を条件付け、動き強度を付加的な制御信号として最近強化した。 これらの動き認識モデルは多様な動きパターンを生成するために魅力的だが、そのようなモデルを野生の大規模ビデオでトレーニングするための信頼性の高い動き推定器は存在しない。 本稿では,映像中の物体とカメラのデカップリング運動強度を計測できる新しい動き推定器の課題に対処する。
  論文  参考訳（メタデータ） (2024-12-08T08:12:37Z)
• MoTrans: Customized Motion Transfer with Text-driven Video Diffusion Models [59.10171699717122]
  MoTransは、新しいコンテキストにおける類似した動きのビデオ生成を可能にする、カスタマイズされたモーション転送方式である。 再カプセル化されたプロンプトとビデオフレームからのマルチモーダル表現は、外観のモデリングを促進する。 本手法は, 特定の動きパターンを, 単一の参照ビデオや複数参照ビデオから効果的に学習する。
  論文  参考訳（メタデータ） (2024-12-02T10:07:59Z)
• Revisiting Learning-based Video Motion Magnification for Real-time Processing [23.148430647367224]
  動画の動きを拡大する技術は、裸眼で見えないビデオの中で微妙な動きを捉え、増幅する技術である。 FLOPを4.2倍小さくし,従来よりも2.7倍高速なリアルタイム深層学習に基づく動き倍率モデルを提案する。
  論文  参考訳（メタデータ） (2024-03-04T09:57:08Z)
• Event-Based Motion Magnification [28.057537257958963]
  イベントカメラと従来のRGBカメラを組み合わせたデュアルカメラシステムを提案する。 この革新的な組み合わせは、広範かつ費用対効果の高い高周波運動の増幅を可能にする。 両カメラシステムとネットワークの有効性と精度を実証し、モーション検出と倍率化のための費用対効果とフレキシブルなソリューションを提供する。
  論文  参考訳（メタデータ） (2024-02-19T08:59:58Z)
• Learning-based Axial Video Motion Magnification [15.491931417718837]
  本稿では,ユーザが指定した方向に沿って動きを拡大する軸運動倍率という新しい概念を提案する。 提案手法は,ユーザ制御性という新たな特徴を付加することにより,特定の軸に沿った動きの正当性を向上させる。
  論文  参考訳（メタデータ） (2023-12-15T06:04:42Z)
• Cinematic Behavior Transfer via NeRF-based Differentiable Filming [63.1622492808519]
  既存のSLAM手法は動的シーンの制限に直面し、人間のポーズ推定はしばしば2次元投影に焦点を当てる。 まず,逆撮影行動推定手法を提案する。 次に,新しい2Dビデオや3D仮想環境に様々な撮影タイプを転送できる映像転送パイプラインを導入する。
  論文  参考訳（メタデータ） (2023-11-29T15:56:58Z)
• 3D Motion Magnification: Visualizing Subtle Motions with Time Varying Radiance Fields [58.6780687018956]
  本研究では,移動カメラが捉えたシーンからの微妙な動きを拡大できる3次元運動倍率法を提案する。 時間変化のラディアンス場を用いてシーンを表現し、運動倍率のユーレリア原理を利用する。 我々は,様々なカメラ装置で撮影した合成シーンと実世界のシーンの両方において,本手法の有効性を評価する。
  論文  参考訳（メタデータ） (2023-08-07T17:59:59Z)
• Learning Variational Motion Prior for Video-based Motion Capture [31.79649766268877]
  ビデオに基づくモーションキャプチャーのための新しい変分動作先行学習手法(VMP)を提案する。 我々のフレームワークはフレームワイドポーズ推定における時間的ジッタリングと障害モードを効果的に削減できる。 公開データセットとインザワイルドビデオの両方を用いた実験により、我々のフレームワークの有効性と一般化能力が実証された。
  論文  参考訳（メタデータ） (2022-10-27T02:45:48Z)
• Motion-blurred Video Interpolation and Extrapolation [72.3254384191509]
  本稿では,映像から鮮明なフレームをエンドツーエンドに切り離し,補間し,外挿する新しい枠組みを提案する。 予測フレーム間の時間的コヒーレンスを確保し,潜在的な時間的あいまいさに対処するために,単純で効果的なフローベースルールを提案する。
  論文  参考訳（メタデータ） (2021-03-04T12:18:25Z)
• Prior-enlightened and Motion-robust Video Deblurring [29.158836861982742]
  PriOr-enlightened and MOTION-robust deblurring model (PROMOTION) は難解なぼかしに適したモデルである。 我々は、異種先行情報を効率的に符号化するために、3Dグループ畳み込みを用いる。 また、一様でないぼやけた時間領域をよりよく扱うために、ぼやけた分布を表す事前設計を行う。
  論文  参考訳（メタデータ） (2020-03-25T04:16:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。