Fugu-MT 論文翻訳(概要): Frequency Decoupling for Motion Magnification via Multi-Level Isomorphic Architecture

論文の概要: Frequency Decoupling for Motion Magnification via Multi-Level Isomorphic Architecture

arxiv url: http://arxiv.org/abs/2403.07347v1
Date: Tue, 12 Mar 2024 06:07:29 GMT
ステータス: 処理完了
システム内更新日: 2024-03-13 22:42:46.065161
Title: Frequency Decoupling for Motion Magnification via Multi-Level Isomorphic Architecture
Title（参考訳）: 多層アイソモーフィックアーキテクチャによる動き拡大のための周波数デカップリング
Authors: Fei Wang, Dan Guo, Kun Li, Zhun Zhong, Meng Wang
Abstract要約: Video Motion Magnificationは、マクロ世界の物体の微妙で知覚できない動き情報を明らかにすることを目的としている。動作拡大のための周波数デカップリングの新しいパラダイムであるFD4MMについて述べる。 FD4MMはFLOPを1.63$times$に削減し、推論速度を1.68$times$に向上させる。
参考スコア（独自算出の注目度）: 45.61727055096448
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Video Motion Magnification (VMM) aims to reveal subtle and imperceptible motion information of objects in the macroscopic world. Prior methods directly model the motion field from the Eulerian perspective by Representation Learning that separates shape and texture or Multi-domain Learning from phase fluctuations. Inspired by the frequency spectrum, we observe that the low-frequency components with stable energy always possess spatial structure and less noise, making them suitable for modeling the subtle motion field. To this end, we present FD4MM, a new paradigm of Frequency Decoupling for Motion Magnification with a Multi-level Isomorphic Architecture to capture multi-level high-frequency details and a stable low-frequency structure (motion field) in video space. Since high-frequency details and subtle motions are susceptible to information degradation due to their inherent subtlety and unavoidable external interference from noise, we carefully design Sparse High/Low-pass Filters to enhance the integrity of details and motion structures, and a Sparse Frequency Mixer to promote seamless recoupling. Besides, we innovatively design a contrastive regularization for this task to strengthen the model's ability to discriminate irrelevant features, reducing undesired motion magnification. Extensive experiments on both Real-world and Synthetic Datasets show that our FD4MM outperforms SOTA methods. Meanwhile, FD4MM reduces FLOPs by 1.63$\times$ and boosts inference speed by 1.68$\times$ than the latest method. Our code is available at https://github.com/Jiafei127/FD4MM.
Abstract（参考訳）: ビデオモーション・マグニフィケーション(VMM)は、マクロ世界の物体の微妙で知覚できない動き情報を明らかにすることを目的としている。以前の手法では、形状やテクスチャ、あるいは多領域学習と位相ゆらぎを区別する表現学習によって、運動場をオイラーの視点から直接モデル化する。周波数スペクトルにインスパイアされ、安定したエネルギーを持つ低周波成分は、常に空間構造を持ち、ノイズが少なく、微妙な運動場をモデル化するのに適している。この目的のために、FD4MMは、動画空間における多レベル高周波数の詳細と安定した低周波構造(動き場)を捉えるために、多レベル等化アーキテクチャを用いた動き拡大のための周波数デカップリングの新しいパラダイムである。ノイズに対する固有な微妙さと不可避な外部干渉による情報劣化の影響を受けやすい高周波細部と微妙な動きであるため,細部や運動構造の完全性を高めるためにスパース・ハイ・ローパスフィルタ,シームレスな再結合を促進するスパース・周波数・ミキサーを慎重に設計する。さらに,非関係な特徴を識別する能力を強化し,望ましくない動きの倍率を抑えるために,このタスクに対する対照的な正規化を革新的に設計する。実世界のデータセットと合成データセットの両方の広範な実験により、我々のfd4mmはsomaメソッドよりも優れています。一方、fd4mm はフロップを 1.63$\times$ 減らし、推論速度を最新の方法より 1.68$\times$ 減らす。私たちのコードはhttps://github.com/Jiafei127/FD4MMで利用可能です。

関連論文リスト

Spectral Motion Alignment for Video Motion Transfer using Diffusion Models [54.32923808964701]
スペクトル運動アライメント(英: Spectral Motion Alignment、SMA)は、フーリエ変換とウェーブレット変換を用いて運動ベクトルを洗練・整列するフレームワークである。 SMAは周波数領域の正規化を取り入れて動きパターンを学習し、全体フレームのグローバルな動きのダイナミクスの学習を容易にする。大規模な実験は、様々なビデオカスタマイズフレームワーク間の計算効率と互換性を維持しながら、モーション転送を改善するSMAの有効性を示す。
論文参考訳（メタデータ） (2024-03-22T14:47:18Z)
SMURF: Continuous Dynamics for Motion-Deblurring Radiance Fields [14.681688453270523]
本稿では,ニューラル常微分方程式(Neural-ODE)を用いて連続カメラの動きをモデル化する新しい手法である,逐次的動き理解放射場(SMURF)を提案する。我々のモデルは、ベンチマークデータセットに対して厳密に評価され、定量的かつ定性的に最先端のパフォーマンスを実証する。
論文参考訳（メタデータ） (2024-03-12T11:32:57Z)
Event-Based Motion Magnification [28.057537257958963]
イベントカメラと従来のRGBカメラを組み合わせたデュアルカメラシステムを提案する。この革新的な組み合わせは、広範かつ費用対効果の高い高周波運動の増幅を可能にする。両カメラシステムとネットワークの有効性と精度を実証し、モーション検出と倍率化のための費用対効果とフレキシブルなソリューションを提供する。
論文参考訳（メタデータ） (2024-02-19T08:59:58Z)
Motion2VecSets: 4D Latent Vector Set Diffusion for Non-rigid Shape Reconstruction and Tracking [52.393359791978035]
Motion2VecSetsは点雲列からの動的表面再構成のための4次元拡散モデルである。グローバルな潜在符号の代わりに、潜在集合で4Dダイナミクスをパラメータ化する。時間的コヒーレントな物体追跡のために、変形潜在集合を同期的に認知し、複数のフレーム間で情報を交換する。
論文参考訳（メタデータ） (2024-01-12T15:05:08Z)
EulerMormer: Robust Eulerian Motion Magnification via Dynamic Filtering within Transformer [30.470336098766765]
ビデオモーション・マグニフィケーション(VMM)は、人間の視覚知覚能力の解像度限界を破ることを目的としている。本稿では,静的場適応型復調を実現するための新しい動的フィルタリング手法を提案する。我々は、ユーラーモーマーがユーレリア視点からより堅牢なビデオモーション倍率を達成するための広範な実験を実証する。
論文参考訳（メタデータ） (2023-12-07T09:10:16Z)
Inception Transformer [151.939077819196]
インセプショントランスフォーマー(iFormer)は、視覚データ中の高周波数情報と低周波情報の両方で包括的特徴を学習する。我々は、iFormerを一連の視覚タスクでベンチマークし、画像分類、COCO検出、ADE20Kセグメンテーションにおいて優れた性能を発揮することを示した。
論文参考訳（メタデータ） (2022-05-25T17:59:54Z)
Wavelet-Based Network For High Dynamic Range Imaging [64.66969585951207]
光学フローベースやエンド・ツー・エンドのディープラーニングベースのソリューションのような既存の方法は、詳細な復元やゴーストを除去する際にエラーを起こしやすい。本研究では、周波数領域でHDR融合を行うための新しい周波数誘導型エンド・ツー・エンドディープニューラルネットワーク(FNet)を提案し、ウェーブレット変換(DWT)を用いて入力を異なる周波数帯域に分解する。低周波信号は特定のゴーストアーティファクトを避けるために使用され、高周波信号は詳細を保存するために使用される。
論文参考訳（メタデータ） (2021-08-03T12:26:33Z)
TSI: Temporal Saliency Integration for Video Action Recognition [32.18535820790586]
本稿では,SME(Salient Motion Excitation)モジュールとCTI(Cross-scale Temporal Integration)モジュールを主成分とするTSI(Temporal Saliency Integration)ブロックを提案する。 SMEは、局所的な動きモデリングを通して、動きに敏感な領域を強調することを目的としている。 CTIは、それぞれ別々の1D畳み込みの群を通じて、マルチスケールの時間的モデリングを実行するように設計されている。
論文参考訳（メタデータ） (2021-06-02T11:43:49Z)
PAN: Towards Fast Action Recognition via Learning Persistence of Appearance [60.75488333935592]
最先端のほとんどの手法は、動きの表現として密度の高い光の流れに大きく依存している。本稿では,光学的フローに依存することで,高速な動作認識に光を当てる。我々はPersistence of Outearance(PA)と呼ばれる新しい動きキューを設計する。光学的流れとは対照的に,我々のPAは境界における運動情報の蒸留に重点を置いている。
論文参考訳（メタデータ） (2020-08-08T07:09:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。