論文の概要: Learning-based Axial Motion Magnification
- arxiv url: http://arxiv.org/abs/2312.09551v1
- Date: Fri, 15 Dec 2023 06:04:42 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-18 17:02:57.182260
- Title: Learning-based Axial Motion Magnification
- Title（参考訳）: 学習に基づく軸運動拡大
- Authors: Kwon Byung-Ki, Oh Hyun-Bin, Kim Jun-Seong, Tae-Hyun Oh
- Abstract要約: 本稿では,ユーザが指定した方向に沿って動きを拡大する軸運動倍率という新しい概念を提案する。
提案手法は,ユーザ制御性を高めつつ,特定の軸に沿った動きの正当性を向上する。
- 参考スコア（独自算出の注目度）: 18.156654112208358
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Video motion magnification amplifies invisible small motions to be
perceptible, which provides humans with spatially dense and holistic
understanding about small motions from the scene of interest. This is based on
the premise that magnifying small motions enhances the legibility of the
motion. In the real world, however, vibrating objects often possess complex
systems, having complex natural frequencies, modes, and directions. Existing
motion magnification often fails to improve the legibility since the intricate
motions still retain complex characteristics even when magnified, which
distracts us from analyzing them. In this work, we focus on improving the
legibility by proposing a new concept, axial motion magnification, which
magnifies decomposed motions along the user-specified direction. Axial motion
magnification can be applied to various applications where motions of specific
axes are critical, by providing simplified and easily readable motion
information. We propose a novel learning-based axial motion magnification
method with the Motion Separation Module that enables to disentangle and
magnify the motion representation along axes of interest. Further, we build a
new synthetic training dataset for the axial motion magnification task. Our
proposed method improves the legibility of resulting motions along certain
axes, while adding additional user controllability. Our method can be directly
adopted to the generic motion magnification and achieves favorable performance
against competing methods. Our project page is available at
https://axial-momag.github.io/axial-momag/.
- Abstract（参考訳）: ビデオの動きの拡大は目に見えない小さな動きを増幅し、人間が興味のある場面から小さな動きについて空間的に密集して全体的な理解を与える。
これは、小さな動きを拡大することで動きの正当性を高めるという前提に基づいている。
しかし実世界では、振動する物体はしばしば複雑なシステムを持ち、複雑な自然周波数、モード、方向を持っている。
既存の動きの倍率はしばしば、複雑な動きが拡大しても複雑な特性を保ち、解析に支障をきたすため、正当性の向上に失敗する。
本研究では, ユーザが特定した方向に沿って分解した動きを拡大できる新しい概念である軸運動拡大を提案することで, レジリエンスの向上に着目する。
簡易で読みやすい動き情報を提供することにより、特定の軸の運動が重要となる様々な用途に軸運動倍率を適用することができる。
本稿では,興味軸に沿った動き表現の非絡み合いと拡大を可能にする運動分離モジュールを用いた新しい学習ベース軸運動拡大法を提案する。
さらに,軸方向運動拡大タスクのための新しい合成訓練データセットを構築した。
提案手法は,特定の軸に沿った動作の可読性を改善しつつ,ユーザ制御性も付加する。
本手法は, 一般運動拡大に直接適用でき, 競合する手法に対して良好な性能が得られる。
プロジェクトページはhttps://axial-momag.github.io/axial-momag/で閲覧できます。
関連論文リスト
- A Plug-and-Play Physical Motion Restoration Approach for In-the-Wild High-Difficulty Motions [56.709280823844374]
動作コンテキストとビデオマスクを利用して、欠陥のある動作を修復するマスクベースの動作補正モジュール(MCM)を導入する。
また,運動模倣のための事前訓練および適応手法を用いた物理ベースの運動伝達モジュール (PTM) を提案する。
本手法は,高速な移動を含む映像モーションキャプチャ結果を物理的に洗練するためのプラグイン・アンド・プレイモジュールとして設計されている。
論文 参考訳（メタデータ） (2024-12-23T08:26:00Z) - Motion Prompting: Controlling Video Generation with Motion Trajectories [57.049252242807874]
スパースもしくは高密度なビデオ軌跡を条件とした映像生成モデルを訓練する。
ハイレベルなユーザリクエストを,詳細なセミセンスな動作プロンプトに変換する。
我々は、カメラや物体の動き制御、画像との「相互作用」、動画転送、画像編集など、様々な応用を通してアプローチを実証する。
論文 参考訳（メタデータ） (2024-12-03T18:59:56Z) - Monkey See, Monkey Do: Harnessing Self-attention in Motion Diffusion for Zero-shot Motion Transfer [55.109778609058154]
既存の拡散に基づく運動編集法は、事前訓練されたモデルの重みに埋め込まれた前者の深いポテンシャルを見落としている。
動きパターンのキャプチャーと表現における注目要素の役割と相互作用を明らかにする。
我々はこれらの要素を統合して、従者のニュアンス特性を維持しつつ、従者へのリーダ動作の転送を行い、結果としてゼロショット動作の転送を実現した。
論文 参考訳（メタデータ） (2024-06-10T17:47:14Z) - MotionClone: Training-Free Motion Cloning for Controllable Video Generation [41.621147782128396]
MotionCloneは、参照ビデオから多目的なモーションコントロールビデオ生成までのモーションクローンを可能にする、トレーニング不要のフレームワークである。
MotionCloneは、大域的なカメラの動きと局所的な物体の動きの両方の習熟度を示し、動きの忠実さ、テキストアライメント、時間的一貫性の点で顕著に優れている。
論文 参考訳（メタデータ） (2024-06-08T03:44:25Z) - Motion Inversion for Video Customization [31.607669029754874]
本稿では,映像モデルにおける動き表現の探索における広範なギャップに対処する,動き生成のための新しいアプローチを提案する。
本研究では,ビデオから抽出した時間的コヒーレントな埋め込みの集合であるMotion Embeddingsを紹介する。
我々の貢献には、カスタマイズタスクのための調整されたモーション埋め込みと、本手法の実用的メリットと有効性を示すことが含まれる。
論文 参考訳（メタデータ） (2024-03-29T14:14:22Z) - Spectral Motion Alignment for Video Motion Transfer using Diffusion Models [54.32923808964701]
スペクトル運動アライメント(英: Spectral Motion Alignment、SMA)は、フーリエ変換とウェーブレット変換を用いて運動ベクトルを洗練・整列するフレームワークである。
SMAは周波数領域の正規化を取り入れて動きパターンを学習し、全体フレームのグローバルな動きのダイナミクスの学習を容易にする。
大規模な実験は、様々なビデオカスタマイズフレームワーク間の計算効率と互換性を維持しながら、モーション転送を改善するSMAの有効性を示す。
論文 参考訳（メタデータ） (2024-03-22T14:47:18Z) - Event-Based Motion Magnification [28.057537257958963]
イベントカメラと従来のRGBカメラを組み合わせたデュアルカメラシステムを提案する。
この革新的な組み合わせは、広範かつ費用対効果の高い高周波運動の増幅を可能にする。
両カメラシステムとネットワークの有効性と精度を実証し、モーション検出と倍率化のための費用対効果とフレキシブルなソリューションを提供する。
論文 参考訳（メタデータ） (2024-02-19T08:59:58Z) - Universal Humanoid Motion Representations for Physics-Based Control [71.46142106079292]
物理学に基づくヒューマノイド制御のための総合的な運動スキルを含む普遍的な運動表現を提案する。
まず、大きな非構造運動データセットから人間の動きをすべて模倣できる動き模倣機を学習する。
次に、模倣者から直接スキルを蒸留することで、動作表現を作成します。
論文 参考訳（メタデータ） (2023-10-06T20:48:43Z) - 3D Motion Magnification: Visualizing Subtle Motions with Time Varying
Radiance Fields [58.6780687018956]
本研究では,移動カメラが捉えたシーンからの微妙な動きを拡大できる3次元運動倍率法を提案する。
時間変化のラディアンス場を用いてシーンを表現し、運動倍率のユーレリア原理を利用する。
我々は,様々なカメラ装置で撮影した合成シーンと実世界のシーンの両方において,本手法の有効性を評価する。
論文 参考訳（メタデータ） (2023-08-07T17:59:59Z) - STB-VMM: Swin Transformer Based Video Motion Magnification [0.0]
この研究は、Swin Transformerに基づいた新しい最先端モデルを示す。
ノイズの少ない入力や、ノイズ、ぼかし、アーティファクトが先行技術よりも少ない品質の出力に耐性がある。
論文 参考訳（メタデータ） (2023-02-20T14:21:56Z) - Self-supervised Motion Learning from Static Images [36.85209332144106]
Motion from Static Images (MoSI) はモーション情報をエンコードすることを学ぶ。
MoSIは、下流のデータセットを微調整することなく、大きな動きを持つ領域を発見することができる。
下流のデータセットを微調整することなく、MoSIが大きな動きを持つ領域を発見できることを実証します。
論文 参考訳（メタデータ） (2021-04-01T03:55:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。