論文の概要: Learning-based Axial Motion Magnification
- arxiv url: http://arxiv.org/abs/2312.09551v1
- Date: Fri, 15 Dec 2023 06:04:42 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-18 17:02:57.182260
- Title: Learning-based Axial Motion Magnification
- Title(参考訳): 学習に基づく軸運動拡大
- Authors: Kwon Byung-Ki, Oh Hyun-Bin, Kim Jun-Seong, Tae-Hyun Oh
- Abstract要約: 本稿では,ユーザが指定した方向に沿って動きを拡大する軸運動倍率という新しい概念を提案する。
提案手法は,ユーザ制御性を高めつつ,特定の軸に沿った動きの正当性を向上する。
- 参考スコア(独自算出の注目度): 18.156654112208358
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Video motion magnification amplifies invisible small motions to be
perceptible, which provides humans with spatially dense and holistic
understanding about small motions from the scene of interest. This is based on
the premise that magnifying small motions enhances the legibility of the
motion. In the real world, however, vibrating objects often possess complex
systems, having complex natural frequencies, modes, and directions. Existing
motion magnification often fails to improve the legibility since the intricate
motions still retain complex characteristics even when magnified, which
distracts us from analyzing them. In this work, we focus on improving the
legibility by proposing a new concept, axial motion magnification, which
magnifies decomposed motions along the user-specified direction. Axial motion
magnification can be applied to various applications where motions of specific
axes are critical, by providing simplified and easily readable motion
information. We propose a novel learning-based axial motion magnification
method with the Motion Separation Module that enables to disentangle and
magnify the motion representation along axes of interest. Further, we build a
new synthetic training dataset for the axial motion magnification task. Our
proposed method improves the legibility of resulting motions along certain
axes, while adding additional user controllability. Our method can be directly
adopted to the generic motion magnification and achieves favorable performance
against competing methods. Our project page is available at
https://axial-momag.github.io/axial-momag/.
- Abstract(参考訳): ビデオの動きの拡大は目に見えない小さな動きを増幅し、人間が興味のある場面から小さな動きについて空間的に密集して全体的な理解を与える。
これは、小さな動きを拡大することで動きの正当性を高めるという前提に基づいている。
しかし実世界では、振動する物体はしばしば複雑なシステムを持ち、複雑な自然周波数、モード、方向を持っている。
既存の動きの倍率はしばしば、複雑な動きが拡大しても複雑な特性を保ち、解析に支障をきたすため、正当性の向上に失敗する。
本研究では, ユーザが特定した方向に沿って分解した動きを拡大できる新しい概念である軸運動拡大を提案することで, レジリエンスの向上に着目する。
簡易で読みやすい動き情報を提供することにより、特定の軸の運動が重要となる様々な用途に軸運動倍率を適用することができる。
本稿では,興味軸に沿った動き表現の非絡み合いと拡大を可能にする運動分離モジュールを用いた新しい学習ベース軸運動拡大法を提案する。
さらに,軸方向運動拡大タスクのための新しい合成訓練データセットを構築した。
提案手法は,特定の軸に沿った動作の可読性を改善しつつ,ユーザ制御性も付加する。
本手法は, 一般運動拡大に直接適用でき, 競合する手法に対して良好な性能が得られる。
プロジェクトページはhttps://axial-momag.github.io/axial-momag/で閲覧できます。
関連論文リスト
- MotionMix: Weakly-Supervised Diffusion for Controllable Motion
Generation [19.999239668765885]
MotionMixはノイズと無注釈の両方のモーションシーケンスを利用する弱い教師付き拡散モデルである。
我々のフレームワークは、テキスト・トゥ・モーション、アクション・トゥ・モーション、音楽・トゥ・ダンスのタスクにおける最先端のパフォーマンスを一貫して達成する。
論文 参考訳(メタデータ) (2024-01-20T04:58:06Z) - MotionCrafter: One-Shot Motion Customization of Diffusion Models [66.44642854791807]
ワンショットのインスタンス誘導モーションカスタマイズ手法であるMotionCrafterを紹介する。
MotionCrafterは、基準運動をベースモデルの時間成分に注入する並列時空間アーキテクチャを採用している。
トレーニング中、凍結ベースモデルは外見の正規化を提供し、運動から効果的に外見を分離する。
論文 参考訳(メタデータ) (2023-12-08T16:31:04Z) - ReMoS: Reactive 3D Motion Synthesis for Two-Person Interactions [71.74348331841057]
本稿では,反応運動合成のための拡散型確率モデルReMoSを紹介する。
本稿では,ペアダンス,忍術,キックボクシング,アクロバティックスなど,多岐にわたる難解な2人シナリオ下でのReMoSの性能を示す。
この結果はインタラクティブなアプリケーションでも利用でき、アニメーターに十分な量の制御を提供する。
論文 参考訳(メタデータ) (2023-11-28T18:59:52Z) - Universal Humanoid Motion Representations for Physics-Based Control [74.53927919796139]
本稿では、ヒューマノイド制御のための総合的な運動スキルを含む普遍的な運動表現について述べる。
まず、大きな非構造運動データセットから人間の動きをすべて模倣できる動き模倣機を学習する。
次に、模倣者から直接スキルを蒸留することで、動作表現を作成します。
論文 参考訳(メタデータ) (2023-10-06T20:48:43Z) - 3D Motion Magnification: Visualizing Subtle Motions with Time Varying
Radiance Fields [58.6780687018956]
本研究では,移動カメラが捉えたシーンからの微妙な動きを拡大できる3次元運動倍率法を提案する。
時間変化のラディアンス場を用いてシーンを表現し、運動倍率のユーレリア原理を利用する。
我々は,様々なカメラ装置で撮影した合成シーンと実世界のシーンの両方において,本手法の有効性を評価する。
論文 参考訳(メタデータ) (2023-08-07T17:59:59Z) - Human MotionFormer: Transferring Human Motions with Vision Transformers [73.48118882676276]
人間の動き伝達は、運動合成のためにターゲットの動的人物からソースの静的人物に動きを伝達することを目的としている。
本稿では,世界的および地域的認識を活用して,大規模かつ微妙な動きマッチングを捉える階層型ViTフレームワークであるHuman MotionFormerを提案する。
我々のHuman MotionFormerは、定性的かつ定量的に新しい最先端のパフォーマンスをセットしている。
論文 参考訳(メタデータ) (2023-02-22T11:42:44Z) - STB-VMM: Swin Transformer Based Video Motion Magnification [0.0]
この研究は、Swin Transformerに基づいた新しい最先端モデルを示す。
ノイズの少ない入力や、ノイズ、ぼかし、アーティファクトが先行技術よりも少ない品質の出力に耐性がある。
論文 参考訳(メタデータ) (2023-02-20T14:21:56Z) - Self-supervised Motion Learning from Static Images [36.85209332144106]
Motion from Static Images (MoSI) はモーション情報をエンコードすることを学ぶ。
MoSIは、下流のデータセットを微調整することなく、大きな動きを持つ領域を発見することができる。
下流のデータセットを微調整することなく、MoSIが大きな動きを持つ領域を発見できることを実証します。
論文 参考訳(メタデータ) (2021-04-01T03:55:50Z) - Event-based Motion Segmentation with Spatio-Temporal Graph Cuts [51.17064599766138]
イベントベースカメラで取得したオブジェクトを独立に識別する手法を開発した。
この方法は、予想される移動物体の数を事前に決定することなく、技術状態よりも同等以上の性能を発揮する。
論文 参考訳(メタデータ) (2020-12-16T04:06:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。