Fugu-MT 論文翻訳(概要): Learning-based Axial Video Motion Magnification

論文の概要: Learning-based Axial Video Motion Magnification

arxiv url: http://arxiv.org/abs/2312.09551v3
Date: Tue, 15 Oct 2024 01:33:47 GMT
ステータス: 翻訳完了
システム内更新日: 2024-10-16 13:57:36.183356
Title: Learning-based Axial Video Motion Magnification
Title（参考訳）: 学習に基づく軸方向動画の運動拡大
Authors: Kwon Byung-Ki, Oh Hyun-Bin, Kim Jun-Seong, Hyunwoo Ha, Tae-Hyun Oh,
Abstract要約: 本稿では,ユーザが指定した方向に沿って動きを拡大する軸運動倍率という新しい概念を提案する。提案手法は,ユーザ制御性という新たな特徴を付加することにより,特定の軸に沿った動きの正当性を向上させる。
参考スコア（独自算出の注目度）: 15.491931417718837
License:
Abstract: Video motion magnification amplifies invisible small motions to be perceptible, which provides humans with a spatially dense and holistic understanding of small motions in the scene of interest. This is based on the premise that magnifying small motions enhances the legibility of motions. In the real world, however, vibrating objects often possess convoluted systems that have complex natural frequencies, modes, and directions. Existing motion magnification often fails to improve legibility since the intricate motions still retain complex characteristics even after being magnified, which may distract us from analyzing them. In this work, we focus on improving legibility by proposing a new concept, axial motion magnification, which magnifies decomposed motions along the user-specified direction. Axial motion magnification can be applied to various applications where motions of specific axes are critical, by providing simplified and easily readable motion information. To achieve this, we propose a novel Motion Separation Module that enables to disentangle and magnify the motion representation along axes of interest. Furthermore, we build a new synthetic training dataset for the axial motion magnification task. Our proposed method improves the legibility of resulting motions along certain axes by adding a new feature: user controllability. Axial motion magnification is a more generalized concept; thus, our method can be directly adapted to the generic motion magnification and achieves favorable performance against competing methods.
Abstract（参考訳）: ビデオの動きの拡大は目に見えない小さな動きを増幅し、人間が興味のある場面で小さな動きを空間的に密集し、包括的に理解することを可能にする。これは、小さな動きを拡大することで動きの正当性を高めるという前提に基づいている。しかし、現実世界では、振動物体は複雑な自然の周波数、モード、方向を持つ複雑な系を持つことが多い。既存の動きの倍率はしばしば、複雑な動きが拡大しても複雑な特性を保ち、分析を妨げてしまうため、正当性を改善することができない。本研究では,ユーザの指定した方向に沿って分割された動きを拡大する軸運動倍率という新しい概念を提案することにより,可視性の向上に焦点をあてる。簡易で読みやすい動き情報を提供することにより、特定の軸の運動が重要となる様々な用途に軸運動倍率を適用することができる。そこで本研究では,関心の軸に沿って動きの表現をアンタングルして拡大する動き分離モジュールを提案する。さらに, 軸方向運動倍率タスクのための新しい合成トレーニングデータセットを構築した。提案手法は,ユーザ制御性という新たな特徴を付加することにより,特定の軸に沿った動きの正当性を向上させる。軸運動倍率法はより一般化された概念であり,本手法は一般的な運動倍率法に直接適用でき,競合する手法に対して良好な性能が得られる。

関連論文リスト

Sitcom-Crafter: A Plot-Driven Human Motion Generation System in 3D Scenes [83.55301458112672]
Sitcom-Crafterは3D空間における人間のモーション生成システムである。機能生成モジュールの中心は、我々の新しい3Dシーン対応ヒューマン・ヒューマン・インタラクションモジュールである。拡張モジュールは、コマンド生成のためのプロット理解、異なるモーションタイプのシームレスな統合のためのモーション同期を含む。
論文参考訳（メタデータ） (2024-10-14T17:56:19Z)
Monkey See, Monkey Do: Harnessing Self-attention in Motion Diffusion for Zero-shot Motion Transfer [55.109778609058154]
既存の拡散に基づく運動編集法は、事前訓練されたモデルの重みに埋め込まれた前者の深いポテンシャルを見落としている。動きパターンのキャプチャーと表現における注目要素の役割と相互作用を明らかにする。我々はこれらの要素を統合して、従者のニュアンス特性を維持しつつ、従者へのリーダ動作の転送を行い、結果としてゼロショット動作の転送を実現した。
論文参考訳（メタデータ） (2024-06-10T17:47:14Z)
MotionClone: Training-Free Motion Cloning for Controllable Video Generation [41.621147782128396]
MotionCloneは、参照ビデオから多目的なモーションコントロールビデオ生成までのモーションクローンを可能にする、トレーニング不要のフレームワークである。 MotionCloneは、大域的なカメラの動きと局所的な物体の動きの両方の習熟度を示し、動きの忠実さ、テキストアライメント、時間的一貫性の点で顕著に優れている。
論文参考訳（メタデータ） (2024-06-08T03:44:25Z)
Motion Inversion for Video Customization [31.607669029754874]
本稿では,映像モデルにおける動き表現の探索における広範なギャップに対処する,動き生成のための新しいアプローチを提案する。本研究では,ビデオから抽出した時間的コヒーレントな埋め込みの集合であるMotion Embeddingsを紹介する。我々の貢献には、カスタマイズタスクのための調整されたモーション埋め込みと、本手法の実用的メリットと有効性を示すことが含まれる。
論文参考訳（メタデータ） (2024-03-29T14:14:22Z)
Spectral Motion Alignment for Video Motion Transfer using Diffusion Models [54.32923808964701]
スペクトル運動アライメント(英: Spectral Motion Alignment、SMA)は、フーリエ変換とウェーブレット変換を用いて運動ベクトルを洗練・整列するフレームワークである。 SMAは周波数領域の正規化を取り入れて動きパターンを学習し、全体フレームのグローバルな動きのダイナミクスの学習を容易にする。大規模な実験は、様々なビデオカスタマイズフレームワーク間の計算効率と互換性を維持しながら、モーション転送を改善するSMAの有効性を示す。
論文参考訳（メタデータ） (2024-03-22T14:47:18Z)
Event-Based Motion Magnification [28.057537257958963]
イベントカメラと従来のRGBカメラを組み合わせたデュアルカメラシステムを提案する。この革新的な組み合わせは、広範かつ費用対効果の高い高周波運動の増幅を可能にする。両カメラシステムとネットワークの有効性と精度を実証し、モーション検出と倍率化のための費用対効果とフレキシブルなソリューションを提供する。
論文参考訳（メタデータ） (2024-02-19T08:59:58Z)
MotionCrafter: One-Shot Motion Customization of Diffusion Models [66.44642854791807]
ワンショットのインスタンス誘導モーションカスタマイズ手法であるMotionCrafterを紹介する。 MotionCrafterは、基準運動をベースモデルの時間成分に注入する並列時空間アーキテクチャを採用している。トレーニング中、凍結ベースモデルは外見の正規化を提供し、運動から効果的に外見を分離する。
論文参考訳（メタデータ） (2023-12-08T16:31:04Z)
Universal Humanoid Motion Representations for Physics-Based Control [71.46142106079292]
物理学に基づくヒューマノイド制御のための総合的な運動スキルを含む普遍的な運動表現を提案する。まず、大きな非構造運動データセットから人間の動きをすべて模倣できる動き模倣機を学習する。次に、模倣者から直接スキルを蒸留することで、動作表現を作成します。
論文参考訳（メタデータ） (2023-10-06T20:48:43Z)
3D Motion Magnification: Visualizing Subtle Motions with Time Varying Radiance Fields [58.6780687018956]
本研究では,移動カメラが捉えたシーンからの微妙な動きを拡大できる3次元運動倍率法を提案する。時間変化のラディアンス場を用いてシーンを表現し、運動倍率のユーレリア原理を利用する。我々は,様々なカメラ装置で撮影した合成シーンと実世界のシーンの両方において,本手法の有効性を評価する。
論文参考訳（メタデータ） (2023-08-07T17:59:59Z)
STB-VMM: Swin Transformer Based Video Motion Magnification [0.0]
この研究は、Swin Transformerに基づいた新しい最先端モデルを示す。ノイズの少ない入力や、ノイズ、ぼかし、アーティファクトが先行技術よりも少ない品質の出力に耐性がある。
論文参考訳（メタデータ） (2023-02-20T14:21:56Z)
Self-supervised Motion Learning from Static Images [36.85209332144106]
Motion from Static Images (MoSI) はモーション情報をエンコードすることを学ぶ。 MoSIは、下流のデータセットを微調整することなく、大きな動きを持つ領域を発見することができる。下流のデータセットを微調整することなく、MoSIが大きな動きを持つ領域を発見できることを実証します。
論文参考訳（メタデータ） (2021-04-01T03:55:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。