論文の概要: Hamiltonian prior to Disentangle Content and Motion in Image Sequences
- arxiv url: http://arxiv.org/abs/2112.01641v1
- Date: Thu, 2 Dec 2021 23:41:12 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-06 14:17:41.161352
- Title: Hamiltonian prior to Disentangle Content and Motion in Image Sequences
- Title（参考訳）: 画像列における不等角形コンテンツと動きに先行するハミルトン
- Authors: Asif Khan, Amos Storkey
- Abstract要約: 本研究では,高次元逐次データに対する潜時変動モデルを提案する。
運動空間を部分空間に分割し、各部分空間に対して一意なハミルトン作用素を導入する。
運動空間の明示的な分割は、ハミルトニアンを対称性群に分解し、長期分離性を与える。
- 参考スコア（独自算出の注目度）: 2.2133187119466116
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present a deep latent variable model for high dimensional sequential data.
Our model factorises the latent space into content and motion variables. To
model the diverse dynamics, we split the motion space into subspaces, and
introduce a unique Hamiltonian operator for each subspace. The Hamiltonian
formulation provides reversible dynamics that learn to constrain the motion
path to conserve invariant properties. The explicit split of the motion space
decomposes the Hamiltonian into symmetry groups and gives long-term
separability of the dynamics. This split also means representations can be
learnt that are easy to interpret and control. We demonstrate the utility of
our model for swapping the motion of two videos, generating sequences of
various actions from a given image and unconditional sequence generation.
- Abstract（参考訳）: 本稿では,高次元シーケンシャルデータに対する深い潜伏変数モデルを提案する。
我々のモデルは潜在空間を内容変数と動き変数に分解する。
多様なダイナミクスをモデル化するために、運動空間を部分空間に分割し、各部分空間に対して一意なハミルトニアン作用素を導入する。
ハミルトニアンの定式化は、不変性を保存するために運動経路を制約することを学ぶ可逆力学を提供する。
運動空間の明示的な分割はハミルトニアンを対称群に分解し、ダイナミクスの長期的な分離性を与える。
この分割はまた、解釈や制御が容易な表現を学習できることを意味する。
本研究では,2つの動画の動きを交換し,与えられた画像から様々なアクションのシーケンスを生成し,無条件のシーケンスを生成するモデルの有用性を示す。
関連論文リスト
- Latent Space Energy-based Neural ODEs [73.01344439786524]
本稿では,連続時間シーケンスデータを表現するために設計された深部力学モデルの新しいファミリを紹介する。
マルコフ連鎖モンテカルロの最大推定値を用いてモデルを訓練する。
発振システム、ビデオ、実世界の状態シーケンス(MuJoCo)の実験は、学習可能なエネルギーベース以前のODEが既存のものより優れていることを示している。
論文 参考訳（メタデータ） (2024-09-05T18:14:22Z) - MotionCrafter: One-Shot Motion Customization of Diffusion Models [66.44642854791807]
ワンショットのインスタンス誘導モーションカスタマイズ手法であるMotionCrafterを紹介する。
MotionCrafterは、基準運動をベースモデルの時間成分に注入する並列時空間アーキテクチャを採用している。
トレーニング中、凍結ベースモデルは外見の正規化を提供し、運動から効果的に外見を分離する。
論文 参考訳（メタデータ） (2023-12-08T16:31:04Z) - Hamiltonian GAN [1.6589012298747952]
学習した構成空間マップとハミルトニアン・ニューラル・ネットワーク・モーション・モデルを備えたGANベースのビデオ生成パイプラインを提案する。
我々は、物理に着想を得た循環型損失関数でモデルを訓練し、構成空間の最小表現を奨励し、解釈可能性を向上させる。
論文 参考訳（メタデータ） (2023-08-22T06:03:00Z) - We never go out of Style: Motion Disentanglement by Subspace
Decomposition of Latent Space [38.54517335215281]
本稿では,事前学習画像GANモデルを用いて映像中の動きを分解する新しい手法を提案する。
広範に使われているスタイルベースGANモデルの潜在空間において、非交叉運動部分空間が発見される。
顔と車のデータセット上での運動部分空間の絡み合い特性を評価する。
論文 参考訳（メタデータ） (2023-06-01T11:18:57Z) - MoDi: Unconditional Motion Synthesis from Diverse Data [51.676055380546494]
多様な動きを合成する無条件生成モデルであるMoDiを提案する。
我々のモデルは、多様な、構造化されていない、ラベルなしのモーションデータセットから完全に教師なしの設定で訓練されている。
データセットに構造が欠けているにもかかわらず、潜在空間は意味的にクラスタ化可能であることを示す。
論文 参考訳（メタデータ） (2022-06-16T09:06:25Z) - NeMF: Neural Motion Fields for Kinematic Animation [6.570955948572252]
巨大な運動空間を時間とともに連続関数として表現するため、Neural Motion Fields (NeMF) と呼ぶ。
我々はニューラルネットワークを用いて、この関数をさまざまな動きの集合として学習する。
私たちは、その汎用性を証明するために、多様な人間の動きデータセットと四重組データセットでモデルをトレーニングします。
論文 参考訳（メタデータ） (2022-06-04T05:53:27Z) - SyMetric: Measuring the Quality of Learnt Hamiltonian Dynamics Inferred
from Vision [73.26414295633846]
最近提案されたモデルのクラスは、高次元観測から潜在力学を学習しようと試みている。
既存の手法は画像再構成の品質に依存しており、学習した潜在力学の質を常に反映しているわけではない。
我々は、基礎となるハミルトン力学が忠実に捕獲されたかどうかのバイナリ指標を含む、一連の新しい尺度を開発する。
論文 参考訳（メタデータ） (2021-11-10T23:26:58Z) - Hierarchical Style-based Networks for Motion Synthesis [150.226137503563]
本研究では,特定の目標地点を達成するために,長距離・多種多様・多様な行動を生成する自己指導手法を提案する。
提案手法は,長距離生成タスクを階層的に分解することで人間の動作をモデル化する。
大規模な骨格データから, 提案手法は長距離, 多様な, もっともらしい動きを合成できることを示す。
論文 参考訳（メタデータ） (2020-08-24T02:11:02Z) - Graph Gamma Process Generalized Linear Dynamical Systems [60.467040479276704]
実マルチ変数時系列をモデル化するために,グラフガンマ過程(GGP)線形力学系を導入する。
時間的パターン発見のために、モデルの下での潜在表現は、時系列を多変量部分列の同相集合に分解するために使用される。
非零次ノード数が有限であるランダムグラフを用いて、潜時状態遷移行列の空間パターンと次元の両方を定義する。
論文 参考訳（メタデータ） (2020-07-25T04:16:34Z) - Entanglement Dynamics of Random GUE Hamiltonians [0.0]
我々は、全体的な時間進化が非可積分ハミルトニアンによって支配されると仮定して、絡み合いのダイナミクスを研究する。
還元密度行列と純度の普遍平均時間進化を導出する。
GUE固有値の気体中の指数$n$-point相関関数の一般式を求める。
論文 参考訳（メタデータ） (2020-01-01T05:00:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。