論文の概要: Latent-space disentanglement with untrained generator networks for the isolation of different motion types in video data

• arxiv url: http://arxiv.org/abs/2205.10367v2
• Date: Wed, 17 May 2023 08:22:41 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-18 21:16:07.568553
• Title: Latent-space disentanglement with untrained generator networks for the isolation of different motion types in video data
• Title（参考訳）: ビデオデータにおける異なるモーションタイプ分離のための未学習ジェネレータネットワークによる潜時空間のゆがみ
• Authors: Abdullah Abdullah and Martin Holler and Karl Kunisch and Malena Sabate Landman
• Abstract要約: ビデオデータ中の異なるタイプの動きを分離することは、ビデオ解析において問題となる。 本研究では、未学習のジェネレータネットワークによる映像データの表現により、異なるモーションタイプを効率的に分離できることを実証的に示す。
• 参考スコア（独自算出の注目度）: 3.721528851694675
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Isolating different types of motion in video data is a highly relevant problem in video analysis. Applications can be found, for example, in dynamic medical or biological imaging, where the analysis and further processing of the dynamics of interest is often complicated by additional, unwanted dynamics, such as motion of the measurement subject. In this work, it is empirically shown that a representation of video data via untrained generator networks, together with a specific technique for latent space disentanglement that uses minimal, one-dimensional information on some of the underlying dynamics, allows to efficiently isolate different, highly non-linear motion types. In particular, such a representation allows to freeze any selection of motion types, and to obtain accurate independent representations of other dynamics of interest. Obtaining such a representation does not require any pre-training on a training data set, i.e., all parameters of the generator network are learned directly from a single video.
• Abstract（参考訳）: ビデオデータ中の異なるタイプの動きを分離することは、ビデオ解析において非常に関連する問題である。 例えば、動的な医学的、生物学的イメージングにおいて、興味のあるダイナミクスの分析とさらなる処理は、測定対象の運動のような追加の望ましくないダイナミクスによってしばしば複雑になる。 本研究は,未学習のジェネレータネットワークによる映像データの表現と,基礎となるダイナミクスに関する最小の1次元情報を用いた潜時空間不等角化手法を組み合わせることで,異なる非線型動作タイプを効率的に分離できることを実証的に示す。 特に、そのような表現は、任意の運動型の選択を凍結し、他の関心の力学の正確な独立表現を得ることを可能にする。 そのような表現を得るにはトレーニングデータセットの事前トレーニングを必要としない。つまり、ジェネレータネットワークのすべてのパラメータは、単一のビデオから直接学習される。

関連論文リスト

• IMUDiffusion: A Diffusion Model for Multivariate Time Series Synthetisation for Inertial Motion Capturing Systems [0.0]
  本稿では,時系列生成に特化して設計された確率的拡散モデルIMUDiffusionを提案する。 提案手法は,人間の活動のダイナミクスを正確に捉えた高品質な時系列列の生成を可能にする。 一部のケースでは、マクロF1スコアを約30%改善することができる。
  論文  参考訳（メタデータ） (2024-11-05T09:53:52Z)
• Neuromorphic Vision-based Motion Segmentation with Graph Transformer Neural Network [4.386534439007928]
  本稿では,GTNNと呼ばれるグラフトランスフォーマーニューラルネットワークを用いたイベントベース動作分割アルゴリズムを提案する。 提案アルゴリズムは, イベント間の局所的および大域的相関を明らかにするために, 一連の非線形変換により, イベントストリームを3次元グラフとして処理する。 GTNNは、動的背景変動、動きパターン、および様々な大きさと速度を持つ複数の動的物体の存在下で、最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-04-16T22:44:29Z)
• Learn the Force We Can: Enabling Sparse Motion Control in Multi-Object Video Generation [26.292052071093945]
  単一のフレームとスパース動作入力からビデオを生成する教師なしの手法を提案する。 我々の訓練されたモデルは、目に見えない現実的なオブジェクト間相互作用を生成できる。 ヨダは、制御性と映像品質の両面において、先行するアートビデオ生成の状況と同等かそれ以上であることを示す。
  論文  参考訳（メタデータ） (2023-06-06T19:50:02Z)
• Dynamic Latent Separation for Deep Learning [67.62190501599176]
  機械学習の中核的な問題は、複雑なデータに対するモデル予測のための表現力のある潜在変数を学習することである。 本稿では,表現性を向上し,部分的解釈を提供し,特定のアプリケーションに限定されないアプローチを開発する。
  論文  参考訳（メタデータ） (2022-10-07T17:56:53Z)
• MoDi: Unconditional Motion Synthesis from Diverse Data [51.676055380546494]
  多様な動きを合成する無条件生成モデルであるMoDiを提案する。 我々のモデルは、多様な、構造化されていない、ラベルなしのモーションデータセットから完全に教師なしの設定で訓練されている。 データセットに構造が欠けているにもかかわらず、潜在空間は意味的にクラスタ化可能であることを示す。
  論文  参考訳（メタデータ） (2022-06-16T09:06:25Z)
• Continuous-Time Video Generation via Learning Motion Dynamics with Neural ODE [26.13198266911874]
  動きと外観の異なる分布を学習する新しい映像生成手法を提案する。 本稿では,第1段階が任意のフレームレートで雑音ベクトルをキーポイント列に変換し,第2段階が与えられたキーポイントシーケンスと外観雑音ベクトルに基づいて映像を合成する2段階の手法を用いる。
  論文  参考訳（メタデータ） (2021-12-21T03:30:38Z)
• Learning Local Recurrent Models for Human Mesh Recovery [50.85467243778406]
  本稿では,人間のメッシュを標準的な骨格モデルに従って複数の局所的に分割するビデオメッシュ復元手法を提案する。 次に、各局所部分の力学を別個のリカレントモデルでモデル化し、各モデルは、人体の既知の運動構造に基づいて適切に条件付けする。 これにより、構造的インフォームドな局所的再帰学習アーキテクチャが実現され、アノテーションを使ってエンドツーエンドでトレーニングすることができる。
  論文  参考訳（メタデータ） (2021-07-27T14:30:33Z)
• Uncovering Closed-form Governing Equations of Nonlinear Dynamics from Videos [8.546520029145853]
  本稿では,動画中の移動物体の力学を規定する方程式の数学的構造を明らかにするために,新しいエンドツーエンドの非教師なしディープラーニングフレームワークを提案する。 このようなアーキテクチャは,(1)移動物体の低次元空間/画素座標を学習するエンコーダ・デコーダネットワーク,(2)抽出された空間/画素座標と動的の潜在物理状態とのマッピングを生成する学習可能な空間-物理変換コンポーネント,(3)学習された物理状態の擬似閉形式支配方程式を明らかにする数値積分器ベースのスパース回帰モジュールからなる。
  論文  参考訳（メタデータ） (2021-06-09T02:50:11Z)
• MoCo-Flow: Neural Motion Consensus Flow for Dynamic Humans in Stationary Monocular Cameras [98.40768911788854]
  4次元連続時間変動関数を用いて動的シーンをモデル化する表現であるMoCo-Flowを紹介する。 私たちの研究の中心には、運動フロー上の運動コンセンサス正規化によって制約される、新しい最適化の定式化がある。 複雑度の異なる人間の動きを含む複数のデータセット上でMoCo-Flowを広範囲に評価した。
  論文  参考訳（メタデータ） (2021-06-08T16:03:50Z)
• Dynamic View Synthesis from Dynamic Monocular Video [69.80425724448344]
  動的シーンの単眼映像を与えられた任意の視点と任意の入力時間ステップでビューを生成するアルゴリズムを提案する。 カジュアルな映像からの動的ビュー合成の定量的および定性的な結果を示す。
  論文  参考訳（メタデータ） (2021-05-13T17:59:50Z)
• Event-based Motion Segmentation with Spatio-Temporal Graph Cuts [51.17064599766138]
  イベントベースカメラで取得したオブジェクトを独立に識別する手法を開発した。 この方法は、予想される移動物体の数を事前に決定することなく、技術状態よりも同等以上の性能を発揮する。
  論文  参考訳（メタデータ） (2020-12-16T04:06:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。