論文の概要: Degrees of Freedom Matter: Inferring Dynamics from Point Trajectories

• arxiv url: http://arxiv.org/abs/2406.03625v1
• Date: Wed, 5 Jun 2024 21:02:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-07 19:04:59.229306
• Title: Degrees of Freedom Matter: Inferring Dynamics from Point Trajectories
• Title（参考訳）: 自由度のデグリー:点軌道からのダイナミクスの推測
• Authors: Yan Zhang, Sergey Prokudin, Marko Mihajlovic, Qianli Ma, Siyu Tang,
• Abstract要約: ニューラルネットワークによってパラメータ化された暗黙の運動場を学習し、同一領域内の新規点の動きを予測することを目的とする。 我々は、SIRENが提供する固有正則化を活用し、入力層を変更して時間的に滑らかな運動場を生成する。 実験では, 未知点軌道の予測におけるモデルの性能評価と, 変形を伴う時間メッシュアライメントへの応用について検討した。
• 参考スコア（独自算出の注目度）: 28.701879490459675
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Understanding the dynamics of generic 3D scenes is fundamentally challenging in computer vision, essential in enhancing applications related to scene reconstruction, motion tracking, and avatar creation. In this work, we address the task as the problem of inferring dense, long-range motion of 3D points. By observing a set of point trajectories, we aim to learn an implicit motion field parameterized by a neural network to predict the movement of novel points within the same domain, without relying on any data-driven or scene-specific priors. To achieve this, our approach builds upon the recently introduced dynamic point field model that learns smooth deformation fields between the canonical frame and individual observation frames. However, temporal consistency between consecutive frames is neglected, and the number of required parameters increases linearly with the sequence length due to per-frame modeling. To address these shortcomings, we exploit the intrinsic regularization provided by SIREN, and modify the input layer to produce a spatiotemporally smooth motion field. Additionally, we analyze the motion field Jacobian matrix, and discover that the motion degrees of freedom (DOFs) in an infinitesimal area around a point and the network hidden variables have different behaviors to affect the model's representational power. This enables us to improve the model representation capability while retaining the model compactness. Furthermore, to reduce the risk of overfitting, we introduce a regularization term based on the assumption of piece-wise motion smoothness. Our experiments assess the model's performance in predicting unseen point trajectories and its application in temporal mesh alignment with guidance. The results demonstrate its superiority and effectiveness. The code and data for the project are publicly available: \url{https://yz-cnsdqz.github.io/eigenmotion/DOMA/}
• Abstract（参考訳）: ジェネリック3Dシーンのダイナミクスを理解することは、コンピュータビジョンにおいて基本的に困難であり、シーン再構成、モーショントラッキング、アバター作成に関連する応用の強化に不可欠である。 本研究では,3次元点の高密度な長距離運動を推定する問題として,この課題に対処する。 点軌跡の集合を観察することにより、ニューラルネットワークによってパラメータ化された暗黙の運動場を学習し、データ駆動やシーン固有の先行情報に頼ることなく、同一領域内の新規点の動きを予測することを目指す。 そこで本研究では, 標準フレームと個々の観測フレーム間の滑らかな変形場を学習する動的点場モデルを構築した。 しかし、連続するフレーム間の時間的一貫性は無視され、フレーム単位のモデリングによって要求されるパラメータの数は、シーケンス長とともに線形に増加する。 これらの欠点に対処するために、SIRENが提供する本質的な正規化を活用し、入力層を変更して時空間的に滑らかな運動場を生成する。 さらに、運動場ヤコビ行列を分析し、点周辺の無限小領域における自由度(DOF)とネットワーク隠れ変数がモデルの表現力に影響を与える振る舞いが異なることを明らかにする。 これにより、モデルコンパクト性を保ちながら、モデル表現能力を向上させることができる。 さらに, 過度に適合するリスクを低減するために, 片方向の運動の滑らかさを仮定した正規化項を導入する。 本実験は, 未知点軌道の予測におけるモデルの性能評価と, 誘導による時間メッシュアライメントへの応用について検討した。 結果は、その優位性と有効性を示している。 プロジェクトのコードとデータが公開されている。 \url{https://yz-cnsdqz.github.io/eigenmotion/DOMA/}

関連論文リスト

• MonST3R: A Simple Approach for Estimating Geometry in the Presence of Motion [118.74385965694694]
  我々は動的シーンから時間ステップごとの幾何を直接推定する新しい幾何学的アプローチであるMotion DUSt3R(MonST3R)を提案する。 各タイムステップのポイントマップを単純に推定することで、静的シーンにのみ使用されるDUST3Rの表現を動的シーンに効果的に適応させることができる。 我々は、問題を微調整タスクとしてポーズし、いくつかの適切なデータセットを特定し、この制限されたデータ上でモデルを戦略的に訓練することで、驚くほどモデルを動的に扱えることを示す。
  論文  参考訳（メタデータ） (2024-10-04T18:00:07Z)
• Future Does Matter: Boosting 3D Object Detection with Temporal Motion Estimation in Point Cloud Sequences [25.74000325019015]
  クロスフレーム動作予測情報を用いた時空間特徴学習を容易にするために,新しいLiDAR 3Dオブジェクト検出フレームワークLiSTMを導入する。 我々は,本フレームワークが優れた3次元検出性能を実現することを示すため,アグリゲーションとnuScenesデータセットの実験を行った。
  論文  参考訳（メタデータ） (2024-09-06T16:29:04Z)
• Shuffled Autoregression For Motion Interpolation [53.61556200049156]
  この作業は、モーションタスクのためのディープラーニングソリューションを提供することを目的としている。 本稿では,自己回帰を任意の(シャッフルされた)順序で生成するために拡張する,emphShuffled AutoRegressionと呼ばれる新しいフレームワークを提案する。 また,3つのステージを終端から終端の時空間運動変換器に組み込んだ依存グラフの構築手法を提案する。
  論文  参考訳（メタデータ） (2023-06-10T07:14:59Z)
• Modeling Continuous Motion for 3D Point Cloud Object Tracking [54.48716096286417]
  本稿では,各トラックレットを連続ストリームとみなす新しいアプローチを提案する。 各タイムスタンプでは、現在のフレームだけがネットワークに送られ、メモリバンクに格納された複数フレームの履歴機能と相互作用する。 頑健な追跡のためのマルチフレーム機能の利用性を高めるために,コントラッシブシーケンス強化戦略を提案する。
  論文  参考訳（メタデータ） (2023-03-14T02:58:27Z)
• PREF: Predictability Regularized Neural Motion Fields [68.60019434498703]
  ダイナミックなシーンで3Dの動きを知ることは、多くの視覚応用にとって不可欠である。 多視点設定における全ての点の運動を推定するために神経運動場を利用する。 予測可能な動きを正規化することを提案する。
  論文  参考訳（メタデータ） (2022-09-21T22:32:37Z)
• Neural Motion Fields: Encoding Grasp Trajectories as Implicit Value Functions [65.84090965167535]
  本稿では,ニューラルネットワークによってパラメータ化される暗黙的値関数として,オブジェクト点群と相対的タスク軌跡の両方を符号化する新しいオブジェクト表現であるNeural Motion Fieldsを提案する。 このオブジェクト中心表現は、SE(3)空間上の連続分布をモデル化し、サンプリングベースのMPCを利用して、この値関数を最適化することで、反応的に把握することができる。
  論文  参考訳（メタデータ） (2022-06-29T18:47:05Z)
• NeMF: Neural Motion Fields for Kinematic Animation [6.570955948572252]
  巨大な運動空間を時間とともに連続関数として表現するため、Neural Motion Fields (NeMF) と呼ぶ。 我々はニューラルネットワークを用いて、この関数をさまざまな動きの集合として学習する。 私たちは、その汎用性を証明するために、多様な人間の動きデータセットと四重組データセットでモデルをトレーニングします。
  論文  参考訳（メタデータ） (2022-06-04T05:53:27Z)
• Exploring Optical-Flow-Guided Motion and Detection-Based Appearance for Temporal Sentence Grounding [61.57847727651068]
  テンポラルな文グラウンドディングは、与えられた文クエリに従って、意図しないビデオのターゲットセグメントをセマンティックにローカライズすることを目的としている。 これまでのほとんどの研究は、ビデオ全体のフレーム全体のフレームレベルの特徴を学習することに集中しており、それらをテキスト情報と直接一致させる。 我々は,光フロー誘導型モーションアウェア,検出ベース外観アウェア,3D認識オブジェクトレベル機能を備えた,動き誘導型3Dセマンティック推論ネットワーク(MA3SRN)を提案する。
  論文  参考訳（メタデータ） (2022-03-06T13:57:09Z)
• Any Motion Detector: Learning Class-agnostic Scene Dynamics from a Sequence of LiDAR Point Clouds [4.640835690336654]
  動き検出と動きパラメータ推定のための時間的文脈アグリゲーションの新しいリアルタイム手法を提案する。 本稿では,固有点雲列の固有オドメトリック変換に匹敵する性能で,リアルタイムな推論を実現するためのエゴモーション補償層を提案する。
  論文  参考訳（メタデータ） (2020-04-24T10:40:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。