論文の概要: Deep Non-rigid Structure-from-Motion Revisited: Canonicalization and Sequence Modeling

• arxiv url: http://arxiv.org/abs/2412.07230v1
• Date: Tue, 10 Dec 2024 06:42:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-11 14:37:11.750430
• Title: Deep Non-rigid Structure-from-Motion Revisited: Canonicalization and Sequence Modeling
• Title（参考訳）: 深部非剛性構造再考:正準化とシーケンスモデリング
• Authors: Hui Deng, Jiawei Shi, Zhen Qin, Yiran Zhong, Yuchao Dai,
• Abstract要約: Non-Rigid Structure-from-Motionは古典的な3D視覚問題であり、2Dシーケンスを入力として、対応する3Dシーケンスを推定する。 本稿では,2つの視点から深度NRSfMを再検討し,現在の深度NRSfM法の限界に対処する。 本稿では,従来のデータセットごとの正準化手法とは対照的に,シーケンス毎の正準化を容易に実装できる手法を提案する。
• 参考スコア（独自算出の注目度）: 43.593001546570015
• License:
• Abstract: Non-Rigid Structure-from-Motion (NRSfM) is a classic 3D vision problem, where a 2D sequence is taken as input to estimate the corresponding 3D sequence. Recently, the deep neural networks have greatly advanced the task of NRSfM. However, existing deep NRSfM methods still have limitations in handling the inherent sequence property and motion ambiguity associated with the NRSfM problem. In this paper, we revisit deep NRSfM from two perspectives to address the limitations of current deep NRSfM methods : (1) canonicalization and (2) sequence modeling. We propose an easy-to-implement per-sequence canonicalization method as opposed to the previous per-dataset canonicalization approaches. With this in mind, we propose a sequence modeling method that combines temporal information and subspace constraint. As a result, we have achieved a more optimal NRSfM reconstruction pipeline compared to previous efforts. The effectiveness of our method is verified by testing the sequence-to-sequence deep NRSfM pipeline with corresponding regularization modules on several commonly used datasets.
• Abstract（参考訳）: Non-Rigid Structure-from-Motion (NRSfM) は古典的な3次元視覚問題である。 近年、ディープニューラルネットワークはNRSfMのタスクを大幅に進歩させた。 しかし、既存のディープNASfM法は、NRSfM問題に関連する固有シーケンス特性と運動のあいまいさに制限がある。 本稿では,2つの視点から深部NASfMを再検討し,現在の深部NASfM法の限界に対処する:(1)正準化と(2)シーケンスモデリング。 本稿では,従来のデータセットごとの正準化手法とは対照的に,シーケンス毎の正準化を容易に実装できる手法を提案する。 そこで本稿では,時間的情報と部分空間制約を組み合わせたシーケンスモデリング手法を提案する。 その結果,従来に比べ,NRSfM再建パイプラインの最適性は向上した。 本手法の有効性は,複数の一般的なデータセット上での正則化モジュールを用いたシーケンス・ツー・シーケンス深度NASfMパイプラインの試験により検証した。

関連論文リスト

• NIMBA: Towards Robust and Principled Processing of Point Clouds With SSMs [9.978766637766373]
  データ複製を必要とせずに3次元空間構造を維持できる点雲を1次元配列に変換する手法を提案する。 本手法では位置埋め込みは必要とせず, 精度を保ちながら短いシーケンス長が可能である。
  論文  参考訳（メタデータ） (2024-10-31T18:58:40Z)
• TAOTF: A Two-stage Approximately Orthogonal Training Framework in Deep Neural Networks [8.663152066918821]
  本稿では,ノイズの多いデータシナリオにおいて,この問題を解決するための2段階のほぼ直交学習フレームワーク(TAOTF)を提案する。 提案手法は,本手法が既存の手法よりも安定かつ優れた性能を発揮することを示す。
  論文  参考訳（メタデータ） (2022-11-25T05:22:43Z)
• Controllable GAN Synthesis Using Non-Rigid Structure-from-Motion [1.7205106391379026]
  本研究では,NRSfM(non-rigid structure-from-motion)と深部生成モデルを組み合わせた手法を提案する。 本稿では,3次元形状の変化に対応する2次元GANの潜在空間における軌跡の発見に有効なフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-11-14T08:37:55Z)
• Learning Sequence Representations by Non-local Recurrent Neural Memory [61.65105481899744]
  教師付きシーケンス表現学習のためのNon-local Recurrent Neural Memory (NRNM)を提案する。 我々のモデルは長距離依存を捉えることができ、潜伏した高レベル特徴を我々のモデルで抽出することができる。 我々のモデルは、これらのシーケンスアプリケーションごとに特別に設計された他の最先端の手法と比較して好意的に比較する。
  論文  参考訳（メタデータ） (2022-07-20T07:26:15Z)
• Deep Non-rigid Structure-from-Motion: A Sequence-to-Sequence Translation Perspective [81.56957468529602]
  本稿では,シーケンス・ツー・シーケンス翻訳の観点から,ディープNASfMをモデル化する。 まず,1つのフレームから初期非剛体形状とカメラの動きを推定するために,形状運動予測器を適用した。 そこで我々は,カメラの動きと複雑な非剛体形状をモデル化するためのコンテキストモデリングモジュールを提案する。
  論文  参考訳（メタデータ） (2022-04-10T17:13:52Z)
• Dynamic Spatial Propagation Network for Depth Completion [6.3447233767041356]
  本稿では,周辺画素間の親和性を注目に基づくアプローチで学習する効率的なモデルを提案する。 実際に,本手法では,他のSPNの性能に適合するイテレーションを少なくし,全体としてより優れた結果が得られる。
  論文  参考訳（メタデータ） (2022-02-20T09:43:17Z)
• Bilevel Online Adaptation for Out-of-Domain Human Mesh Reconstruction [94.25865526414717]
  本稿では,事前に訓練されたヒトメッシュ再構築モデルをドメイン外ストリーミングビデオに適応させるという新たな問題を検討する。 重みプローブと重み更新の2つのステップに全体多対象の最適化プロセスを分割するBilevel Online Adaptationを提案します。 BOAが2つのヒューマンメッシュ再構築ベンチマークで最先端の結果をもたらすことを実証する。
  論文  参考訳（メタデータ） (2021-03-30T15:47:58Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)
• An EM Approach to Non-autoregressive Conditional Sequence Generation [49.11858479436565]
  自己回帰(AR)モデルは条件付きシーケンス生成において支配的なアプローチである。 非自己回帰(NAR)モデルは、最近、すべての出力トークンを並列に生成することでレイテンシを低減するために提案されている。 本稿では,ARモデルとNARモデルの両方を統合期待最大化フレームワークで協調的に最適化する手法を提案する。
  論文  参考訳（メタデータ） (2020-06-29T20:58:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。