Fugu-MT 論文翻訳(概要): FourierHandFlow: Neural 4D Hand Representation Using Fourier Query Flow

論文の概要: FourierHandFlow: Neural 4D Hand Representation Using Fourier Query Flow

arxiv url: http://arxiv.org/abs/2307.08100v1
Date: Sun, 16 Jul 2023 16:58:37 GMT
ステータス: 処理完了
システム内更新日: 2023-07-18 15:43:13.674233
Title: FourierHandFlow: Neural 4D Hand Representation Using Fourier Query Flow
Title（参考訳）: FourierHandFlow: フーリエクエリフローを用いたニューラルネットワークによる4次元ハンド表現
Authors: Jihyun Lee, Junbong Jang, Donghwan Kim, Minhyuk Sung, Tae-Kyun Kim
Abstract要約: 最近の4次元形状表現は、明瞭な形状間の暗黙の対応を捉えたり、ジッタリー時間変形を規則化するものではない。音声による手指の時間的変形を効果的にモデル化するために,2種類の問合せフローに基づいて4次元表現を構成する。提案手法は,既存の3D/4D暗示形状表現よりも高効率でありながら,映像ベースの4D再構成における最先端結果を実現する。
参考スコア（独自算出の注目度）: 55.61843393812704
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Recent 4D shape representations model continuous temporal evolution of implicit shapes by (1) learning query flows without leveraging shape and articulation priors or (2) decoding shape occupancies separately for each time value. Thus, they do not effectively capture implicit correspondences between articulated shapes or regularize jittery temporal deformations. In this work, we present FourierHandFlow, which is a spatio-temporally continuous representation for human hands that combines a 3D occupancy field with articulation-aware query flows represented as Fourier series. Given an input RGB sequence, we aim to learn a fixed number of Fourier coefficients for each query flow to guarantee smooth and continuous temporal shape dynamics. To effectively model spatio-temporal deformations of articulated hands, we compose our 4D representation based on two types of Fourier query flow: (1) pose flow that models query dynamics influenced by hand articulation changes via implicit linear blend skinning and (2) shape flow that models query-wise displacement flow. In the experiments, our method achieves state-of-the-art results on video-based 4D reconstruction while being computationally more efficient than the existing 3D/4D implicit shape representations. We additionally show our results on motion inter- and extrapolation and texture transfer using the learned correspondences of implicit shapes. To the best of our knowledge, FourierHandFlow is the first neural 4D continuous hand representation learned from RGB videos. The code will be publicly accessible.
Abstract（参考訳）: 最近の4次元形状表現モデルによる暗黙的形状の連続的時間的発展は,(1)形状や調音の先取りを使わずにクエリフローを学習するか,(2)時間値ごとに分割した形状の復号化である。したがって、明瞭な形状間の暗黙の対応を効果的に捉えたり、ジッタイ時間変形を規則化することはない。本研究では,人間の手の時空間的連続表現であるフーリエハンドフローを,フーリエ級数として表現された3次元占有場と調音認識クエリフローとを結合した,フーリエハンドフローを提案する。入力rgbシーケンスが与えられると、各クエリフローに対する固定数のフーリエ係数を学習し、滑らかで連続的な時間形状のダイナミクスを保証する。有声手における時空間的変形を効果的にモデル化するために,(1)暗黙的な線形ブレンドスキンによる調音変化の影響を受ける問合せダイナミクスをモデル化するポーズフローと,(2)問合せ方向の変位流れをモデル化する形状フローという,2種類のフーリエ・クエリフローに基づいて4次元表現を構成する。実験では,既存の3D/4D暗示形状表現よりも計算効率が良く,映像ベース4D再構成の最先端結果が得られた。さらに, 暗黙的形状の学習対応を用いて, 運動間・外挿・テクスチャ伝達に関する結果を示す。私たちの知る限りでは、FourierHandFlowはRGBビデオから学んだ最初の4D連続表現である。コードは公開アクセス可能である。

関連論文リスト

UDiFF: Generating Conditional Unsigned Distance Fields with Optimal Wavelet Diffusion [51.31220416754788]
UDiFFは非符号距離場(UDF)の3次元拡散モデルであり,テキスト条件や非条件条件から開面を有するテクスチャ化された3次元形状を生成することができる。我々のキーとなるアイデアは、UDF生成のためのコンパクトな表現空間を生成する最適なウェーブレット変換を用いて、空間周波数領域でUDFを生成することである。
論文参考訳（メタデータ） (2024-04-10T09:24:54Z)
Equivariant Graph Neural Operator for Modeling 3D Dynamics [148.98826858078556]
我々は,次のステップの予測ではなく,ダイナミックスを直接トラジェクトリとしてモデル化するために,Equivariant Graph Neural Operator (EGNO)を提案する。 EGNOは3次元力学の時間的進化を明示的に学習し、時間とともに関数として力学を定式化し、それを近似するためにニューラル演算子を学習する。粒子シミュレーション、人間のモーションキャプチャー、分子動力学を含む複数の領域における総合的な実験は、既存の手法と比較して、EGNOの極めて優れた性能を示す。
論文参考訳（メタデータ） (2024-01-19T21:50:32Z)
Motion2VecSets: 4D Latent Vector Set Diffusion for Non-rigid Shape Reconstruction and Tracking [52.393359791978035]
Motion2VecSetsは点雲列からの動的表面再構成のための4次元拡散モデルである。グローバルな潜在符号の代わりに、潜在集合で4Dダイナミクスをパラメータ化する。時間的コヒーレントな物体追跡のために、変形潜在集合を同期的に認知し、複数のフレーム間で情報を交換する。
論文参考訳（メタデータ） (2024-01-12T15:05:08Z)
Gaussian-Flow: 4D Reconstruction with Dynamic 3D Gaussian Particle [9.082693946898733]
高速な動的シーン再構成と,マルチビューおよびモノクロビデオからのリアルタイムレンダリングのための新しいポイントベースアプローチを提案する。学習速度の遅さとレンダリング速度によって妨げられるNeRFベースのアプローチとは対照的に,我々はポイントベース3Dガウススプラッティング(3DGS)の最近の進歩を活用している。提案手法は,フレームごとの3DGSモデリングと比較して,5倍のトレーニング速度を実現し,大幅な効率向上を実現している。
論文参考訳（メタデータ） (2023-12-06T11:25:52Z)
Diffusion 3D Features (Diff3F): Decorating Untextured Shapes with Distilled Semantic Features [27.44390031735071]
Diff3Fは、非テクスチャ入力のためのクラスに依存しない特徴記述子である。画像基礎モデルから入力形状への拡散特性を蒸留する。その過程で2次元で(拡散)特徴を生成し、その後、元の表面に持ち上げて集約する。
論文参考訳（メタデータ） (2023-11-28T18:27:15Z)
DiffusionSDF: Conditional Generative Modeling of Signed Distance Functions [42.015077094731815]
DiffusionSDFは、形状の完全化、単一ビュー再構成、および実走査点雲の再構成のための生成モデルである。我々は、ニューラルネットワークを介して様々な信号(点雲、2次元画像など)の幾何をパラメータ化するために、ニューラルネットワークに署名された距離関数(SDF)を用いる。
論文参考訳（メタデータ） (2022-11-24T18:59:01Z)
Learning Parallel Dense Correspondence from Spatio-Temporal Descriptors for Efficient and Robust 4D Reconstruction [43.60322886598972]
本稿では,点雲列からの4次元形状再構成の課題に焦点をあてる。本稿では,クロスフレーム占有領域間の連続的変換関数を捉えることにより,人間の3次元形状の時間変化を学ぶための新しいパイプラインを提案する。
論文参考訳（メタデータ） (2021-03-30T13:36:03Z)
Adjoint Rigid Transform Network: Task-conditioned Alignment of 3D Shapes [86.2129580231191]
Adjoint Rigid Transform (ART) Networkは、さまざまな3Dネットワークと統合可能なニューラルネットワークモジュールである。 ARTは入力の形状を学習した標準方向に回転させることを学び、多くのタスクに欠かせない。さらなる研究のために、コードと事前訓練されたモデルをリリースします。
論文参考訳（メタデータ） (2021-02-01T20:58:45Z)
SeqXY2SeqZ: Structure Learning for 3D Shapes by Sequentially Predicting 1D Occupancy Segments From 2D Coordinates [61.04823927283092]
本稿では,各2次元位置における関数の出力が内部の線分列である2次元関数を用いて3次元形状を表現することを提案する。本研究では,SeqXY2SeqZと呼ばれるセック2Seqモデルを用いて,2つの任意の軸に沿った2次元座標列から3つの軸に沿った1次元位置の列への写像を学習する手法を提案する。実験の結果,SeqXY2SeqZは広く使用されているベンチマークで最先端の手法よりも優れていることがわかった。
論文参考訳（メタデータ） (2020-03-12T00:24:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。