論文の概要: VARPose: Flexible 2D Pose Densification via Visual Autoregressive Modeling for Enhanced 3D Lifting
- arxiv url: http://arxiv.org/abs/2608.02214v1
- Date: Mon, 03 Aug 2026 13:36:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-04 15:07:25.579483
- Title: VARPose: Flexible 2D Pose Densification via Visual Autoregressive Modeling for Enhanced 3D Lifting
- Title（参考訳）: VARPose:3Dリフティングのための視覚的自己回帰モデリングによるフレキシブルな2次元ポースデンシフィケーション
- Abstract要約: VARPoseは2次元スパースポーズを適応的に密度化し、3次元リフトモデルで利用可能な解剖学的情報を強化するために提案される。
本稿では,GPT(Granularity-Agnostic Pose Tokenizer)を導入し,単一のハイブリッドコードブックと残留量子化戦略を用いて,様々な密度のポーズを統一されたマルチスケールの離散表現に符号化する。
また、「結合密度」を「スケール」として扱う統一自己回帰モデルUniSkelarを提案する。
- 参考スコア（独自算出の注目度）: 9.224176101167693
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Visual AutoRegressive Modeling (VAR) has excelled in natural image generation via next-scale prediction, but its use on topology-structured data like human skeletons is still unexplored. VARPose is proposed to adaptively densify 2D sparse poses, thereby enriching the anatomical information available for 3D lifting models. Our core contributions are twofold. First, we introduce a Granularity-agnostic Pose Tokenizer (GPT), which employs a single hybrid codebook and a residual quantization strategy to encode poses of varying densities into a unified, multi-scale discrete representation. Our results demonstrate the strong generalizability of this representation. By decoupling the representation from the projection, we can successfully decode novel pose granularities using a frozen codebook with a retrained decoder. Second, we propose UniSkelar, a unified autoregressive model that treats "joint density" as "scale". UniSkelar learns to predict the token sequence for the next density level in a coarse-to-fine manner, conditioned on the sparsest pose. VARPose not only outperforms state-of-the-art methods and generalizes to unseen granularities, but also confers tangible performance gains on downstream tasks, such as 3D Pose Estimation and Human Mesh Recovery, through 2D pose densification. Our code and model are available at https://github.com/BRL-SYSU/VARPose.git.
- Abstract（参考訳）: Visual AutoRegressive Modeling (VAR)は、次のスケールの予測を通じて、自然な画像生成に優れていますが、人間の骨格のようなトポロジ構造化データでの使用はまだ探索されていません。
VARPoseは2次元スパースポーズを適応的に密度化し、3次元リフトモデルで利用可能な解剖学的情報を強化するために提案される。
私たちのコアコントリビューションは2つです。
まず,GPT(Granularity-Agnostic Pose Tokenizer)を導入し,単一のハイブリッドコードブックと残留量子化戦略を用いて,様々な密度のポーズを統一されたマルチスケールの離散表現に符号化する。
我々の結果は、この表現の強い一般化可能性を示している。
プロジェクションから表現をデカップリングすることで、復調復号器を用いた凍結コードブックを用いて、新規なポーズの粒度を復号することができる。
次に、「結合密度」を「スケール」として扱う統一自己回帰モデルUniSkelarを提案する。
UniSkelarは、最も粗いポーズで条件付けられた粗い方法で、次の密度レベルのトークンシーケンスを予測することを学ぶ。
VARPoseは最先端の手法より優れており、粒度が見えないように一般化されているだけでなく、3D Pose EstimationやHuman Mesh Recoveryといった下流タスクでは2Dポーズのデシフィケーションを通じて具体的なパフォーマンス向上が期待できる。
私たちのコードとモデルはhttps://github.com/BRL-SYSU/VARPose.git.comで公開されています。
関連論文リスト
- G-Skin: Learning to Bind 3D Gaussians with Generative Visual Priors [51.398600453223274]
G-Skinは、3Dガウス表現による表現的かつ高忠実なアニメーションのために設計された新しい生成スキンフレームワークである。
本研究では,2次元視覚基盤モデルを利用した骨格制御可能な画像生成モデルを提案する。
G-Skinはまた、アニメーション誘発レンダリングアーティファクトを緩和するために設計された3Dガウス表現の拡張版に柔軟に一般化する。
論文 参考訳（メタデータ） (2026-08-03T05:45:23Z) - S2D: Sparse to Dense Lifting for 3D Reconstruction with Minimal Inputs [53.597239706600455]
Sparse to Dense lifting (S2D)は、2つの表現をブリッジし、最小限の入力で高品質な3DGS再構成を実現するパイプラインである。
実験により、S2Dは、異なる入力空間下で、新しいビューガイダンスと第1階層のスパースビュー再構成品質を生成する際に、最良の整合性を達成することが示された。
論文 参考訳（メタデータ） (2026-03-11T15:37:20Z) - SPFSplatV2: Efficient Self-Supervised Pose-Free 3D Gaussian Splatting from Sparse Views [18.814209805277503]
スパース多視点画像から3次元ガウススプラッティングを行うための効率的なフィードフォワードフレームワークであるSPFSplatV2について述べる。
ドメイン内およびドメイン外の新規ビュー合成において、最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2025-09-21T21:37:56Z) - HiPART: Hierarchical Pose AutoRegressive Transformer for Occluded 3D Human Pose Estimation [61.32714172038278]
そこで本稿では, 階層型自動回帰変換器 (HiPART) と呼ばれる新しい2段階の縮退法を提案し, 元のスパース2Dポーズから2次元の高密度ポーズを生成する。
具体的には,高密度な2次元ポーズを階層的なトークンに量子化するマルチスケールスケルトントークン化モジュールを開発し,トークン接続を強化するスケルトン対応アライメントを提案する。
2D-to-3Dリフトの入力として生成された階層的ポーズにより,提案手法は隠蔽シナリオの強い堅牢性を示し,単一フレームベース3Dにおける最先端性能を実現する。
論文 参考訳（メタデータ） (2025-03-30T06:15:36Z) - Adapting Human Mesh Recovery with Vision-Language Feedback [17.253535686451897]
視覚言語モデルを用いて対話的な身体部分記述を生成する。
我々はテキストエンコーダとポーズVQ-VAEをトレーニングし、テキストを共有潜在空間内のボディポーズにアライメントする。
モデルは正確な3D知覚と画像の一貫性を持ったポーズを生成することができる。
論文 参考訳（メタデータ） (2025-02-06T07:42:00Z) - GenHMR: Generative Human Mesh Recovery [14.708444067294325]
GenHMRは、単分子HMRを画像条件による生成タスクとして再構成する新しい生成フレームワークである。
ベンチマークデータセットの実験では、GenHMRが最先端のメソッドよりも大幅に優れていることが示されている。
論文 参考訳（メタデータ） (2024-12-19T01:45:58Z) - No Pose, No Problem: Surprisingly Simple 3D Gaussian Splats from Sparse Unposed Images [100.80376573969045]
NoPoSplatは、多視点画像から3Dガウスアンによってパラメータ化された3Dシーンを再構成できるフィードフォワードモデルである。
提案手法は,推定時にリアルタイムな3次元ガウス再構成を実現する。
この研究は、ポーズフリーの一般化可能な3次元再構成において大きな進歩をもたらし、実世界のシナリオに適用可能であることを示す。
論文 参考訳（メタデータ） (2024-10-31T17:58:22Z) - GSD: View-Guided Gaussian Splatting Diffusion for 3D Reconstruction [52.04103235260539]
単一視点からの3次元オブジェクト再構成のためのガウススプティング表現に基づく拡散モデル手法を提案する。
モデルはGS楕円体の集合で表される3Dオブジェクトを生成することを学習する。
最終的な再構成されたオブジェクトは、高品質な3D構造とテクスチャを持ち、任意のビューで効率的にレンダリングできる。
論文 参考訳（メタデータ） (2024-07-05T03:43:08Z) - GVA: Reconstructing Vivid 3D Gaussian Avatars from Monocular Videos [56.40776739573832]
モノクロビデオ入力(GVA)から鮮明な3Dガウスアバターの作成を容易にする新しい手法を提案する。
私たちのイノベーションは、高忠実な人体再構築を実現するという、複雑な課題に対処することにあります。
通常の地図とシルエットを整列させて手足のポーズ精度を向上させるためにポーズ改善手法を提案する。
論文 参考訳（メタデータ） (2024-02-26T14:40:15Z) - Designing BERT for Convolutional Networks: Sparse and Hierarchical
Masked Modeling [23.164631160130092]
BERT型事前学習(仮面画像モデリング)の成功を畳み込みネットワーク(畳み込みネットワーク)に拡張する。
我々は、3次元点雲のスパースボクセルとして非マス化画素を扱い、スパース畳み込みを用いてエンコードする。
これは2次元マスクモデリングにおけるスパース畳み込みの最初の使用である。
論文 参考訳（メタデータ） (2023-01-09T18:59:50Z) - 3D Human Pose Regression using Graph Convolutional Network [68.8204255655161]
本稿では,2次元のポーズから3次元のポーズ回帰を行うために,PoseGraphNetというグラフ畳み込みネットワークを提案する。
我々のモデルの性能は最先端に近いが、パラメータははるかに少ない。
論文 参考訳（メタデータ） (2021-05-21T14:41:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。