論文の概要: ProxyPose: 6-DoF Pose Tracking via Video-to-Video Translation
- arxiv url: http://arxiv.org/abs/2607.06555v1
- Date: Tue, 07 Jul 2026 17:56:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-08 21:24:51.616759
- Title: ProxyPose: 6-DoF Pose Tracking via Video-to-Video Translation
- Title（参考訳）: ProxyPose:ビデオからビデオへの翻訳による6-DoFの追跡
- Abstract要約: ProxyPoseを導入し、6-DoFのポーズ追跡をビデオ間翻訳として再放送する。
最初のフレームに1つのビデオと1つのマーク付きピクセルが与えられたとき、微調整されたビデオ拡散モデルは、入力をプロキシビデオに変換する。
プロキシの幾何学と外観は構成によって知られているため、完全な6-DoF軌道の復元は古典的なポーズ推定に還元される。
- 参考スコア（独自算出の注目度）: 17.23243752102474
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Tracking the six-degree-of-freedom (6-DoF) pose of objects and surfaces from monocular video is a long-standing problem in computer vision. To tackle this problem, existing methods require inputs beyond the video itself-such as 3D models, depth maps, object masks, or task-specific learned features-and they struggle with textureless, transparent, reflective, or deformable surfaces. Here, we introduce ProxyPose, which recasts 6-DoF pose tracking as video-to-video translation. Given only a video and a single marked pixel in the first frame, a fine-tuned video diffusion model translates the input into a proxy video-a synthetic video depicting a colored polyhedron undergoing the same local rigid-body motion as the surface region at the marked pixel. Because the proxy's geometry and appearance are known by construction, recovering its full 6-DoF trajectory reduces to classical pose estimation with off-the-shelf solvers. This formulation leverages large-scale video pre-training to absorb the hardest aspects of pose tracking-handling challenging materials, occlusions, and deformations-into the translation step, while operating at the pixel level with no assumptions about object identity, boundaries, or global rigidity. ProxyPose achieves state-of-the-art 6-DoF pose tracking accuracy without the additional inputs required by competing methods and after fine-tuning the video model only on synthetic data. We further demonstrate that ProxyPose extends to face tracking, camera pose estimation, and challenging in-the-wild scenes that are beyond the reach of existing approaches. Project page: https://ruihangzhang97.github.io/proxypose/.
- Abstract（参考訳）: モノクロビデオから物体と表面の6自由度(6自由度)のポーズを追跡することは、コンピュータビジョンにおける長年の問題である。
この問題に対処するためには、既存の手法では3Dモデル、深度マップ、オブジェクトマスク、タスク固有の学習機能など、ビデオ自体以外の入力が必要です。
ここでは6-DoFのポーズ追跡をビデオ間翻訳として再放送するProxyPoseを紹介する。
第1フレームに1つのビデオと1つのマーク付きピクセルが与えられたとき、微調整されたビデオ拡散モデルにより、入力を、マーク付き画素の表面領域と同じ局所剛体運動を行う色付きポリヘドロンの合成ビデオであるプロキシビデオに変換する。
プロキシの幾何学と外観は構成によって知られているため、完全な6-DoF軌道の復元は、オフザシェルフ解法による古典的なポーズ推定に還元される。
この定式化は、大規模なビデオ事前トレーニングを活用して、オブジェクトのアイデンティティ、境界、大域的剛性に関する仮定なしでピクセルレベルで操作しながら、ポーズ追跡処理の難しい素材、オクルージョン、変形を変換ステップに吸収する。
ProxyPoseは、競合するメソッドに必要な追加入力を必要とせず、合成データにのみビデオモデルを微調整した後に、最先端の6-DoFポーズトラッキング精度を達成する。
さらに、ProxyPoseは、顔のトラッキング、カメラポーズの推定、既存のアプローチのリーチを超越したフィールド内シーンへの挑戦にまで拡張されていることを実証する。
プロジェクトページ: https://ruihangzhang97.github.io/proxypose/。
関連論文リスト
- AHOY! Animatable Humans under Occlusion from YouTube Videos with Gaussian Splatting and Video Diffusion Priors [58.22950708041041]
AHOYは,眼球内モノクローナルビデオから完全でアニマタブルな3Dガウスアバターを再構成する手法である。
我々は,これまで観測されていなかった身体領域の密集的な監視を実現するために,個人識別拡散モデルを用いた幻覚・超越パイプラインを開発した。
得られたアバターは、新しいポーズでアニメーションできるほど頑丈で、3DGSのシーンに合成され、携帯電話のビデオで撮影される。
論文 参考訳（メタデータ） (2026-03-18T17:39:05Z) - SEE4D: Pose-Free 4D Generation via Auto-Regressive Video Inpainting [83.5106058182799]
SEE4Dは, カジュアルビデオから4次元世界モデリングを行うための, ポーズのないトラジェクトリ・ツー・カメラ・フレームワークである。
モデル内のビュー条件ビデオは、現実的に合成された画像を認知する前に、ロバストな幾何学を学ぶために訓練される。
クロスビュービデオ生成とスパース再構成のベンチマークでSee4Dを検証した。
論文 参考訳（メタデータ） (2025-10-30T17:59:39Z) - Restage4D: Reanimating Deformable 3D Reconstruction from a Single Video [56.781766315691854]
ビデオ条件付き4D再生のための幾何学保存パイプラインである textbfRestage4D を紹介する。
DAVIS と PointOdyssey 上のRestage4D の有効性を検証し,幾何整合性,運動品質,3次元追跡性能の向上を実証した。
論文 参考訳（メタデータ） (2025-08-08T21:31:51Z) - Eye2Eye: A Simple Approach for Monocular-to-Stereo Video Synthesis [45.64047250474718]
ビデオ合成の進歩にもかかわらず、3Dビデオデータが比較的少ないため、3Dビデオを作成することは難しい。
本稿では,テキスト・ビデオ・ジェネレータをビデオ・ビデオ・ステレオ・ジェネレータに変換するための簡単な手法を提案する。
われわれのフレームワークは、動画フレームをシフトした視点から自動生成し、説得力のある3D効果を実現する。
論文 参考訳（メタデータ） (2025-04-30T19:06:09Z) - VideoAnydoor: High-fidelity Video Object Insertion with Precise Motion Control [66.66226299852559]
VideoAnydoorは、高忠実度ディテール保存と正確なモーションコントロールを備えたゼロショットビデオオブジェクト挿入フレームワークである。
詳細な外観を保ちながら、微粒な動き制御をサポートするため、我々は画素ワーパーを設計する。
論文 参考訳（メタデータ） (2025-01-02T18:59:54Z) - Replace Anyone in Videos [82.37852750357331]
ReplaceAnyoneフレームワークは、複雑な背景を特徴とする、局所的な人間の置換と挿入に焦点を当てたフレームワークである。
我々は,このタスクを,一貫したエンド・ツー・エンドビデオ拡散アーキテクチャを用いて,ポーズガイダンスを用いた画像条件付きビデオ塗装パラダイムとして定式化する。
提案されたReplaceAnyoneは従来の3D-UNetベースモデルだけでなく、Wan2.1のようなDiTベースのビデオモデルにもシームレスに適用できる。
論文 参考訳（メタデータ） (2024-09-30T03:27:33Z) - Lester: rotoscope animation through video object segmentation and
tracking [0.0]
レスターはビデオからレトロスタイルの2Dアニメーションを自動的に合成する新しい方法である。
ビデオフレームはSAM(Segment Anything Model)で処理され、結果のマスクは後のフレームを通してDeAOTで追跡される。
その結果,提案手法は時間的整合性に優れており,ポーズや外観の異なる映像を正しく処理できることがわかった。
論文 参考訳（メタデータ） (2024-02-15T11:15:54Z) - Make-It-4D: Synthesizing a Consistent Long-Term Dynamic Scene Video from
a Single Image [59.18564636990079]
本研究では,1枚の画像のみから長期ダイナミック映像を合成する問題について検討する。
既存の方法は、一貫性のない永遠の視点を幻覚させるか、長いカメラの軌跡に苦しむかのいずれかである。
一つの画像から一貫した長期動画像を生成する新しい方法であるMake-It-4Dを提案する。
論文 参考訳（メタデータ） (2023-08-20T12:53:50Z) - FlowCam: Training Generalizable 3D Radiance Fields without Camera Poses
via Pixel-Aligned Scene Flow [26.528667940013598]
ポーズ画像からの3次元ニューラルネットワークの再構成は、自己教師付き表現学習の有望な方法として現れている。
これらの3Dシーンの学習者が大規模ビデオデータに展開するのを防ぐ重要な課題は、構造から移動までの正確なカメラポーズに依存することである。
本稿では,オンラインと1つのフォワードパスでカメラポーズと3Dニューラルシーン表現を共同で再構築する手法を提案する。
論文 参考訳（メタデータ） (2023-05-31T20:58:46Z) - HumanNeRF: Free-viewpoint Rendering of Moving People from Monocular
Video [44.58519508310171]
我々は、人間の複雑な身体の動きを観察するモノクラービデオで動作する、自由視点レンダリング手法、HumanNeRFを紹介した。
提案手法は,任意のフレームで動画をパージングし,任意のカメラ視点から被写体をレンダリングする。
論文 参考訳（メタデータ） (2022-01-11T18:51:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。