論文の概要: PoseDiff: A Unified Diffusion Model Bridging Robot Pose Estimation and Video-to-Action Control

• arxiv url: http://arxiv.org/abs/2509.24591v1
• Date: Mon, 29 Sep 2025 10:55:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 22:32:19.928417
• Title: PoseDiff: A Unified Diffusion Model Bridging Robot Pose Estimation and Video-to-Action Control
• Title（参考訳）: PoseDiff: ロボットのポーズ推定とビデオ・ツー・アクション制御を統一した拡散モデル
• Authors: Haozhuo Zhang, Michele Caprio, Jing Shao, Qiang Zhang, Jian Tang, Shanghang Zhang, Wei Pan,
• Abstract要約: 本稿では,ロボットの状態推定と制御を単一のフレームワーク内で統一する条件拡散モデルPoseDiffを提案する。 中心となるPoseDiffは、生の視覚を3Dキーポイントや関節角などの構造化されたロボットの状態にマッピングする。 この基盤の上に構築されたPoseDiffは、ビデオからアクションへの逆ダイナミクスに自然に拡張する。
• 参考スコア（独自算出の注目度）: 67.17998939712326
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present PoseDiff, a conditional diffusion model that unifies robot state estimation and control within a single framework. At its core, PoseDiff maps raw visual observations into structured robot states-such as 3D keypoints or joint angles-from a single RGB image, eliminating the need for multi-stage pipelines or auxiliary modalities. Building upon this foundation, PoseDiff extends naturally to video-to-action inverse dynamics: by conditioning on sparse video keyframes generated by world models, it produces smooth and continuous long-horizon action sequences through an overlap-averaging strategy. This unified design enables scalable and efficient integration of perception and control. On the DREAM dataset, PoseDiff achieves state-of-the-art accuracy and real-time performance for pose estimation. On Libero-Object manipulation tasks, it substantially improves success rates over existing inverse dynamics modules, even under strict offline settings. Together, these results show that PoseDiff provides a scalable, accurate, and efficient bridge between perception, planning, and control in embodied AI. The video visualization results can be found on the project page: https://haozhuo-zhang.github.io/PoseDiff-project-page/.
• Abstract（参考訳）: 本稿では,ロボットの状態推定と制御を単一のフレームワーク内で統一する条件拡散モデルPoseDiffを提案する。 中心となるPoseDiffは、生の視覚的な観察を、単一のRGB画像から3Dキーポイントや関節角度などの構造化されたロボットの状態にマッピングし、マルチステージパイプラインや補助的なモダリティを不要にする。 この基盤を基盤として、PoseDiffは自然にビデオとアクションの逆ダイナミクスに拡張する: 世界モデルによって生成される疎いビデオキーフレームを条件付けすることで、オーバーラップする戦略を通じて滑らかで連続的なロングホライゾンアクションシーケンスを生成する。 この統一された設計は、スケーラブルで効率的な知覚と制御の統合を可能にする。 DREAMデータセットでは、PoseDiffはポーズ推定のための最先端の精度とリアルタイムのパフォーマンスを達成する。 リベロオブジェクト操作タスクでは、厳格なオフライン設定下であっても、既存の逆動的モジュールよりも成功率を大幅に向上する。 これらの結果は、PoseDiffが、エンボディされたAIにおける知覚、計画、制御の間の、スケーラブルで、正確で、効率的なブリッジを提供することを示している。 ビデオビジュアライゼーションの結果は、プロジェクトのページ(https://haozhuo-zhang.github.io/PoseDiff-project-page/)で見ることができる。

関連論文リスト

• One View, Many Worlds: Single-Image to 3D Object Meets Generative Domain Randomization for One-Shot 6D Pose Estimation [32.45730375971019]
  単一の参照画像から、任意の見えない物体の6Dポーズを推定することは、現実世界のインスタンスの長い尾で動くロボティクスにとって重要である。 2つの重要なコンポーネントを通じてこれらの課題に取り組むパイプラインであるOnePoseViaGenを提案する。 実世界操作における本手法の有効性を検証し, 実物操作による頑健な器用握力の実証を行った。
  論文  参考訳（メタデータ） (2025-09-09T17:59:02Z)
• An End-to-End Framework for Video Multi-Person Pose Estimation [3.090225730976977]
  本稿では,ビデオの終末ポーズ推定のための簡易かつ柔軟なフレームワークVEPEを提案する。 提案手法は, 2段階モデルより300%, 推測より300%優れていた。
  論文  参考訳（メタデータ） (2025-09-01T03:34:57Z)
• UPose3D: Uncertainty-Aware 3D Human Pose Estimation with Cross-View and Temporal Cues [55.69339788566899]
  UPose3Dは多視点人間のポーズ推定のための新しいアプローチである。 直接的な3Dアノテーションを必要とせずに、堅牢性と柔軟性を向上させる。
  論文  参考訳（メタデータ） (2024-04-23T00:18:00Z)
• FoundationPose: Unified 6D Pose Estimation and Tracking of Novel Objects [55.77542145604758]
  FoundationPoseは、6Dオブジェクトのポーズ推定と追跡のための統合基盤モデルである。 我々のアプローチは、微調整なしで、テスト時に新しいオブジェクトに即座に適用できる。
  論文  参考訳（メタデータ） (2023-12-13T18:28:09Z)
• DiffPose: SpatioTemporal Diffusion Model for Video-Based Human Pose Estimation [16.32910684198013]
  本稿では、条件付きヒートマップ生成問題として、ビデオに基づく人間のポーズ推定を定式化する新しい拡散アーキテクチャDiffPoseを提案する。 ポーズ推定タスクにおけるDiffPoseの特徴として,(i)複数のポーズ推定を組み合わせて予測精度を向上させる能力,(ii)モデルを再訓練することなく特徴改善のための反復的なステップ数を調整する能力,の2点を挙げる。
  論文  参考訳（メタデータ） (2023-07-31T14:00:23Z)
• STDepthFormer: Predicting Spatio-temporal Depth from Video with a Self-supervised Transformer Model [0.0]
  ビデオ入力と空間的時間的注意ネットワークから,映像のフレーム列を同時に予測する自己教師型モデルを提案する。 提案モデルでは,物体形状やテクスチャなどの事前のシーン知識を,単一画像深度推定法に類似した手法で活用する。 マルチオブジェクト検出、セグメンテーション、トラッキングを含む複雑なモデルを必要とするのではなく、暗黙的にシーン内のオブジェクトの動きを予測することができる。
  論文  参考訳（メタデータ） (2023-03-02T12:22:51Z)
• Learning Monocular Depth in Dynamic Scenes via Instance-Aware Projection Consistency [114.02182755620784]
  本稿では,複数の動的物体の6-DoF動作,エゴモーション,深度を,監督なしで一眼レフカメラで明示的にモデル化する,エンドツーエンドのジョイントトレーニングフレームワークを提案する。 筆者らのフレームワークは,最先端の深度・動き推定法より優れていた。
  論文  参考訳（メタデータ） (2021-02-04T14:26:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。