論文の概要: Vision as Proprioception: Estimating Humanoid Robot Pose from Video

• arxiv url: http://arxiv.org/abs/2610.25288v1
• Date: Sun, 18 Oct 2026 14:10:39 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:01:55.014375
• Title: Vision as Proprioception: Estimating Humanoid Robot Pose from Video
• Title（参考訳）: プロプライオセプションとしてのビジョン:ビデオからヒューマノイドロボットを推定する
• Abstract要約: ビデオからヒューマノイドロボットの内部状態を推定することは、様々な現実世界の応用があるが、まだ探索されていない。 オンラインとAIが生成するロボットビデオは、豊富なデータソースを提供するが、通常、対応する関節構成を欠いている。 我々は、全身関節構成を回復するために、視覚をプロプレオセプションとして扱う新しいフレームワークであるHumanoidPoseを提案する。
• 参考スコア（独自算出の注目度）: 29.750329365681747
• License:
• Abstract: Estimating a humanoid robot's internal state from video has a wide range of real-world applications but remains unexplored. During interactions with a robot, its onboard state information may be unavailable due to privacy, ownership, or communication constraints. Meanwhile, online and AI-generated robot videos provide rich sources of data but typically lack corresponding joint configurations, limiting their direct use in robot learning. To address these issues, we present HumanoidPose, a new framework that treats vision as proprioception to recover full-body joint configurations in world space from video alone. Specifically, we combine pretrained human-pose features with robot kinematics in a unified model that predicts each embodiment's joint configurations. We retarget human motions to sixteen different humanoid embodiments, enabling scalable learning entirely from synthetic data. To improve real-world generalization, we further leverage unlabeled online videos through self-training to develop a 2D robot-pose detector. In our evaluation, HumanoidPose improves joint-angle and joint-position accuracy over the evaluated baselines and reduces joint-angle error by 18-32% relative to the best-performing baseline on each of the three real humanoid platforms. We further show improved global localization and generalization to unseen embodiments. HumanoidPose enables visual understanding of other robots during interaction and extraction of robot motion from online and generated videos.
• Abstract（参考訳）: ビデオからヒューマノイドロボットの内部状態を推定することは、様々な現実世界の応用があるが、まだ探索されていない。 ロボットとのインタラクションの間、そのオンボード状態情報は、プライバシ、オーナシップ、通信制約のために利用できない可能性がある。 一方、オンラインおよびAIが生成するロボットビデオは、豊富なデータソースを提供するが、通常、対応する関節構成が欠如しており、ロボット学習における直接的な使用を制限している。 これらの問題に対処するため、我々はHumanoidPoseという新しいフレームワークを紹介した。 具体的には、事前訓練された人体の特徴とロボットキネマティクスを統合モデルで組み合わせ、それぞれの実施形態を予測する。 人間の動作を16種類のヒューマノイドエンボディメントに再ターゲティングし、合成データからスケーラブルな学習を可能にする。 実世界の一般化を改善するために、自己学習を通じてラベルなしのオンラインビデオを活用して、2Dロボット目的検出器を開発する。 評価において,HumanoidPoseは,評価されたベースラインに対する関節角度と関節位置の精度を改善し,実際の3つのプラットフォームにおいて,最も優れたベースラインに対して,関節角度の誤差を18～32%低減する。 さらに、グローバルなローカライゼーションと、目に見えない実施形態への一般化について述べる。 HumanoidPoseは、対話中の他のロボットの視覚的理解と、オンラインおよび生成されたビデオからのロボットの動きの抽出を可能にする。

関連論文リスト

• Robotizing Human Videos with Physically Consistent Interactions [54.27025073220947]
  ビデオ編集の手法は手でレンダリングされたロボットに取って代わるが、不正確なインタラクションの再構築は不整合の把握を生み出す。 これらの障害には、相互作用幾何学とシーン可視性という2つの相補的な物理的側面から対処する。 その結果得られたビデオは、人間のデモの相互作用構造をロボット互換の形で保存し、ロボットのデモと共同で訓練される。
  論文  参考訳（メタデータ） (2026-10-05T11:08:50Z)
• AnyWorld: Factorized Egocentric World Models for Cross-Embodiment Generalization [88.25615187835321]
  我々は,クロス・エボディメント・ワールド・モデリング・フレームワークであるAnyWorldを提案する。 私たちのモデルは、アクション、カメラ、エンボディメントへのインタラクションを分解します。 大規模なヒューマンインタラクション事前トレーニングでモデルをトレーニングする。
  論文  参考訳（メタデータ） (2026-08-29T12:55:15Z)
• Ego2Robot: Scalable Robot Data Synthesis from Egocentric Human Data [60.94418315274988]
  Ego2Robotは、キュレートされたビデオとインザワイルドのビデオの両方をサポートし、15のロボット形態にまたがる18,561時間のトレーニングデータを生成する。 Ego2Robotの合成データとロボットデータの併用による事前学習は、複数のタイプにわたるアウト・オブ・ディストリビューションの一般化を一貫して改善する。
  論文  参考訳（メタデータ） (2026-08-03T17:52:26Z)
• EgoInfinity: A Web-Scale 4D Hand-Object Interaction Data Engine for Any-View Robot Retargeting and Video-to-Action Robot Learning [10.780924973366737]
  EgoInfinityは、ロボットの獲得と学習のためのWebスケールデータ生成を可能にする、汎用的な4Dハンドオブジェクトインタラクションデータエンジンである。 EgoInfinity(エゴインフィニティ)は、知覚、セグメンテーション、再構築、相互認識の洗練、そして従来の計算不可能なビデオ対アクション問題を自動化するための、モジュール式エンジンである。
  論文  参考訳（メタデータ） (2026-06-16T00:44:16Z)
• Proprioceptive-visual correspondence enables self-other distinction in humanoid robots [45.31013373337145]
  他人から自分自身を遠ざけることは、社会的知性にとって必要不可欠なことだが、人間とワークスペースを共有する人型ロボットには、まだその能力が欠けている。 ヒューマノイドロボットは、識別ラベルやキネマティックモデルなしで、自己認識的・視覚的対応から自己認識を学習できることを示す。
  論文  参考訳（メタデータ） (2026-06-11T11:38:34Z)
• H2R-Grounder: A Paired-Data-Free Paradigm for Translating Human Interaction Videos into Physically Grounded Robot Videos [58.006918399913665]
  本稿では,通常の人間と物体のインタラクションビデオからモーション一貫性のあるロボット操作ビデオに変換するビデオ間翻訳フレームワークを提案する。 私たちのアプローチでは、ロボットビデオのセットのみをトレーニングするために、ペアの人間ロボットビデオは必要とせず、システムを拡張しやすくしています。 テスト時にも同じプロセスを人間のビデオに適用し、人間の行動を模倣する高品質なロボットビデオを生成する。
  論文  参考訳（メタデータ） (2025-12-10T07:59:45Z)
• From Generated Human Videos to Physically Plausible Robot Trajectories [103.28274349461607]
  ビデオ生成モデルは、人間のアクションを新しい文脈で合成する能力が急速に向上している。 この可能性を実現するために、ヒューマノイドはどうやってゼロショットで生成されたビデオから人間の行動を実行することができるのか? この課題は、生成されたビデオがしばしばうるさいので、実際のビデオと比べて直接の模倣を困難にする形態的歪みを示すためである。 我々は,3次元キーポイントに条件付き物理対応強化学習政策であるGenMimicを提案し,対称性の正則化とキーポイント重み付きトラッキング報酬を訓練した。
  論文  参考訳（メタデータ） (2025-12-04T18:56:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。