論文の概要: Track, Articulate, Act: Generating Articulation from Casual Human Videos

• arxiv url: http://arxiv.org/abs/2609.19119v1
• Date: Wed, 16 Sep 2026 17:43:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:53.924834
• Title: Track, Articulate, Act: Generating Articulation from Casual Human Videos
• Title（参考訳）: 人的映像からアーティキュレーションを生成する「トラック、アーティキュレート、法」
• Abstract要約: 我々は,ドア,引き出し,キャビネット,ラップトップ,オーブン,ヒンジ容器などの明瞭な物体について検討した。 これらのオブジェクトは単一のポーズで表現することはできない。 そこで本研究では, カジュアルなモノクロRGBビデオから, シミュレーション可能な調音オブジェクトと手動オブジェクトのインタラクションを再構築する, リアルタイムなフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 17.214161289921567
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Human videos contain rich causal evidence for robot manipulation: they reveal how hand motion induces object motion and produces task-relevant changes in object state. In this work, we study articulated objects such as doors, drawers, cabinets, laptops, ovens, and hinged containers that are ubiquitous in daily life and present unique challenges for embodied interaction. These objects cannot be represented by a single pose; their motion depends on the underlying parts and joints. We introduce a real-to-sim framework that reconstructs a simulation-ready articulated object and hand-object interaction from a casual monocular RGB video, without RGB-D or multi-view input, prior scans, manually specified joints, or robot demonstrations. Our key insight is that dense 3D point tracks provide an embodiment-agnostic articulation cue: points on the fixed link remain approximately stationary, while points on the moving link follow coherent revolute or prismatic motion. Our method segments the links, estimates the joint and its state trajectory, reconstructs an articulated asset, and aligns the recovered 3D hand motion with the object. Central to our approach is a modular recipe that repurposes powerful pretrained models for single-image 3D reconstruction, mesh segmentation, and 3D scene flow, connecting their predictions through explicit geometric reasoning to infer articulation. We use the reconstructed articulated object and the human hand trajectory to replay interactions through contact in MuJoCo. The framework shows how pretrained vision models and explicit motion reasoning can turn casual human videos into articulated object models suitable for downstream embodied interactions. https://track-articulate-act.github.io/
• Abstract（参考訳）: 人間のビデオには、ロボット操作の因果的証拠が豊富に含まれており、手の動きが物体の動きを誘発し、物体の状態にタスク関連の変化をもたらすことを明らかにする。 本研究では, ドア, 引き出し, キャビネット, ラップトップ, オーブン, ヒンジ容器など, 日常生活に広く普及し, 具体的相互作用の独特な課題を提示する。 これらのオブジェクトは単一のポーズで表現することはできない。 本稿では,RGB-Dやマルチビュー入力,先行スキャン,手作業で指定した関節,ロボットのデモンストレーションを使わずに,カジュアルなモノクロRGBビデオからシミュレーション可能な定型オブジェクトと手動オブジェクトのインタラクションを再構築する,リアル・トゥ・シム・フレームワークを提案する。 固定リンク上の点はほぼ定常であり,移動リンク上の点はコヒーレント・リボリュートあるいはプリスマティック・モーションに従っている。 提案手法は, リンクを分割し, 関節とその状態軌跡を推定し, 明瞭な資産を再構築し, 回収した3次元手の動きを物体と整列させる。 我々のアプローチの中心は、単一イメージの3D再構成、メッシュセグメンテーション、および3Dシーンフローのための強力な事前訓練されたモデルを再利用し、明示的な幾何学的推論を通じて予測を接続し、調音を推測するモジュラーレシピである。 再建された関節物体と人間の手指の軌跡を用いて,MuJoCoの接触による相互作用を再現する。 このフレームワークは、事前訓練された視覚モデルと明示的なモーション推論によって、カジュアルな人間のビデオが下流のエンボディドインタラクションに適した音声化されたオブジェクトモデルにどのように変換されるかを示す。 https://track-articulate-act.github.io/

関連論文リスト

• GRAIL: Generating Humanoid Loco-Manipulation from 3D Assets and Video Priors [113.71148915419246]
  GRAILは3Dアセット、シミュレーター対応シーン、およびビデオファンデーションモデル(VFM)の先行データで構成され、物理的環境を再構築したりロボットを遠隔操作したりすることなく対話を合成するデジタル生成パイプラインである。 GRAILは、オブジェクト形状、カメラパラメータ、メートル法スケール、環境深度、ロボットが提案する文字がビデオ生成の前に知られ、再構成中に再利用される、完全に定義された3D構成から始まる。 我々は、回復した動作をヒューマノイドロボットに再ターゲティングし、補完的なタスク・ジェネラル・モルフォロジー・トラッカーを訓練する。 GRAILは、ピックアップ、オブジェクト操作、着座にまたがる2万以上のシーケンスを生成する
  論文  参考訳（メタデータ） (2026-06-03T17:57:45Z)
• ComPose: When to Trust Hands for Object Pose Tracking [44.085148707189035]
  ComPoseは、6DoFオブジェクトトラッキングフレームワークで、RGBビデオから手動でオブジェクトのポーズを推定するように設計されている。 本手法は,物体追跡のためのテキスト補完キューとして手の動きを調和させる。 結果は、ロボットがオンラインビデオから人間の行動を再構築できるようにすることで、下流ロボット操作に効果的に移行することができる。
  論文  参考訳（メタデータ） (2026-05-22T11:39:49Z)
• RHINO: Reconstructing Human Interactions with Novel Objects from Monocular Videos [22.349788052973878]
  人々、オブジェクト、そしてそれらのインタラクションを3Dで再構築することは、インテリジェントシステムの長年の目標である。 これまでの作業のほとんどは、人間や物体を別々に扱い、それらの相互作用を無視したり、既知の3D形状やカメラを仮定したりしていた。 モノクラーRGBビデオから、人間の3D、新しい(見えない)操作対象、そして、共通の世界フレームの静的なシーンを復元するフレームワークであるRHINOを開発した。
  論文  参考訳（メタデータ） (2026-05-16T14:25:42Z)
• Real2Sim in HOI: Toward Physically Plausible HOI Reconstruction from Monocular Videos [26.750787853601413]
  HOI再建は、人間と物体の追跡に止まるのではなく、動きをコヒーレントな相互作用にする関係を回復すべきである。 我々は,4D HOIアニメーションを室内モノクロビデオから再構成するためのフレームワークである$textbfHA-HOI$を紹介した。 我々の研究は、一般的なモノクラーHOIビデオを、ヒューマノイドオブジェクトの動作のためのスケーラブルなデモに変換するための一歩を踏み出した。
  論文  参考訳（メタデータ） (2026-05-14T06:56:57Z)
• Articulated 3D Scene Graphs for Open-World Mobile Manipulation [55.97942733699124]
  本報告では, セマンティックな3次元シーングラフを構築するためのフレームワークであるMoMa-SGについて述べる。 新たな統合的ツイスト推定法を用いて調音モデルを推定する。 また,Arti4D-Semanticデータセットについても紹介する。
  論文  参考訳（メタデータ） (2026-02-18T10:40:35Z)
• HOLD: Category-agnostic 3D Reconstruction of Interacting Hands and Objects from Video [70.11702620562889]
  HOLD - 単分子インタラクションビデオから手とオブジェクトを共同で再構成する最初のカテゴリーに依存しない方法。 我々は,3次元手と物体を2次元画像から切り離すことができる構成的明瞭な暗黙モデルを開発した。 本手法は,3次元手オブジェクトアノテーションに頼らず,組込みと組込みの両面において,完全教師付きベースラインに優れる。
  論文  参考訳（メタデータ） (2023-11-30T10:50:35Z)
• ROAM: Robust and Object-Aware Motion Generation Using Neural Pose Descriptors [73.26004792375556]
  本稿では,3次元オブジェクト認識キャラクタ合成における新しいシーンオブジェクトへのロバストさと一般化が,参照オブジェクトを1つも持たないモーションモデルをトレーニングすることで実現可能であることを示す。 我々は、オブジェクト専用のデータセットに基づいて訓練された暗黙的な特徴表現を活用し、オブジェクトの周りのSE(3)-同変記述体フィールドをエンコードする。 本研究では,3次元仮想キャラクタの動作と相互作用の質,および未知のオブジェクトを持つシナリオに対するロバスト性を大幅に向上することを示す。
  論文  参考訳（メタデータ） (2023-08-24T17:59:51Z)
• Watch It Move: Unsupervised Discovery of 3D Joints for Re-Posing of Articulated Objects [73.23249640099516]
  複数視点からの移動を観察することで,これまで見えなかった物体の外観と構造の両方を学習する。 我々の洞察では、互いに相対的に動く隣り合う部分は関節で繋がらなければならない。 本手法は,四足歩行から単腕ロボット,人間に至るまで,さまざまな構造に対して有効であることを示す。
  論文  参考訳（メタデータ） (2021-12-21T16:37:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。