論文の概要: Learning to Imitate Object Interactions from Internet Videos

• arxiv url: http://arxiv.org/abs/2211.13225v1
• Date: Wed, 23 Nov 2022 18:59:07 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-24 14:57:02.671536
• Title: Learning to Imitate Object Interactions from Internet Videos
• Title（参考訳）: インターネットビデオからのオブジェクトインタラクションを模倣する学習
• Authors: Austin Patel, Andrew Wang, Ilija Radosavovic, Jitendra Malik
• Abstract要約: RHOVは2次元画像キューと時間的滑らかさ制約を用いて手と物体の4次元軌跡を再構成する。 物理シミュレーターを用いて,様々な物体の相互作用を再現できることを示す。
• 参考スコア（独自算出の注目度）: 43.77840952128364
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study the problem of imitating object interactions from Internet videos. This requires understanding the hand-object interactions in 4D, spatially in 3D and over time, which is challenging due to mutual hand-object occlusions. In this paper we make two main contributions: (1) a novel reconstruction technique RHOV (Reconstructing Hands and Objects from Videos), which reconstructs 4D trajectories of both the hand and the object using 2D image cues and temporal smoothness constraints; (2) a system for imitating object interactions in a physics simulator with reinforcement learning. We apply our reconstruction technique to 100 challenging Internet videos. We further show that we can successfully imitate a range of different object interactions in a physics simulator. Our object-centric approach is not limited to human-like end-effectors and can learn to imitate object interactions using different embodiments, like a robotic arm with a parallel jaw gripper.
• Abstract（参考訳）: インターネットビデオからオブジェクトインタラクションを模倣する問題について検討する。 このためには、4d、空間的に3d、時間とともに手と物体の相互作用を理解する必要がある。 本稿では,(1)手と物体の4次元軌跡を2次元画像キューと時間的滑らか性制約を用いて再構成する新しい再構成手法RHOV(Reconstructing Hands and Objects from Videos),(2)強化学習を伴う物理シミュレータにおける物体の相互作用を模倣するシステムについて述べる。 再生技術は, 挑戦的なインターネットビデオ100本に応用する。 さらに,物理シミュレータで様々な物体の相互作用を模倣できることを示した。 私たちのオブジェクト中心のアプローチは、人間のようなエンドエフェクターに限らず、ロボットアームと平行な顎グリップのような異なる実施形態でオブジェクトの相互作用を模倣することを学ぶことができます。

関連論文リスト

• Benchmarks and Challenges in Pose Estimation for Egocentric Hand Interactions with Objects [89.95728475983263]
  ロボティクス、AR/VR、アクション認識、モーション生成といったタスクにおいて、自己中心的な視点からこのようなインタラクションを理解することが重要である。 我々は、AmblyHandsとARCTICデータセットに基づいたHANDS23チャレンジを、慎重に設計されたトレーニングとテストの分割に基づいて設計する。 提案手法の結果と近年のリーダーボードのベースラインに基づいて,3Dハンド(オブジェクト)再構成タスクの徹底的な解析を行う。
  論文  参考訳（メタデータ） (2024-03-25T05:12:21Z)
• HOLD: Category-agnostic 3D Reconstruction of Interacting Hands and Objects from Video [70.11702620562889]
  HOLD - 単分子インタラクションビデオから手とオブジェクトを共同で再構成する最初のカテゴリーに依存しない方法。 我々は,3次元手と物体を2次元画像から切り離すことができる構成的明瞭な暗黙モデルを開発した。 本手法は,3次元手オブジェクトアノテーションに頼らず,組込みと組込みの両面において,完全教師付きベースラインに優れる。
  論文  参考訳（メタデータ） (2023-11-30T10:50:35Z)
• Learning Object Manipulation Skills from Video via Approximate Differentiable Physics [27.923004421974156]
  我々はロボットに、単一のビデオデモを見て、シンプルなオブジェクト操作タスクを実行するように教える。 識別可能なシーンは、3Dシーンと2Dビデオの間の知覚的忠実性を保証する。 我々は,54のデモ映像からなる3次元再構成作業に対するアプローチを評価した。
  論文  参考訳（メタデータ） (2022-08-03T10:21:47Z)
• Class-agnostic Reconstruction of Dynamic Objects from Videos [127.41336060616214]
  動的オブジェクトをRGBDや校正ビデオから再構成するためのクラスに依存しないフレームワークであるREDOを紹介する。 我々は2つの新しいモジュールを開発し、まず、時間的視覚的手がかりを集約したピクセル整合性を持つ正準4次元暗黙関数を導入する。 第2に、時間的伝播と集約をサポートするためにオブジェクトのダイナミクスをキャプチャする4D変換モジュールを開発する。
  論文  参考訳（メタデータ） (2021-12-03T18:57:47Z)
• Estimating 3D Motion and Forces of Human-Object Interactions from Internet Videos [49.52070710518688]
  一つのRGBビデオからオブジェクトと対話する人の3D動作を再構築する手法を提案する。 本手法では,被験者の3次元ポーズを物体のポーズ,接触位置,人体の接触力とともに推定する。
  論文  参考訳（メタデータ） (2021-11-02T13:40:18Z)
• Towards unconstrained joint hand-object reconstruction from RGB videos [81.97694449736414]
  ハンドオブジェクト操作の再構築は、ロボット工学と人間のデモから学ぶ大きな可能性を秘めている。 まず,手動物体の相互作用をシームレスに処理できる学習不要な手動物体再構成手法を提案する。
  論文  参考訳（メタデータ） (2021-08-16T12:26:34Z)
• Semi-Supervised 3D Hand-Object Poses Estimation with Interactions in Time [22.574069344246052]
  本研究では,3次元手とオブジェクトのポーズを半教師付き学習で推定する統合フレームワークを提案する。 我々は,手とオブジェクトの表現を変換器で明示的な文脈的推論を行う,共同学習フレームワークを構築した。 提案手法は,実世界の挑戦的データセットにおける手振り推定を改良するだけでなく,1インスタンスあたりの接地構造がより少ないオブジェクトポーズも大幅に改善する。
  論文  参考訳（メタデータ） (2021-06-09T17:59:34Z)
• Kinematics-Guided Reinforcement Learning for Object-Aware 3D Ego-Pose Estimation [25.03715978502528]
  本研究では,物体の相互作用と人体動態を3次元エゴ位置推定のタスクに組み込む手法を提案する。 我々は人体の運動モデルを用いて、人間の運動の全範囲を表現し、身体の力学モデルを用いて、物理学シミュレータ内の物体と相互作用する。 これは、エゴセントリックなビデオからオブジェクトと物理的に有効な3Dフルボディインタラクションシーケンスを推定する最初の試みである。
  論文  参考訳（メタデータ） (2020-11-10T00:06:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。