論文の概要: Get a Grip: Reconstructing Hand-Object Stable Grasps in Egocentric Videos

• arxiv url: http://arxiv.org/abs/2312.15719v2
• Date: Sun, 7 Apr 2024 19:59:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-10 01:46:19.011330
• Title: Get a Grip: Reconstructing Hand-Object Stable Grasps in Egocentric Videos
• Title（参考訳）: Egocentricビデオで手動の安定グラフを再構築するGet a Grip
• Authors: Zhifan Zhu, Dima Damen,
• Abstract要約: 我々は,手と物体の間の接触領域が安定であることの直感に基づいて,安定なグリップ定義を開発する。 3D ARCTICデータセットを解析することにより、安定なつかみ時間を特定し、安定なつかみの物体が単一の自由度(1-DoF)内で動くことを示す。 我々は、安定したグリップの2.4Kクリップをラベル付けすることで、その知識をWildのビデオに拡張する。
• 参考スコア（独自算出の注目度）: 23.060926173268605
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We propose the task of Hand-Object Stable Grasp Reconstruction (HO-SGR), the reconstruction of frames during which the hand is stably holding the object. We first develop the stable grasp definition based on the intuition that the in-contact area between the hand and object should remain stable. By analysing the 3D ARCTIC dataset, we identify stable grasp durations and showcase that objects in stable grasps move within a single degree of freedom (1-DoF). We thereby propose a method to jointly optimise all frames within a stable grasp, minimising object motions to a latent 1-DoF. Finally, we extend the knowledge to in-the-wild videos by labelling 2.4K clips of stable grasps. Our proposed EPIC-Grasps dataset includes 390 object instances of 9 categories, featuring stable grasps from videos of daily interactions in 141 environments. Without 3D ground truth, we use stable contact areas and 2D projection masks to assess the HO-SGR task in the wild. We evaluate relevant methods and our approach preserves significantly higher stable contact area, on both EPIC-Grasps and stable grasp sub-sequences from the ARCTIC dataset.
• Abstract（参考訳）: 本研究は,物体を安定に保持するフレームの再構成を行う,手動安定グラフ再構成(HO-SGR)の課題を提案する。 まず、手と物体の間の接触領域が安定であることの直感に基づいて、安定なグリップ定義を開発する。 3D ARCTICデータセットを解析することにより、安定なつかみ時間を特定し、安定なつかみの物体が単一の自由度(1-DoF)内で動くことを示す。 そこで本研究では,物体の動きを1-DoFに最小化しながら,安定なグリップ内で全フレームを協調的に最適化する手法を提案する。 最後に、安定したグリップの2.4Kクリップをラベル付けすることで、その知識をWildビデオに拡張する。 提案するEPIC-Graspsデータセットは,9つのカテゴリの390のオブジェクトインスタンスを含む。 3次元の接地領域と2次元のプロジェクションマスクを用いて,野におけるHO-SGRの課題を評価する。 提案手法は,EPIC-Grasps と ARCTIC データセットからの安定なグリップサブシーケンスの両方において,より安定した接触領域を著しく維持する。

関連論文リスト

• Towards Stable 3D Object Detection [64.49059005467817]
  安定度指数(SI)は3次元検出器の安定性を信頼度、ボックスの定位、範囲、方向で総合的に評価できる新しい指標である。 モデルの安定性向上を支援するため,予測一貫性学習(PCL)と呼ばれる,汎用的で効果的なトレーニング戦略を導入する。 PCLは本質的に、異なるタイムスタンプと拡張の下で同じオブジェクトの予測一貫性を促進し、検出安定性を向上させる。
  論文  参考訳（メタデータ） (2024-07-05T07:17:58Z)
• UPose3D: Uncertainty-Aware 3D Human Pose Estimation with Cross-View and Temporal Cues [55.69339788566899]
  UPose3Dは多視点人間のポーズ推定のための新しいアプローチである。 直接的な3Dアノテーションを必要とせずに、堅牢性と柔軟性を向上させる。
  論文  参考訳（メタデータ） (2024-04-23T00:18:00Z)
• PointOdyssey: A Large-Scale Synthetic Dataset for Long-Term Point Tracking [90.29143475328506]
  本稿では,大規模合成データセットとデータ生成フレームワークであるPointOdysseyを紹介する。 私たちのゴールは、自然主義的な動きを持つ長いビデオに重点を置いて、最先端の技術を推し進めることです。 実世界のモーションキャプチャーデータを用いて変形可能なキャラクタをアニメーション化し、モーションキャプチャー環境に合わせて3Dシーンを構築し、リアルビデオ上で構造から抽出したトラジェクトリを用いてカメラ視点を描画する。
  論文  参考訳（メタデータ） (2023-07-27T17:58:11Z)
• AutoDecoding Latent 3D Diffusion Models [95.7279510847827]
  本稿では,3次元オートデコーダをコアとした静的・明瞭な3次元アセットの生成に対して,新しいアプローチを提案する。 3D Autodecoderフレームワークは、ターゲットデータセットから学んだプロパティを潜時空間に埋め込む。 次に、適切な中間体積潜在空間を特定し、ロバストな正規化と非正規化演算を導入する。
  論文  参考訳（メタデータ） (2023-07-07T17:59:14Z)
• Tracking and Reconstructing Hand Object Interactions from Point Cloud Sequences in the Wild [35.55753131098285]
  本稿では,手関節運動を推定するために,点クラウドを用いた手関節追跡ネットワークであるHandTrackNetを提案する。 このパイプラインは,予測ハンドジョイントをテンプレートベースパラメトリックハンドモデルMANOに変換することで,全ハンドを再構築する。 オブジェクトトラッキングでは,オブジェクトSDFを第1フレームから推定し,最適化に基づくトラッキングを行う,シンプルで効果的なモジュールを考案する。
  論文  参考訳（メタデータ） (2022-09-24T13:40:09Z)
• PoseIt: A Visual-Tactile Dataset of Holding Poses for Grasp Stability Analysis [7.644487678804541]
  対象物を把握する全サイクルから収集した視覚的・触覚的データを含む,新しいデータセットPoseItを提案する。 PoseItのデータを用いて、特定の保持されたポーズにおいて、把握されたオブジェクトが安定しているかどうかを予測するタスクを定式化し、対処することができる。 実験の結果,PoseItでトレーニングしたマルチモーダルモデルは,視覚や触覚のみを用いた場合よりも精度が高いことがわかった。
  論文  参考訳（メタデータ） (2022-09-12T04:49:41Z)
• 3D Multi-Object Tracking with Differentiable Pose Estimation [0.0]
  室内環境におけるRGB-Dシーケンスからの3次元多対象追跡と再構成のための新しい手法を提案する。 我々は、これらの対応を利用してグラフニューラルネットワークに通知し、すべてのオブジェクトの最適かつ時間的に一貫性のある7-DoFポーズトラジェクトリを解決する。 本手法は,既存の最先端手法に比べて,すべてのテストシーケンスに対して蓄積したMOTAスコアを24.8%向上させる。
  論文  参考訳（メタデータ） (2022-06-28T06:46:32Z)
• Benchmarking the Robustness of LiDAR-Camera Fusion for 3D Object Detection [58.81316192862618]
  自律運転における3D知覚のための2つの重要なセンサーは、カメラとLiDARである。 これら2つのモダリティを融合させることで、3次元知覚モデルの性能を大幅に向上させることができる。 我々は、最先端の核融合法を初めてベンチマークした。
  論文  参考訳（メタデータ） (2022-05-30T09:35:37Z)
• Self-Attentive 3D Human Pose and Shape Estimation from Videos [82.63503361008607]
  3D人間のポーズと形状推定のためのビデオベースの学習アルゴリズムを紹介します。 ビデオの時間情報を利用して自己着脱モジュールを提案する。 本手法を3DPW, MPI-INF-3DHP, Human3.6Mデータセット上で評価した。
  論文  参考訳（メタデータ） (2021-03-26T00:02:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。